JP2022526650A - 組織における術中造影剤の検出のための撮像システム - Google Patents

組織における術中造影剤の検出のための撮像システム Download PDF

Info

Publication number
JP2022526650A
JP2022526650A JP2021559799A JP2021559799A JP2022526650A JP 2022526650 A JP2022526650 A JP 2022526650A JP 2021559799 A JP2021559799 A JP 2021559799A JP 2021559799 A JP2021559799 A JP 2021559799A JP 2022526650 A JP2022526650 A JP 2022526650A
Authority
JP
Japan
Prior art keywords
image
algorithm
cell
contrast agent
tissue sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021559799A
Other languages
English (en)
Other versions
JPWO2020210746A5 (ja
Inventor
クリスティアン ウィルヘルム フロイディガー,
バラジ パンディアン,
ジェイ トラウトマン,
Original Assignee
インベニオ イメージング、インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インベニオ イメージング、インコーポレイテッド filed Critical インベニオ イメージング、インコーポレイテッド
Publication of JP2022526650A publication Critical patent/JP2022526650A/ja
Publication of JPWO2020210746A5 publication Critical patent/JPWO2020210746A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0012Surgical microscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0036Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room including treatment, e.g., using an implantable medical device, ablating, ventilating
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0068Confocal scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61KPREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K49/00Preparations for testing in vivo
    • A61K49/001Preparation for luminescence or biological staining
    • A61K49/0013Luminescence
    • A61K49/0017Fluorescence in vivo
    • A61K49/0019Fluorescence in vivo characterised by the fluorescent group, e.g. oligomeric, polymeric or dendritic molecules
    • A61K49/0021Fluorescence in vivo characterised by the fluorescent group, e.g. oligomeric, polymeric or dendritic molecules the fluorescent group being a small organic molecule
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431Frequency domain transformation; Autocorrelation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02Instruments for taking cell samples or for biopsy
    • A61B10/0233Pointed or sharp biopsy instruments
    • A61B10/0283Pointed or sharp biopsy instruments with vacuum aspiration, e.g. caused by retractable plunger or by connected syringe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32Surgical cutting instruments
    • A61B2017/320052Guides for cutting instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937Visible markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937Visible markers
    • A61B2090/395Visible markers with marking agent for marking skin or other tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/397Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61KPREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K49/00Preparations for testing in vivo
    • A61K49/001Preparation for luminescence or biological staining
    • A61K49/0013Luminescence
    • A61K49/0017Fluorescence in vivo
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/65Raman scattering
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0064Optical details of the image generation multi-spectral or wavelength-selective arrangements, e.g. wavelength fan-out, chromatic profiling
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/35Non-linear optics
    • G02F1/37Non-linear optics for second-harmonic generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Abstract

高分解能光学薄片化撮像モダリティの組み合わせを使用して、その細胞分布を識別することによって、組織サンプル中の造影剤の分布の定量的尺度を提供するためのシステムおよび方法が、説明される。いくつかの事例では、システムおよび方法は、術中設定において使用され、生検または外科手術手技を誘導し得る。一実施形態において、画像解釈アルゴリズムは、第1および第2の光学薄片化撮像モダリティの一方または両方を使用して入手された画像を処理し、個々の細胞を識別し、それらの場所を決定し、第1の撮像モダリティを使用して入手された画像内の個々の細胞のそれらに対応する場所における信号を測定することによって、細胞結合型造影剤から導出される信号の定量的尺度を出力する。

Description

(関連出願)
本願は、その出願が参照することによって本明細書に組み込まれる、2019年4月12日に出願された、米国仮出願第62/833,553号の利益を主張する。
組織試料を撮像するためのシステムが、本明細書において開示され、システムは、a)第1の光学薄片化撮像モダリティを使用して、組織試料中の細胞結合型造影剤の分布の高分解能画像を入手するように構成された第1の光学サブシステムと、b)第2の光学薄片化撮像モダリティを使用して、組織試料形態の高分解能画像を入手するように構成された第2の光学サブシステムであって、第1および第2の光学サブシステムは、組織試料中の同じ光学面を撮像するように構成されている、第2の光学サブシステムと、c)第1および第2の光学薄片化撮像モダリティの一方または両方を使用して入手された画像を処理し、個々の細胞を識別し、それらの場所を決定し、第1の撮像モダリティを使用して入手された画像内の個々の細胞のそれらに対応する場所における信号を測定することによって、細胞結合型造影剤から導出される信号の定量的尺度を出力する、画像解釈アルゴリズムを起動するように構成されたプロセッサとを備えている。いくつかの実施形態において、第1の光学薄片化撮像モダリティは、二光子蛍光顕微鏡検査、共焦点蛍光顕微鏡検査、光シート顕微鏡検査、または構造化照明顕微鏡検査を備えている。いくつかの実施形態において、第2の光学薄片化撮像モダリティは、刺激ラマン散乱顕微鏡検査、コヒーレント反ストークスラマン散乱顕微鏡検査、共焦点反射顕微鏡検査、第二高調波発生顕微鏡検査、または第三高調波発生顕微鏡検査を備えている。いくつかの実施形態において、第1および第2の光学サブシステムは、10μmより小さい軸方向分解能を有するように構成されている。いくつかの実施形態において、第1および第2の光学サブシステムは、5μmより小さい側方分解能を有するように構成されている。いくつかの実施形態において、第1の光学サブシステムは、2つ以上の検出波長範囲内の高分解能画像を入手するようにさらに構成されている。いくつかの実施形態において、2つ以上の検出波長範囲のうちの第1の検出波長範囲は、細胞結合型造影剤の放出ピークを含み、2つ以上の検出波長範囲のうちの第2の検出波長範囲は、細胞結合型造影剤の放出ピークを除外し、画像解釈アルゴリズムは、第1の検出波長を使用して入手された画像をさらに処理し、個々の細胞を識別し、それらの場所を決定し、個々の細胞の場所における信号を測定し、第2の検出波長範囲を使用して入手された画像内の個々の細胞のそれらに対応する場所において測定された背景値によって信号を補正することによって、細胞結合型造影剤から導出される信号の定量的尺度を出力する。いくつかの実施形態において、第2の光学薄片化撮像モダリティは、刺激ラマン散乱顕微鏡検査を備え、画像は、脂質分子のCH振動に対応する2,850cm-1の波数で入手される。いくつかの実施形態において、画像はまた、タンパク質および核酸分子のCH振動に対応する2,930cm-1の波数で入手される。いくつかの実施形態において、細胞結合型造影剤から導出される信号は、蛍光信号、燐光信号、またはそれらの任意の組み合わせを備えている。いくつかの実施形態において、細胞結合型造影剤は、蛍光体に共役された抗体、量子ドット、ナノ粒子、または燐光物質を備えている。いくつかの実施形態において、細胞結合型造影剤は、発蛍光性酵素基質を備えている。いくつかの実施形態において、細胞結合型造影剤は、フルオレセイン、5-ALA、BLZ-100、またはLUM015を備えている。いくつかの実施形態において、細胞結合型造影剤は、5-アミノレブリン酸(5-ALA)を備え、第1の放出波長範囲は、640nm光を含み、第2の放出波長は、600nmより短い波長を含む。いくつかの実施形態において、画像解釈アルゴリズムは、キャニーエッジ検出アルゴリズム、キャニー・デリチェエッジ検出アルゴリズム、一次勾配エッジ検出アルゴリズム、二次微分エッジ検出アルゴリズム、位相コヒーレンスエッジ検出アルゴリズム、画像区画化アルゴリズム、および強度閾値処理アルゴリズム、強度クラスタ化アルゴリズム、および強度ヒストグラムベースのアルゴリズム、特徴認識アルゴリズム、パターン認識アルゴリズム、一般化されたハフ変換アルゴリズム、サークルハフ変換アルゴリズム、フーリエ変換アルゴリズム、高速フーリエ変換アルゴリズム、ウェーブレット分析アルゴリズム、自動相関アルゴリズム、またはそれらの任意の組み合わせを備えている。いくつかの実施形態において、画像解釈アルゴリズムは、画像特徴サイズ、形状、パターン、強度、またはそれらの任意の組み合わせに基づいて、個々の細胞を検出する。いくつかの実施形態において、画像解釈アルゴリズムは、人工知能または機械学習アルゴリズムを備えている。いくつかの実施形態において、画像解釈アルゴリズムは、教師あり機械学習アルゴリズム、教師なし機械学習アルゴリズム、半教師あり機械学習アルゴリズム、またはそれらの任意の組み合わせを備えている。いくつかの実施形態において、機械学習アルゴリズムは、人工ニューラルネットワークアルゴリズム、深層畳み込みニューラルネットワークアルゴリズム、深層回帰型ニューラルネットワーク、敵対的生成ネットワーク、サポートベクトルマシン、階層的クラスタリングアルゴリズム、ガウス過程回帰アルゴリズム、決定木アルゴリズム、物流モデルツリーアルゴリズム、ランダムフォレストアルゴリズム、ファジィ分類子アルゴリズム、k平均法アルゴリズム、期待値最大化アルゴリズム、ファジィクラスタ化アルゴリズム、またはそれらの任意の組み合わせを備えている。いくつかの実施形態において、機械学習アルゴリズムは、アーカイブされた組織病理学的組織サンプルに関して入手された撮像データ、採取したばかりの組織病理学的組織サンプルに関して入手された撮像データ、またはそれらの任意の組み合わせを備えている訓練データセットを使用して訓練される。いくつかの実施形態において、訓練データセットは、同じまたは異なる施設における使用のために展開されている2つ以上のシステムによって入手された撮像データで、持続的に、周期的に、またはランダムに更新される。いくつかの実施形態において、2つ以上のシステムは、異なる施設に展開され、訓練データセットは、インターネット接続を介して、持続的に、周期的に、またはランダムに更新される。いくつかの実施形態において、画像解釈アルゴリズムは、細胞結合型造影剤から導出される信号の総または平均強度を決定する。いくつかの実施形態において、画像解釈アルゴリズムは、個々の細胞に関する細胞結合型造影剤から導出される信号が造影剤陽性細胞に関する規定された閾値レベルを上回るかどうかを決定する。いくつかの実施形態において、画像解釈アルゴリズムは、組織試料の画像内の造影剤陽性細胞の総数、組織試料の画像内の造影剤陽性細胞の密度、組織試料の画像内の造影剤陽性細胞のパーセンテージ、またはそれらの任意の組み合わせを出力する。いくつかの実施形態において、画像解釈アルゴリズムは、第2の光学薄片化撮像モダリティを使用して入手された画像に基づいて、細胞充実度スコアも出力する。いくつかの実施形態において、組織試料の画像は、生体内で入手される。いくつかの実施形態において、組織試料の画像は、生体外で入手される。いくつかの実施形態において、システムは、外科手術手技中に使用され、生検を実施するための場所を識別する、または切除が完了したかどうかを決定する。
組織試料の細胞分解能撮像のための方法も、本明細書において開示され、方法は、a)第1の撮像モダリティを使用して、組織試料中の細胞結合型造影剤の分布の高分解能光学的薄片化画像を入手することと、b)第2の撮像モダリティを使用して、組織試料中の(a)に関するそれと同じ光学焦点面内の組織試料形態の高分解能光学的薄片化画像を入手することと、c)画像解釈アルゴリズムを使用して、第1および第2の撮像モダリティの一方または両方を使用して入手された画像を処理することとを含み、画像解釈アルゴリズムは、個々の細胞を識別し、それらの場所を決定し、第1の撮像モダリティを使用して入手された画像内の個々の細胞のそれらに対応する場所における信号を測定することによって、細胞分解能において細胞結合型造影剤から導出される信号の定量的尺度を出力する。いくつかの実施形態において、第1の撮像モダリティは、二光子蛍光顕微鏡検査、共焦点蛍光顕微鏡検査、光シート顕微鏡検査、または構造化照明顕微鏡検査を備えている。いくつかの実施形態において、第2の撮像モダリティは、刺激ラマン散乱顕微鏡検査、コヒーレント反ストークスラマン散乱顕微鏡検査、共焦点反射顕微鏡検査、第二高調波発生顕微鏡検査、または第三高調波発生顕微鏡検査を備えている。いくつかの実施形態において、第1の撮像モダリティおよび第2の撮像モダリティを使用して入手される画像は、10μmより小さい軸方向分解能を有する。いくつかの実施形態において、第1の撮像モダリティおよび第2の撮像モダリティを使用して入手される画像は、5μmより小さい側方分解能を有する。いくつかの実施形態において、方法は、第1の撮像モダリティを使用して、2つ以上の検出波長範囲内で画像を入手することをさらに含む。いくつかの実施形態において、2つ以上の検出波長範囲のうちの第1の検出波長範囲は、細胞結合型造影剤の放出ピークを含み、2つ以上の検出波長範囲のうちの第2の検出波長範囲は、細胞結合型造影剤の放出ピークを除外し、画像解釈アルゴリズムは、第1の検出波長を使用して入手された画像をさらに処理し、個々の細胞を識別し、それらの場所を決定し、個々の細胞の場所における信号を測定し、第2の放出波長範囲を使用して入手された画像内の個々の細胞のそれらに対応する場所において測定された背景値によって信号を補正することによって、細胞結合型造影剤から導出される信号の定量的尺度を出力する。いくつかの実施形態において、第2の撮像モダリティは、刺激ラマン散乱顕微鏡検査を備え、画像は、脂質分子のCH振動に対応する2,850cm-1の波数で入手される。いくつかの実施形態において、画像はまた、タンパク質および核酸分子のCH振動に対応する2,930cm-1の波数で入手される。いくつかの実施形態において、細胞結合型造影剤から導出される信号は、蛍光信号、燐光信号、またはそれらの任意の組み合わせを備えている。いくつかの実施形態において、細胞結合型造影剤は、蛍光体に共役された抗体、量子ドット、ナノ粒子、または燐光物質を備えている。いくつかの実施形態において、細胞結合型造影剤は、発蛍光性酵素基質を備えている。いくつかの実施形態において、細胞結合型造影剤は、フルオレセイン、5-ALA、BLZ-100、またはLUM015を備えている。いくつかの実施形態において、細胞結合型造影剤は、5-アミノレブリン酸(5-ALA)を備え、第1の放出波長範囲は、640nm光を含み、第2の放出波長は、600nmより短い波長を含む。いくつかの実施形態において、画像解釈アルゴリズムは、キャニーエッジ検出アルゴリズム、キャニー・デリチェエッジ検出アルゴリズム、一次勾配エッジ検出アルゴリズム、二次微分エッジ検出アルゴリズム、位相コヒーレンスエッジ検出アルゴリズム、画像区画化アルゴリズム、および強度閾値処理アルゴリズム、強度クラスタ化アルゴリズム、および強度ヒストグラムベースのアルゴリズム、特徴認識アルゴリズム、パターン認識アルゴリズム、一般化されたハフ変換アルゴリズム、サークルハフ変換アルゴリズム、フーリエ変換アルゴリズム、高速フーリエ変換アルゴリズム、ウェーブレット分析アルゴリズム、自動相関アルゴリズム、またはそれらの任意の組み合わせを備えている。いくつかの実施形態において、画像解釈アルゴリズムは、画像特徴サイズ、形状、パターン、強度、またはそれらの任意の組み合わせに基づいて、個々の細胞を検出する。いくつかの実施形態において、画像解釈アルゴリズムは、人工知能または機械学習アルゴリズムを備えている。いくつかの実施形態において、画像解釈アルゴリズムは、教師あり機械学習アルゴリズム、教師なし機械学習アルゴリズム、半教師あり機械学習アルゴリズム、またはそれらの任意の組み合わせを備えている。いくつかの実施形態において、機械学習アルゴリズムは、人工ニューラルネットワークアルゴリズム、深層畳み込みニューラルネットワークアルゴリズム、深層回帰型ニューラルネットワーク、敵対的生成ネットワーク、サポートベクトルマシン、階層的クラスタリングアルゴリズム、ガウス過程回帰アルゴリズム、決定木アルゴリズム、物流モデルツリーアルゴリズム、ランダムフォレストアルゴリズム、ファジィ分類子アルゴリズム、k平均法アルゴリズム、期待値最大化アルゴリズム、ファジィクラスタ化アルゴリズム、またはそれらの任意の組み合わせを備えている。いくつかの実施形態において、機械学習アルゴリズムは、アーカイブされた組織病理学的組織サンプルに関して入手された撮像データ、採取したばかりの組織病理学的組織サンプルに関して入手された撮像データ、またはそれらの任意の組み合わせを備えている訓練データセットを使用して訓練される。いくつかの実施形態において、訓練データセットは、同じまたは異なる施設における使用のために展開されている2つ以上のシステムによって入手された撮像データで、持続的に、周期的に、またはランダムに更新される。いくつかの実施形態において、2つ以上のシステムは、異なる施設に展開され、訓練データセットは、インターネット接続を介して、持続的に、周期的に、またはランダムに更新される。いくつかの実施形態において、画像解釈アルゴリズムは、細胞結合型造影剤から導出される信号の総または平均強度を決定する。いくつかの実施形態において、画像解釈アルゴリズムは、個々の細胞に関する細胞結合型造影剤から導出される信号が造影剤陽性細胞に関する規定された閾値レベルを上回るかどうかを決定する。いくつかの実施形態において、画像解釈アルゴリズムは、組織試料の画像内の造影剤陽性細胞の総数、組織試料の画像内の造影剤陽性細胞の密度、組織試料の画像内の造影剤陽性細胞のパーセンテージ、またはそれらの任意の組み合わせを出力する。いくつかの実施形態において、画像解釈アルゴリズムはまた、第2の光学薄片化撮像モダリティを使用して入手された画像に基づいて、細胞充実度スコアを出力する。いくつかの実施形態において、組織試料の画像は、生体内で入手される。いくつかの実施形態において、組織試料の画像は、生体外で入手される。いくつかの実施形態において、方法は、生検を実施するための場所を識別するために、または切除が完了したかどうかを決定するために外科手術手技中に使用される。
組織試料を撮像するためのシステムが、本明細書において開示され、システムは、a)組織試料の画像を入手するように構成された高分解能光学薄片化顕微鏡と、b)高分解能光学薄片化顕微鏡によって入手された画像内の個々の細胞を検出し、細胞結合型造影剤から導出される信号の定量的尺度を出力する画像解釈アルゴリズムを起動するように構成されたプロセッサとを備えている。いくつかの実施形態において、高分解能光学薄片化顕微鏡は、二光子蛍光顕微鏡、共焦点蛍光顕微鏡、光シート顕微鏡、または構造化照明顕微鏡を備えている。いくつかの実施形態において、高分解能光学薄片化顕微鏡は、10μmより小さい軸方向分解能を有する。いくつかの実施形態において、高分解能光学薄片化顕微鏡は、5μmより小さい側方分解能を有する。いくつかの実施形態において、高分解能光学薄片化顕微鏡は、2つ以上の放出波長範囲内で画像を入手するように構成されている。いくつかの実施形態において、2つ以上の検出波長範囲のうちの第1の放出波長範囲は、細胞結合型造影剤の放出ピークを含み、2つ以上の検出波長範囲のうちの第2の放出波長範囲は、細胞結合型造影剤の放出ピークを除外し、画像解釈アルゴリズムは、第1の検出波長範囲を使用して入手された画像を処理し、個々の細胞を識別し、それらの場所を決定し、個々の細胞の場所における信号を測定し、第2の検出波長範囲を使用して入手された画像内の対応する場所において測定された背景値を使用して、信号を補正することによって、細胞結合型造影剤から導出される信号の定量的尺度を出力する。いくつかの実施形態において、細胞結合型造影剤から導出される信号は、蛍光信号、燐光信号、またはそれらの任意の組み合わせを備えている。いくつかの実施形態において、細胞結合型造影剤は、蛍光体に共役された抗体、量子ドット、ナノ粒子、または燐光物質を備えている。いくつかの実施形態において、細胞結合型造影剤は、発蛍光性酵素基質を備えている。いくつかの実施形態において、細胞結合型造影剤は、フルオレセイン、5-ALA、BLZ-100、またはLUM015を備えている。いくつかの実施形態において、細胞結合型造影剤は、5-アミノレブリン酸(5-ALA)を備え、第1の放出波長範囲は、640nm光を含み、第2の放出波長は、600nmより短い波長を含む。いくつかの実施形態において、画像解釈アルゴリズムは、キャニーエッジ検出アルゴリズム、キャニー・デリチェエッジ検出アルゴリズム、一次勾配エッジ検出アルゴリズム、二次微分エッジ検出アルゴリズム、位相コヒーレンスエッジ検出アルゴリズム、画像区画化アルゴリズム、および強度閾値処理アルゴリズム、強度クラスタ化アルゴリズム、および強度ヒストグラムベースのアルゴリズム、特徴認識アルゴリズム、パターン認識アルゴリズム、一般化されたハフ変換アルゴリズム、サークルハフ変換アルゴリズム、フーリエ変換アルゴリズム、高速フーリエ変換アルゴリズム、ウェーブレット分析アルゴリズム、自動相関アルゴリズム、またはそれらの任意の組み合わせを備えている。いくつかの実施形態において、画像解釈アルゴリズムは、画像特徴サイズ、形状、パターン、強度、またはそれらの任意の組み合わせに基づいて、個々の細胞を検出する。いくつかの実施形態において、画像解釈アルゴリズムは、人工知能または機械学習アルゴリズムを備えている。いくつかの実施形態において、画像解釈アルゴリズムは、教師あり機械学習アルゴリズム、教師なし機械学習アルゴリズム、半教師あり機械学習アルゴリズム、またはそれらの任意の組み合わせを備えている。いくつかの実施形態において、機械学習アルゴリズムは、人工ニューラルネットワークアルゴリズム、ネットワーク、サポートベクトルマシン、階層的クラスタリングアルゴリズム、ガウス過程回帰アルゴリズム、決定木アルゴリズム、物流モデルツリーアルゴリズム、ランダムフォレストアルゴリズム、ファジィ分類子アルゴリズム、k平均法アルゴリズム、期待値最大化アルゴリズム、ファジィクラスタ化アルゴリズム、またはそれらの任意の組み合わせを備えている。いくつかの実施形態において、機械学習アルゴリズムは、アーカイブされた組織病理学的組織サンプルに関して入手された撮像データ、採取したばかりの組織病理学的組織サンプルに関して入手された撮像データ、またはそれらの任意の組み合わせを備えている訓練データセットを使用して訓練される。いくつかの実施形態において、訓練データセットは、同じまたは異なる施設における使用のために展開されている2つ以上のシステムによって入手された撮像データで、持続的に、周期的に、またはランダムに更新される。いくつかの実施形態において、2つ以上のシステムは、異なる施設に展開され、訓練データセットは、インターネット接続を介して、持続的に、周期的に、またはランダムに更新される。いくつかの実施形態において、細胞結合型造影剤から導出される信号の定量的尺度は、画像内の1つ以上の個々の細胞に関連付けられた造影剤の量の尺度を備えている。いくつかの実施形態において、細胞結合型造影剤から導出される信号の定量的尺度は、画像内の造影剤陽性細胞の総数、画像内の造影剤陽性細胞の密度、画像内の造影剤陽性細胞のパーセンテージ、またはそれらの任意の組み合わせの測定値を備えている。いくつかの実施形態において、組織試料の画像は、生体内で入手される。いくつかの実施形態において、組織試料の画像は、生体外で入手される。いくつかの実施形態において、システムは、生検を実施するための場所を識別するために、または切除が完了したかどうかを決定するために外科手術手技中に使用される。
組織試料を撮像する方法が、本明細書において開示され、方法は、a)組織試料の高分解能光学的薄片化画像を入手することと、b)画像内の個々の細胞を検出し、1つ以上の個々の細胞の場所における細胞結合型造影剤から導出される信号の定量的尺度を出力する、画像解釈アルゴリズムを使用して、画像を処理することとを含む。いくつかの実施形態において、高分解能光学的薄片化画像は、二光子蛍光顕微鏡検査、共焦点蛍光顕微鏡検査、光シート顕微鏡検査、または構造化照明顕微鏡検査を使用して入手される。いくつかの実施形態において、第1の撮像モダリティは、二光子蛍光顕微鏡検査、共焦点蛍光顕微鏡検査、光シート顕微鏡検査、または構造化照明顕微鏡検査を備えている。いくつかの実施形態において、入手された画像は、10μmより小さい軸方向分解能を有する。いくつかの実施形態において、入手された画像は、5μmより小さい側方分解能を有する。いくつかの実施形態において、細胞結合型造影剤から導出される信号は、蛍光信号、燐光信号、またはそれらの任意の組み合わせを備えている。いくつかの実施形態において、細胞結合型造影剤は、蛍光体に共役された抗体、量子ドット、ナノ粒子、または燐光物質を備えている。いくつかの実施形態において、細胞結合型造影剤は、発蛍光性酵素基質を備えている。いくつかの実施形態において、細胞結合型造影剤は、フルオレセイン、5-ALA、BLZ-100、またはLUM015を備えている。いくつかの実施形態において、画像解釈アルゴリズムは、キャニーエッジ検出アルゴリズム、キャニー・デリチェエッジ検出アルゴリズム、一次勾配エッジ検出アルゴリズム、二次微分エッジ検出アルゴリズム、位相コヒーレンスエッジ検出アルゴリズム、画像区画化アルゴリズム、および強度閾値処理アルゴリズム、強度クラスタ化アルゴリズム、および強度ヒストグラムベースのアルゴリズム、特徴認識アルゴリズム、パターン認識アルゴリズム、一般化されたハフ変換アルゴリズム、サークルハフ変換アルゴリズム、フーリエ変換アルゴリズム、高速フーリエ変換アルゴリズム、ウェーブレット分析アルゴリズム、自動相関アルゴリズム、またはそれらの任意の組み合わせを備えている。いくつかの実施形態において、画像解釈アルゴリズムは、画像特徴サイズ、形状、パターン、強度、またはそれらの任意の組み合わせに基づいて、個々の細胞を検出する。いくつかの実施形態において、画像解釈アルゴリズムは、人工知能または機械学習アルゴリズムを備えている。いくつかの実施形態において、画像解釈アルゴリズムは、教師あり機械学習アルゴリズム、教師なし機械学習アルゴリズム、半教師あり機械学習アルゴリズム、またはそれらの任意の組み合わせを備えている。いくつかの実施形態において、機械学習アルゴリズムは、人工ニューラルネットワークアルゴリズム、深層畳み込みニューラルネットワークアルゴリズム、深層回帰型ニューラルネットワーク、敵対的生成ネットワーク、サポートベクトルマシン、階層的クラスタリングアルゴリズム、ガウス過程回帰アルゴリズム、決定木アルゴリズム、物流モデルツリーアルゴリズム、ランダムフォレストアルゴリズム、ファジィ分類子アルゴリズム、k平均法アルゴリズム、期待値最大化アルゴリズム、ファジィクラスタ化アルゴリズム、またはそれらの任意の組み合わせを備えている。いくつかの実施形態において、機械学習アルゴリズムは、アーカイブされた組織病理学的組織サンプルに関して入手された撮像データ、採取したばかりの組織病理学的組織サンプルに関して入手された撮像データ、またはそれらの任意の組み合わせを備えている訓練データセットを使用して訓練される。いくつかの実施形態において、訓練データセットは、同じまたは異なる施設における使用のために展開されている2つ以上のシステムによって入手された撮像データで、持続的に、周期的に、またはランダムに更新される。いくつかの実施形態において、2つ以上のシステムは、異なる施設に展開され、訓練データセットは、インターネット接続を介して、持続的に、周期的に、またはランダムに更新される。いくつかの実施形態において、画像解釈アルゴリズムは、細胞結合型造影剤から導出される信号の平均強度を決定する。いくつかの実施形態において、画像解釈アルゴリズムは、各個々の細胞に関する信号が造影剤陽性細胞に関する規定された閾値レベルを上回るかどうかを決定する。いくつかの実施形態において、画像解釈アルゴリズムは、画像内の造影剤陽性細胞の総数、画像内の造影剤陽性細胞の密度、画像内の造影剤陽性細胞のパーセンテージ、またはそれらの任意の組み合わせを出力する。いくつかの実施形態において、画像解釈アルゴリズムは、細胞充実度スコアを出力する。いくつかの実施形態において、組織試料の画像は、生体内で入手される。いくつかの実施形態において、組織試料の画像は、生体外で入手される。いくつかの実施形態において、システムは、外科手術手技中に使用され、生検を実施するための場所を識別する、または切除が完了したかどうかを決定する。
組織試料中の細胞結合型光学造影剤の検出のための方法が、本明細書において開示され、方法は、a)細胞結合型造影剤の放出ピークを含む第1の放出波長範囲において、組織試料の第1の高分解能光学的薄片化画像を入手することと、b)細胞結合型造影剤の放出ピークを除外する第2の放出波長範囲において、組織試料の第2の高分解能光学的薄片化画像を入手することと、c)疑似カラーアルゴリズムを第1および第2の画像に適用し、人間による解釈を促進する組織試料のマルチカラー画像を発生させることとを含む。いくつかの実施形態において、第1および第2の高分解能光学的薄片化画像は、二光子蛍光顕微鏡検査、共焦点蛍光顕微鏡検査、光シート顕微鏡検査、または構造化照明顕微鏡検査を使用して入手される。いくつかの実施形態において、第1の放出波長範囲を使用して入手された画像は、画像解釈アルゴリズムによってさらに処理され、個々の細胞およびそれらの場所を識別し、画像内の造影剤陽性細胞の総数、画像内の造影剤陽性細胞の密度、画像内の造影剤陽性細胞のパーセンテージ、またはそれらの任意の組み合わせを出力する。いくつかの実施形態において、組織試料の画像は、生体内で入手される。いくつかの実施形態において、組織試料の画像は、生体外で入手される。いくつかの実施形態において、方法は、生検を実施するための場所を識別するために、または切除が完了したかどうかを決定するために外科手術手技中に使用される。
外科手術切除を誘導する方法も、本明細書に開示され、方法は、a)第1の撮像モダリティを使用して、組織試料中の細胞結合型造影剤の分布の高分解能光学的薄片化画像を入手することと、b)第2の撮像モダリティを使用して、組織試料中の同じ光学焦点面内の組織試料形態の高分解能光学的薄片化画像を入手することと、c)画像解釈アルゴリズムを使用して、第1および第2の撮像モダリティの一方または両方を使用して入手された画像を処理することとを含み、画像解釈アルゴリズムは、個々の細胞を識別し、それらの場所を決定し、第1の撮像モダリティを使用して入手された画像内の個々の細胞のそれらに対応する場所における信号を測定することによって、細胞分解能において細胞結合型造影剤から導出される信号の定量的尺度を出力する。
外科手術切除を誘導する方法が、本明細書において開示され、方法は、a)組織試料の高分解能光学的薄片化画像を入手することと、b)画像内の個々の細胞を検出し、1つ以上の個々の細胞の場所における細胞結合型造影剤から導出される信号の定量的尺度を出力する画像解釈アルゴリズムを使用して、画像を処理することとを含む。
外科手術切除を誘導する方法が、本明細書において開示され、方法は、a)細胞結合型造影剤の放出ピークを含む第1の放出波長範囲において、組織試料の第1の高分解能光学的薄片化画像を入手することと、b)細胞結合型造影剤の放出ピークを除外する第2の放出波長範囲において、組織試料の第2の高分解能光学的薄片化画像を入手することと、c)疑似カラーアルゴリズムを第1および第2の画像に適用し、人間による解釈を促進する、組織試料のマルチカラー画像を発生させることとを含む。
本明細書に開示される方法のいずれかに関して、いくつかの実施形態において、少なくとも1つの撮像モダリティに関する画像は、二光子蛍光顕微鏡検査、共焦点蛍光顕微鏡検査、光シート顕微鏡検査、または構造化照明顕微鏡検査を使用して入手される。いくつかの実施形態において、少なくとも第2の撮像モダリティを使用して入手される画像は、刺激ラマン散乱顕微鏡検査、コヒーレント反ストークスラマン散乱顕微鏡検査、共焦点反射顕微鏡検査、第二高調波発生顕微鏡検査、または第三高調波発生顕微鏡検査を使用して入手される。いくつかの実施形態において、組織試料は、脳組織試料、乳房組織試料、肺組織試料、膵臓組織試料、または前立腺組織試料である。いくつかの実施形態において、組織試料の画像は、生体内で入手される。いくつかの実施形態において、組織試料の画像は、生体外で入手される。いくつかの実施形態において、第1の撮像モダリティまたは第2の撮像モダリティを使用して入手された画像を処理するために使用される画像解釈アルゴリズムは、画像内の造影剤陽性細胞の総数、画像内の造影剤陽性細胞の密度、画像内の造影剤陽性細胞のパーセンテージ、またはそれらの任意の組み合わせを出力する。いくつかの実施形態において、第1の撮像モダリティまたは第2の撮像モダリティを使用して入手された画像を処理するために使用される画像解釈アルゴリズムは、機械学習アルゴリズムを備えている。いくつかの実施形態において、機械学習アルゴリズムは、教師あり機械学習アルゴリズム、教師なし機械学習アルゴリズム、半教師あり機械学習アルゴリズム、またはそれらの任意の組み合わせを備えている。いくつかの実施形態において、機械学習アルゴリズムは、人工ニューラルネットワークアルゴリズム、深層畳み込みニューラルネットワークアルゴリズム、深層回帰型ニューラルネットワーク、敵対的生成ネットワーク、サポートベクトルマシン、階層的クラスタリングアルゴリズム、ガウス過程回帰アルゴリズム、決定木アルゴリズム、物流モデルツリーアルゴリズム、ランダムフォレストアルゴリズム、ファジィ分類子アルゴリズム、k平均法アルゴリズム、期待値最大化アルゴリズム、ファジィクラスタ化アルゴリズム、またはそれらの任意の組み合わせを備えている。いくつかの実施形態において、機械学習アルゴリズムは、アーカイブされた組織病理学的組織サンプルに関して入手された撮像データ、採取したばかりの組織病理学的組織サンプルに関して入手された撮像データ、またはそれらの任意の組み合わせを備えている訓練データセットを使用して訓練される。いくつかの実施形態において、訓練データセットは、同じまたは異なる施設における使用のために展開されている2つ以上のシステムによって入手された撮像データで、持続的に、周期的に、またはランダムに更新される。いくつかの実施形態において、2つ以上のシステムは、異なる施設に展開され、訓練データセットは、インターネット接続を介して、持続的に、周期的に、またはランダムに更新される。
外科手術切除を誘導する方法が、本明細書において開示され、方法は、a)二光子蛍光顕微鏡検査を使用して、組織試料中の細胞結合型造影剤の分布の高分解能光学的薄片化画像を入手することと、b)刺激ラマン散乱顕微鏡検査を使用して、組織試料の同じ光学焦点面内の組織試料形態の高分解能光学的薄片化画像を入手することと、c)個々の細胞を識別し、それらの場所を決定し、二光子蛍光顕微鏡検査を使用して入手された画像内の個々の細胞のそれらに対応する場所における信号を測定することによって、細胞分解能における細胞結合型造影剤から導出される信号の定量的尺度を出力する画像解釈アルゴリズムを使用して、刺激ラマン散乱顕微鏡検査を使用して入手された画像を処理することとを含む。
外科手術切除を誘導する方法が、本明細書において開示され、方法は、a)二光子蛍光顕微鏡検査を使用して、組織試料の高分解能光学的薄片化画像を入手することと、b)画像内の個々の細胞を検出し、1つ以上の個々の細胞の場所における細胞分解能を伴う細胞結合型造影剤から導出される信号の定量的尺度を出力する画像解釈アルゴリズムを使用して、画像を処理することとを含む。
外科手術切除を誘導する方法が、本明細書において開示され、方法は、a)細胞結合型造影剤の放出ピークを含む第1の放出波長範囲において、組織試料の第1の高分解能光学的薄片化二光子蛍光画像を入手することと、b)細胞結合型造影剤の放出ピークを除外する第2の放出波長範囲において、組織試料の第2の高分解能光学的薄片化二光子蛍光画像を入手することと、c)疑似カラーアルゴリズムを第1および第2の二光子蛍光画像に適用し、人間による解釈を促進する組織試料のマルチカラー画像を発生させることとを含む。
本明細書に開示される方法のいずれかにおいて、いくつかの実施形態において、少なくとも1つの撮像モダリティに関する画像は、二光子蛍光顕微鏡検査の代わりに、共焦点蛍光顕微鏡検査、光シート顕微鏡検査、または構造化照明顕微鏡検査を使用して入手される。いくつかの実施形態において、少なくとも第2の撮像モダリティを使用して入手される画像は、刺激ラマン散乱顕微鏡検査の代わりに、コヒーレント反ストークスラマン散乱顕微鏡検査、共焦点反射顕微鏡検査、第二高調波発生顕微鏡検査、または第三高調波発生顕微鏡検査を使用して入手される。いくつかの実施形態において、組織試料は、脳組織試料、乳房組織試料、肺組織試料、膵臓組織試料、または前立腺組織試料である。いくつかの実施形態において、組織試料の画像は、生体内で入手される。いくつかの実施形態において、組織試料の画像は、生体外で入手される。いくつかの実施形態において、二光子蛍光顕微鏡検査を使用して入手された画像を処理するために使用される画像解釈アルゴリズムは、画像内の造影剤陽性細胞の総数、画像内の造影剤陽性細胞の密度、画像内の造影剤陽性細胞のパーセンテージ、またはそれらの任意の組み合わせを出力する。いくつかの実施形態において、二光子蛍光または刺激ラマン散乱顕微鏡検査を使用して入手された画像を処理するために使用される画像解釈アルゴリズムは、機械学習アルゴリズムを備えている。いくつかの実施形態において、機械学習アルゴリズムは、教師あり機械学習アルゴリズム、教師なし機械学習アルゴリズム、半教師あり機械学習アルゴリズム、またはそれらの任意の組み合わせを備えている。いくつかの実施形態において、機械学習アルゴリズムは、人工ニューラルネットワークアルゴリズム、深層畳み込みニューラルネットワークアルゴリズム、深層回帰型ニューラルネットワーク、敵対的生成ネットワーク、サポートベクトルマシン、階層的クラスタリングアルゴリズム、ガウス過程回帰アルゴリズム、決定木アルゴリズム、物流モデルツリーアルゴリズム、ランダムフォレストアルゴリズム、ファジィ分類子アルゴリズム、k平均法アルゴリズム、期待値最大化アルゴリズム、ファジィクラスタ化アルゴリズム、またはそれらの任意の組み合わせを備えている。いくつかの実施形態において、機械学習アルゴリズムは、アーカイブされた組織病理学的組織サンプルに関して入手された撮像データ、採取したばかりの組織病理学的組織サンプルに関して入手された撮像データ、またはそれらの任意の組み合わせを備えている訓練データセットを使用して訓練される。いくつかの実施形態において、訓練データセットは、同じまたは異なる施設における使用のために展開されている2つ以上のシステムによって入手された撮像データで、持続的に、周期的に、またはランダムに更新される。いくつかの実施形態において、2つ以上のシステムは、異なる施設に展開され、訓練データセットは、インターネット接続を介して、持続的に、周期的に、またはランダムに更新される。
(参照による組み込み)
本明細書に述べられた全ての刊行物、特許、および特許出願は、各個々の刊行物、特許、または特許出願が、具体的に、個々に、示され、参照することによって組み込まれる場合と同程度に、参照することによって本明細書に組み込まれる。本明細書の用語と組み込まれる参考文献内の用語との間に矛盾がある場合、本明細書の用語が優先する。
本発明の新規特徴は、添付の請求項において詳細を伴って記載される。本発明の特徴および利点のより深い理解は、本発明の原理が利用される例証的実施形態を記載する以下の発明を実施するための形態と、付随の図面とを参照することによって取得されるであろう。
図1Aは、神経膠腫を除去するための外科手術手技中の脳組織の可視光画像の非限定的例を提供する。
図1Bは、図1Aに図示される脳組織の蛍光画像の非限定的例を提供し、5-アミノレブリン酸(5-ALA)HClが、神経膠腫の除去をより良好に可視化および誘導するための造影剤として使用されている。
図2は、組織形態を撮像するための刺激ラマン散乱(SRS)顕微鏡検査を蛍光造影剤の分布を撮像するための二光子蛍光(2P)顕微鏡検査と組み合わせた高分解能光学顕微鏡の概略図を提供する。
図3Aは、造影剤として5-ALAが投薬された脳腫瘍組織サンプルの二光子蛍光画像の非限定的例を提供する。
図3Bは、画像を処理し、画像内の個々の細胞を識別後の図3Aに示される脳腫瘍組織サンプルの二光子蛍光画像の非限定的例を提供する。
図4Aは、造影剤として5-ALAが投薬された患者からの生検組織の生体外二光子蛍光画像の非限定的例を提供する。
図4Bは、造影剤が投薬されなかった患者からの生検組織の生体外二光子蛍光画像の非限定的例を提供する。
図5は、造影剤として5-ALAが投薬された脳組織サンプルに関する二光子蛍光放出スペクトルの非限定的例を提供する。
図6は、5-ALAが投薬された組織サンプル(右における画像)に関して取得される一光子蛍光放出スペクトル(左)の非限定的例を提供する。
図7は、刺激ラマンおよび二光子蛍光プロセスに関して生じる振動または電子状態遷移に対するエネルギーレベル略図および基底状態の概略図を提供する。
図8Aは、脳癌組織試料の刺激ラマン散乱画像の非限定的例を提供する。
図8Bは、図8Aに描写されるものと同じ脳癌組織試料内の造影剤(5-ALA)の分布を示す二光子蛍光画像の非限定的例を提供する。
図9Aは、図8Aの刺激ラマン散乱画像内の核または細胞(円形)の自動化された検出を図示する。
図9Bは、図8Bに示される画像内で検出された核または細胞上に中心を置かれた規定された細胞エリア(円形)内の蛍光強度の自動化された測定を図示する。
図10Aは、特定の放出帯域を検出するように個々にフィルタ処理され得る放出帯域を分離し、異なる光電子増倍管(PMT)に向かって信号を向けるために使用されるダイクロイックフィルタを備えている二重チャネル非デスキャン検出器設計の第1の図を提供する。
図10Bは、図10Aに図示される二重チャネル非デスキャン検出器設計の第2の図を提供する。
外科手術時の腫瘍性組織の識別は、適正な外科手術用決定を行い、患者における最大限の安全切除を達成するために重要である。近年、フルオレセイン、5-アミノレブリン酸(5-ALA)(NX Development Corp(Lexington,KY))、BLZ-100(Blaze Bioscienc,Inc.(Seattle,WA))、およびLUM015(Lumicell,Inc.(Newton,MA))等の術中蛍光造影剤が、承認を得、人気を得ている。これらの造影剤は、典型的に、術前に与えられ(例えば、経口または注射によって)、従来の蛍光性外科手術用顕微鏡(例えば、Zeiss OPMI Pentero800(Carl Zeiss Meditec,Inc.(Dublin,CA)、Leica PROvido-FL560(Leica Microsystems Inc.(Buffalo Grove,IL)、またはSynaptive Modus V(Synaptive Medical(Totonto,ON))を用いて可視化されることができる。図1Aは、神経膠腫を除去するための外科手術手技中の、5-ALAで処置された脳組織の可視光画像の例を提供する。図1Bは、対応する蛍光画像を示す。現在の実践では、外科医は、全ての蛍光性組織を切除するであろう。
当技術分野において周知であるこのアプローチの限界は、(i)少数の腫瘍細胞に起因して造影剤蓄積の濃度が低くあり得る腫瘍辺縁における限定された感度と、(ii)自己蛍光背景信号、非特異的染色、および非均一送達に起因する限定された特異性とを含む。
これらの限界を克服するために、本明細書に開示される方法およびシステムは、生体外または生体内のいずれかにおいて、採取したばかりの組織試料において高分解能光学撮像を使用して、近リアルタイムで、手術室内で細胞または細胞以下レベルで色素の分布を分解する。このアプローチは、画像採取したばかりの組織試料を撮像することが可能であるために、光学薄片化に依拠する。組織を物理的に薄片化することなく厚い組織試料において蛍光造影剤を可視化するために使用され得る好適な高分解能光学撮像技法は、限定ではないが、二光子蛍光(2P)顕微鏡検査、共焦点蛍光顕微鏡検査(CM)、光シート顕微鏡検査(LSM)、および構造化照明顕微鏡検査(SIM)を含む。そのような撮像モダリティは、焦点外信号を抑制するための光学薄片化に依拠し、そのような撮像モダリティは、軸方向に10ミクロンに等しいかまたはより優れ、側方に5ミクロンに等しいかまたはより優れた分解能、すなわち、細胞および細胞以下特徴を撮像するために十分な分解能を有することができる。生体外アプローチは、最良画質および感度を達成するために好ましくあり得る。生体内アプローチは、それらが組織生検を要求しないので、臨床ワークフローの観点から好ましくあり得る。
定義:別様に定義されない限り、本明細書で使用される技術的用語の全ては、本開示が属する分野における当業者によって一般に理解されるものと同じ意味を有する。
本明細書および添付の請求項において使用される場合、単数形「a」、「an」、および「the」は、文脈によって別様に明確に決定付けられない限り、複数参照を含む。本明細書における「または」の任意の参照は、別様に述べられない限り、「および/または」を包含するように意図される。
本明細書で使用される場合、用語「約」が付いた数は、その数の±10%の数を指す。範囲の文脈において使用されるときの用語「約」は、その最低値の-10%~その最大値の+10%の範囲を指す。
組織試料:いくつかの事例では、開示されるシステムおよび方法は、当業者に公知の種々の組織試料のいずれかの特性評価のために使用され得る。例は、限定ではないが、結合組織、上皮組織、筋肉組織、肺組織、膵臓組織、乳房組織、腎臓組織、肝臓組織、前立腺組織、甲状腺組織、および神経組織試料を含む。いくつかの事例では、組織試料は、植物または動物の任意の器官または構成要素から導出され得る。いくつかの事例では、組織試料は、限定ではないが、脳、心臓、肺、腎臓、肝臓、胃、膀胱、腸、骨格筋、平滑筋、乳房、前立腺、膵臓、甲状腺等を含む人体の任意の器官または他の構成要素から導出され得る。いくつかの事例では、組織試料は、異常または疾患、例えば、腫瘍または癌(例えば、肉腫、癌腫、神経膠腫等)を示す患者から収集された試料を備え得る。
組織試料収集:組織サンプルを個人から取得するための手技は、当技術分野において周知である。例えば、針吸引生検、コア針生検、または外科手術用生検から等の組織サンプルを引き出し、処理するための手技は、周知であり、開示されるシステムおよび方法を使用した分析のための組織試料を取得するために採用され得る。典型的に、そのような組織サンプルの収集のために、細い中空針が、腫瘍腫瘤等の腫瘤の中に挿入されるか、または、腫瘤が、染色された後、顕微鏡下で検査されるであろう組織のサンプリングのために、外科的に暴露される。
造影剤:いくつかの事例では、開示される方法およびシステムは、組織試料の画像内の腫瘍性組織、良性組織、および悪性組織の外観を増強する、および/または区別するために、造影剤の使用を含む。本明細書で使用される場合、用語「造影剤」および「光学造影剤」は、同義的に使用される。本明細書で使用される場合、用語「蛍光造影剤」および「燐光造影剤」は、適切に励起されると、それぞれ、蛍光または燐光を放出する光学造影剤の一部を指す。蛍光造影剤の例は、限定ではないが、5-アミノレブリン酸塩酸塩(5-ALA)、BLZ-100、およびLUM015を含む。いくつかの事例では、開示される方法およびシステムは、造影剤(例えば、細胞結合型造影剤)から導出される信号(造影剤自体またはその代謝または処理された形態によって発生させられた信号であり得る)の測定を備えている。
5-ALAは、細胞内で代謝され、蛍光性プロスタグランジンIX(PPIX)分子を形成する、化合物である。5-ALAの外生性適用は、腫瘍細胞および上皮組織内のPPIXの高度に選択的蓄積につながる。PPIXは、青色光(約405nmおよび442nmにおける励起最大値)で励起され、赤色で放出する(約630nmおよび690nmにおける放出最大値)(例えば、Wang,et al.(2017),“Enhancement of 5-aminolevulinic acid-based fluorescence detection of side population-defined glioma stem cells by iron chelation”,Nature Scientific Reports7:42070参照)。
BLZ-100は、インドシアニングリーン(ICG)に共役された腫瘍リガンドクロロトキシン(CTX)を備え、脳腫瘍等に関する標的化された造影剤としての潜在性を示している。(例えば、Butte,et al.(2014),“Near-infrared imaging of brain tumors using the Tumor Paint BLZ-100 to achieve near-complete resection of brain tumors”,Neurosurg Focus36(2):E1参照)。BLZ-100は、典型的に、約780nmで近赤外線において励起され(約800nmを中心とする広範なICG吸収ピーク)、広範な蛍光放出スペクトル(約810nm~830nmにおける放出最大値を有する)は、吸収スペクトルにほぼ重複する。
LUM015は、Gly-Gly-Lys-Arg(GGRK)ペプチドを通して、20-kDポリエチレングリコール(PEG)およびシアニン色素5(Cy5)蛍光体に付着される商業的に利用可能な蛍光消光体分子(QSY(登録商標)21)を備えているプロテアーゼ活性化撮像剤である。無傷分子は、光学的に不活性であるが、カテプシンK、L、またはS等によるタンパク質分解開裂時、消光体が、解放され、光学的に活性な断片を生成する(例えば、Whitley,et al.(2016)“A mouse-human phase 1 co-clinical trial of a protease-activated fluorescent probe for imaging cancer”,Science Translational Medicine8(320)pp.320ra4参照)。Cy5標識断片は、約650nmにおける蛍光励起ピークおよび670nmにおける放出ピークを有する。
造影剤は、当業者に公知の種々の技法のいずれかを使用して、例えば、染色試薬として、造影剤の溶液を組織切片に適用することによって、生体外撮像のために組織試料に適用され得る。造影剤は、限定ではないが、経口、静脈内注射等を含む当業者に公知の種々の技法のいずれかによって、生体内撮像のために、対象、例えば、患者に投与され得、技法の選択肢は、具体的造影剤に依存し得る。
本明細書に開示される撮像方法およびシステムのいずれかに関して、組織試料は、いくつかの事例では、1つ以上の光学造影剤で染色され得る。例えば、いくつかの事例では、組織試料は、1つ、2つ、3つ、4つ、または5つ以上の異なる光学造影剤で染色され得る。
記載されるように、いくつかの事例では、1つ以上の光学造影剤は、蛍光信号を放出する蛍光造影剤を備え得る。いくつかの事例では、1つ以上の光学造影剤は、燐光信号を放出する燐光造影剤を備え得る。いくつかの事例では、1つ以上の光学造影剤は、組織試料中の細胞に特に関連付けられた造影剤を備え得る。いくつかの事例では、1つ以上の光学造影剤は、1つ以上の特定のタイプの細胞(例えば、「標的化された」細胞)に特に関連付けられた造影剤を備え得る。いくつかの事例では、1つ以上の光学造影剤は、例えば、蛍光体に共役された抗体、量子ドット、ナノ粒子、または燐光物質を備え得る。いくつかの事例では、細胞結合型造影剤は、特定の酵素を発現する細胞タイプを標的化するように設計される発蛍光性酵素基質を備え得る。
術中使用:いくつかの事例では、開示される方法およびシステムは、例えば、外科手術手技を案内するために、生検を実施するための場所を識別するために、または、切除が完了したかどうかを決定するために術中において使用され得る。いくつかの事例では、開示されるシステムは、手術室環境内で展開され、リアルタイムまたは近リアルタイム生体内撮像能力および案内を外科手術手技を実施する外科医に提供し得る。
高分解能光学的薄片化蛍光および関連撮像顕微鏡検査:組織を物理的に薄片化せずに、厚い組織試料における蛍光造影剤の分布を可視化するために好適な高分解能光学撮像技法は、限定ではないが、二光子蛍光(2PまたはTPF)顕微鏡検査、三光子蛍光(3P)顕微鏡検査、共焦点蛍光顕微鏡検査(CFM)、光シート蛍光顕微鏡検査(LSFM)、および構造化照明顕微鏡検査(SIM)を含む。一般に、これらの技法は、厚い組織試料の光学的に薄片化された撮像を可能にする小被写界深度を達成するために、例えば、二光子蛍光および他の光学プロセスを刺激するために要求される励起レーザビームの共焦点光学系および/または緊密集束に依拠する。これらの技法のうちのいくつかは、他の光学放出モード、例えば、燐光および蛍光と適合性がある。
二光子蛍光顕微鏡検査:二光子(2P)蛍光顕微鏡検査は、蛍光撮像技法であり、色素分子による2つの励起光子の吸収が、励起光のそれより短い波長を有する単一放出光子の放出をもたらす電子遷移を引き起こす。二光子蛍光顕微鏡検査は、典型的に、近赤外線(NIR)励起光を使用し、それは、組織サンプル中の散乱を最小化する。多光子吸収プロセスは、背景信号(蛍光の励起を主に焦点面に閉じ込める組織試料との非線形相互作用に起因する)を抑制し、増加した組織浸透深度(最大約1ミリメートルの厚さ)に寄与する。より深い組織浸透に加え、二光子励起は、効率的光検出および低減させられた光退色の利点を有する(例えば、Denk,et al.,(1990),“Two-PhotonLaser Scanning Fluorescence Microscopy”,Science248:4951:73-76参照)。
共焦点蛍光顕微鏡検査:共焦点蛍光顕微鏡検査(CFM)は、焦点外平面から生じるレーザ誘発蛍光信号を能動的に抑制することによって、3次元光学分解能を提供する撮像技法である。これは、典型的に、検出器の正面におけるピンホールを使用することによって達成され、焦点内平面に由来する光が、顕微鏡対物レンズによって撮像され、ピンホールを通過する一方、焦点外平面から生じる光が、主として、ピンホールによって遮断される(例えば、Combs(2010),“Fluorescence Microscopy:A Concise Guide to Current Imaging Methods”,Curr. Protocols in Neurosci.50(1):2.1.1-2.1.14、Sanai,et al.(2011),“Intraoperative confocal microscopy in the visualization of 5-aminolevulinic acid fluorescence in low-grade gliomas”,J. Neurosurg.115(4):740-748、Liu,et al.(2014),“Trends in Fluorescence Image-guided Surgery for Gliomas”,Neurosurgery75(1):61-71参照)。
光シート蛍光顕微鏡検査:光シート蛍光顕微鏡検査(LSFM)は、光の平面(典型的に、レーザビームを広げ、円筒形レンズおよび/または細隙開口を充填することによって生産される)を使用して、組織を光学的に薄片化し、細胞以下分解能を伴って、視認し、透過組織内の深部を撮像することを可能にする。組織は、光の薄いシートにさらされるので、光退色および光毒性は、広視野蛍光、共焦点、または多光子顕微鏡検査技法と比較して最小化される(例えば、Santi(2011),“Light Sheet Fluorescence Microscopy:A Review”,J.of Histochem. & Cytochem.59(2):129-138、Meza,et al.(2015),“Comparing high‐resolution microscopy techniques for potential intraoperative use in guiding low‐grade glioma resections”,Lasers in Surg. And Med.47(4):289-295、Glaser,et al.(2017),“Light-sheet microscopy for slide-free non-destructive pathology of large clinical specimens”,Nat Biomed Eng.1(7):0084参照)。
構造化照明蛍光顕微鏡検査:構造化照明蛍光顕微鏡検査(SIM)は、励起光の単一空間周波数グリッドパターンをサンプル上に投影することによって、従来の広視野顕微鏡において光学薄片化を取得する方法である。例えば、グリッドの3つの空間位置において撮影された画像は、共焦点顕微鏡を使用して取得されるそれらに類似する光学的に薄片化された画像を生産するために処理される(例えば、Neil,et al.(1997),“Method of Obtaining Optical Sectioning By Using Structured Light In A Conventional Microscope”,Optics Lett.22(24):1905-1907参照)。
高分解能光学的薄片化非蛍光撮像顕微鏡検査:組織形態を撮像するために好適な高分解能光学的薄片化非蛍光撮像顕微鏡検査は、限定ではないが、刺激ラマン散乱(SRS)顕微鏡検査、コヒーレント反ストークスラマン散乱(CARS)顕微鏡検査、共焦点反射(CR)顕微鏡検査、第二高調波発生(SHG)顕微鏡検査、および第三高調波発生(THG)顕微鏡検査を含む。一般に、これらの技法は、厚い組織試料の光学的に薄片化された撮像を可能にする小被写界深度を達成するために、SRS、CARS、SHG、またはTHG散乱または放出を刺激するために要求される励起レーザビームの緊密集束に依拠する。
刺激ラマン散乱(SRS)顕微鏡検査:刺激ラマン散乱(SRS)顕微鏡検査は、未処理組織試料の高速の無標識高分解能微視的撮像を提供する、撮像技法である。SRS顕微鏡検査は、2つのレーザパルス列を要求し、2つのレーザパルス列は、時間的不整合がパルス持続時間未満(例えば、100フェムト秒未満)であるように時間的に重複させられ、焦点スポットサイズ未満(例えば、100nm未満)空間的に重複させられる。対の空間的および時間的に同期させられるレーザパルス列によってサンプル中に誘発される刺激ラマン散乱の撮像は、例えば、脂質分子のCH振動(2,850cm-1)またはタンパク質および核酸分子のCH振動(2,930cm-1)に対応する振動周波数(または波数)における画像入手に基づいて、組織試料中の異なる分子成分のマッピングを可能にする(例えば、Freudiger,et al.(2008),“Label-Free Biomedical Imaging with High Sensitivity by Stimulated Raman Scattering Microscopy”,Science322:1857-186およびOrringer,et al.(2017),“Rapid Intraoperative Histology of Unprocessed Surgical Specimens via Fibre-Laser-Based Stimulated Raman Scattering Microscopy”,Nature Biomed. Eng.1:0027参照)。
コヒーレント反ストークスラマン散乱(CARS)顕微鏡検査:コヒーレント反ストークスラマン散乱(CARS)顕微鏡検査は、無標識撮像技法であり、それは、サンプルの分子成分から生じる特性固有の振動コントラストを表示することによって、サンプル、例えば、組織試料中の構造の画像を形成する(例えば、Camp,et al.(2014),“High-speed coherent Raman fingerprint imaging of biological tissues”,Nat. Photon.8,627-634およびEvans,et al.(2007),“Chemically-selective imaging of brain structures with CARS microscopy”,Opt. Express.15,12076-12087参照)。技法は、2つの高出力レーザを使用して、サンプルを照射し、第1のレーザの周波数は、典型的に、一定に保持され、第2のものの周波数は、2つのレーザ間の周波数差が着目ラマン活性モードの周波数に等しくなるように調整される。CARSは、典型的ラマン散乱より数桁も強力である。
共焦点反射(CR)顕微鏡検査:蛍光モードではなく、反射モードで動作している間、共焦点光学系の光学薄片化能力を利用するために、共焦点顕微鏡を使用して実施される、共焦点反射顕微鏡検査は、非染色組織または光を反射するプローブで標識された組織を撮像するために使用され得る。近赤外線共焦点レーザ走査顕微鏡検査は、例えば、組織中の特定の点上に緊密に集束させられる比較的に低出力レーザビームを使用する。焦点面から後方散乱された光のみが、組織微小構造の屈折率における生来の変動によって引き起こされるコントラストを用いて検出される(例えば、Gonzalez,et al.(2002),“Real-time,in vivo confocal reflectance microscopy of basal cell carcinoma”,J.Am.Acad.Dermatol.47(6):869-874参照)。
第二高調波発生(SHG)顕微鏡検査:SHG顕微鏡検査は、非線形光学プロセスである第二高調波発生を利用する非蛍光性多光子撮像技法であり、第二高調波発生において、所与の波長の2つの励起光子が、非中心対称構造を備えている材料と相互作用し、励起光の波長の半分を有する放出光子を形成するように「変換」される。緊密焦点面スポットに集束させられるレーザ源が、典型的に、第二高調波光を励起させるために要求され、そのように発生させられた光の撮像は、例えば、膠原線維を備えている生物学的組織の高分解能光学的薄片化画像の入手を可能にする(例えば、Bueno,et al.(2016),“Second Harmonic Generation Microscopy: A Tool for Quantitative Analysis of Tissues”,Chapter 5 in Microscopy and Analysis,Stefan Stanciu,Ed.,InTech Open参照)。
第三高調波発生(THG)顕微鏡検査:THG顕微鏡検査も、無標識撮像の利点と走査レーザの焦点スポットへの信号発生の制限を組み合わせる非蛍光性多光子撮像技法である。第三高調波発生は、3つの励起光子が、物質と相互作用し、励起光のそれの三分の1の波長を有する、単一放出光子を生産するプロセスである。それは、生物学的組織中の屈折率不整合の高分解能の光学的に薄片化された撮像を可能にする(例えば、2014年11月11日のDietzel(2014),“Third harmonic generation microscopy”,Wiley Analytical Science,Imaging and Microscopy参照)。
細胞結合型造影剤の定質的および定量的検出のためのマルチスペクトルおよび/またはマルチモード撮像方法およびシステム:開示される撮像方法およびシステムは、組織試料中の光学造影剤、例えば、細胞結合型蛍光造影剤の分布を検出し、該光学造影剤から生じる信号の定質的および/または定量的尺度を提供するためのマルチスペクトルおよび/またはマルチモード生体内または生体外撮像の新規組み合わせの使用を含む(例えば、Yue,et al.(2011),“Multimodal nonlinear optical microscopy”,Laser and Photonics Review5(4):496-512for a review of conventional multimodal imaging techniques参照)。開示されるマルチスペクトルおよび/またはマルチモード撮像方法およびシステムは、画像解釈アルゴリズムを使用して、背景信号(例えば、自己蛍光背景および/または高蛍光性微小体)を補正し、測定された信号を細胞または細胞以下レベルで分解することによって、光学造影剤から生じる信号のより正確な定量的尺度を提供する。細胞または細胞以下レベルにおいて細胞結合型光学造影剤から生じる信号を分解および測定する予想外の能力(新規二重波長ファイバレーザシステムの使用を通して達成される改良された検出感度(米国特許第8,792,156号、米国特許第9,104,030号、および米国特許第US9,634,454号に説明されるように)および改良された画像コントラストに部分的に起因する)は、定量化における大きな改良につながる。いくつかの事例では、開示されるマルチスペクトルおよび/またはマルチモード撮像方法およびシステムは、画像、例えば、二光子蛍光画像および刺激ラマン散乱画像にオーバーレイし、増強されたコントラストを提供し、および/または直接人間による解釈を促進する疑似カラー画像を発生させることを可能にする。
第1の側面では、開示される撮像方法(および該方法を実施するように構成されたシステム)は、1つ、2つ、または3つ以上の励起波長における(または1つ、2つ、または3つ以上の励起波長範囲内の)励起光を使用して、1つ、2つ、または3つ以上の検出波長における(または1つ、2つ、または3つ以上の検出波長範囲内の)画像を入手するために、限定ではないが、二光子顕微鏡検査、共焦点蛍光顕微鏡検査、光シート顕微鏡検査、または構造化照明顕微鏡検査を含む高分解能光学的薄片化顕微鏡検査技法の使用を含み得る。開示される撮像方法(および該方法を実施するように構成されたシステム)は、続いて、画像解釈アルゴリズムを適用し、サイズ、形状、パターン、または強度に基づいて、造影剤陽性細胞を検出し、サイズ、形状、パターン、または強度に基づいて、背景信号(例えば、高蛍光性微小体)を除外し、細胞結合型造影剤から生じる信号の定量的尺度を提供し、信号の定量的尺度は、細胞レベルで分解される。本実施形態の具体的例は、下記にさらに詳細に説明されるであろう。いくつかの事例では、画像解釈アルゴリズムは、1つ以上の光学造影剤に関連付けられた信号から導出される定質的および/または定量的尺度を提供し得る。例えば、いくつかの事例では、画像解釈アルゴリズムは、「細胞充実度スコア」、例えば、細胞(または細胞核)の数の決定を提供し得る。結果は、撮像される組織試料の単位面積あたり密度として提示されることもできる。いくつかの事例では、画像解釈アルゴリズムは、細胞結合型造影剤から導出される平均信号を提供し得る。いくつかの事例では、画像解釈アルゴリズムは、画像全体にわたって平均された背景信号を減算後、造影剤陽性細胞に関する平均信号を提供し得る。いくつかの事例では、画像解釈アルゴリズムは、細胞の数を提供し得る(該細胞に関する信号は、規定された信号閾値を上回り、信号閾値は、造影剤陽性細胞を定義する)。いくつかの事例では、画像解釈アルゴリズムは、画像内の造影剤陽性である総細胞のパーセンテージを提供し得る。いくつかの事例では、開示される方法およびシステムは、外科手術手技中、生検を実施するための場所を識別するために、または切除が完了したかどうかを決定するために使用され得る。
第2の側面では、開示される方法(および該方法を実施するように構成されたシステム)は、第1の光学薄片化高分解能顕微鏡検査(例えば、2P、CFM、LSM、またはSIM)、すなわち、第1の撮像モダリティを使用した1つ以上の造影剤の細胞撮像を、1つ以上の造影剤の存在から独立して、組織試料の同じ光学焦点面内の組織形態を撮像するために使用される第2の光学薄片化高分解能顕微鏡検査(例えば、SRS、CARS、CR、SHG、またはTHG)、すなわち、第2の撮像モダリティと組み合わせる。器具は、次いで、画像解釈アルゴリズムを使用して、画像を処理し、第2の撮像モダリティを使用して入手された画像に基づいて、1つ以上の個々の細胞の場所および/またはエリアを提供し、信号の定量的尺度が細胞レベルで分解されるように、第1のモダリティを使用して入手された画像に基づいて、1つ以上の細胞に対応する場所および/またはエリアにおける組織試料中の1つ以上の造影剤から生じる信号の定量的尺度を提供する。本実施形態の具体的例は、下記にさらに詳細に説明されるであろう。いくつかの事例では、器具は、画像解釈アルゴリズムを使用して、画像を処理し、第1の撮像モダリティを使用して入手された画像に基づいて、1つ以上の個々の細胞の場所および/またはサイズを提供し、第1のモダリティを使用して入手された画像に基づいて、1つ以上の細胞に対応する場所および/またはエリアにおける、組織試料中の1つ以上の造影剤から生じる信号の定量的尺度を提供する。いくつかの事例では、定量的尺度は、1つ以上の細胞に対応する場所および/またはエリアにおける1つ以上の造影剤から生じる信号から導出され得るか、または、1つ以上の細胞に対応する場所および/またはエリアにおける第2の撮像モダリティを使用して入手された画像から導出される信号、例えば、SRS信号から導出され得るか、または、1つ以上の造影剤から生じる信号と、1つ以上の細胞に対応する場所および/またはエリアにおける撮像される第2の撮像モダリティを使用して入手された画像から導出される信号との両方の組み合わせから導出され得る。いくつかの事例では、画像解釈アルゴリズムは、1つ以上の光学造影剤に関連付けられた信号から導出される定質的および/または定量的尺度を提供し得る。例えば、いくつかの事例では、画像解釈アルゴリズムは、(i)上記に議論されるような「細胞充実度スコア」、(ii)細胞結合型造影剤から導出される平均信号、(iii)画像全体にわたって平均された背景信号を減算後の造影剤陽性細胞に関する平均信号、(iv)細胞の数(該細胞に関する信号が、造影剤陽性細胞を定義する規定された信号閾値を上回る)、(v)造影剤陽性である、画像内の総細胞のパーセンテージ、またはそれらの任意の組み合わせを提供し得る。いくつかの事例では、開示される方法およびシステムは、外科手術手技中、生検を実施するための場所を識別するために、または切除が完了したかどうかを決定するために使用され得る。
第3の側面では、撮像システムは、例えば、マルチチャネル撮像顕微鏡であり得、マルチチャネル撮像顕微鏡は、造影剤の放出波長における第1の画像と、造影剤の放出波長外の第2の画像とを同時に、入手し、次いで、マルチチャネル放出信号を画像解釈アルゴリズムに提供し、画像解釈アルゴリズムは、第1の画像内の細胞を検出し、測定されたスペクトル特性に基づいて、非特異的背景信号(例えば、自己蛍光性背景または高蛍光性微小体)を抑制する(例えば、第2の画像内で(例えば、第1の画像内で検出された1つ以上の細胞に対応する場所において)入手された信号データを使用して、第1の画像を比率または閾値処理する、または別様に、第2の画像から決定された背景値によって、第1の画像において測定された信号を補正することによって)。いくつかの事例では、マルチチャネル画像データへの疑似カラーアルゴリズムの適用に基づいて(例えば、造影剤に関連付けられた信号を赤色に、背景信号を緑色に割り当てることによって)、マルチカラー画像を生成し、画像の人間による解釈を簡略化することが可能である。後者のアプローチは、コンピュータ補助解釈アルゴリズムの必要性を回避し得る。開示される撮像方法およびシステムの本実施形態の例は、下記にさらに詳細に説明されるであろう。
画像入手パラメータ:本明細書に開示される撮像方法およびシステムのいずれかに関して、組織試料の画像は、限定ではないが、有効画像分解能、使用される励起波長の数、画像が入手される放出波長の数、規定された期間にわたって入手された画像の数、画像を入手するために使用された異なる撮像モダリティの数を含む種々の画像入手パラメータ設定を使用して入手され得、画像は、次いで、(i)例えば、組織試料中に存在する場合、腫瘍性組織の画像解釈および識別を促進する、マルチカラーまたは増強されたコントラストの画像を生成し、および/または、(ii)1つ以上の細胞結合型造影剤から導出される信号、および/または第2の撮像モダリティ、例えば、SRS等の非蛍光撮像モダリティから導出される信号に基づいて、定量的尺度を発生させるように処理され、および/または組み合わせられる。
いくつかの事例では、開示される撮像システムは、レーザ走査システム、例えば、画像が、撮像システムの光学焦点面を横断してレーザスポットを走査またはラスタすることによって2次元で入手されるシステムを備え得、放出または散乱される光、例えば、二光子蛍光または刺激ラマン散乱光は、光学システムを通して、1つ以上の光検出器、例えば、光電子増倍、アバランシェフォトダイオード、固体近赤外線検出器等に向けられる。いくつかの事例では、撮像システムが、2つ以上の光検出器を備えている場合、2つ以上の検出器は、同じタイプであり得るか、または、異なるタイプであり得る。いくつかの事例では、異なるタイプの2つ以上の検出器は、サイズ(直径または断面積)、積分時間、信号対雑音比、感度等の観点から異なり得る。
いくつかの事例では、開示される撮像システムは、1つ以上の画像センサまたはカメラを利用するレーザ走査システムを備え得る。例えば、いくつかの事例では、開示される撮像システムは、1つ、2つ、3つ、4つ、または5つ以上の画像センサまたはカメラを備え得る。いくつかの事例では、例えば、撮像システムが2つ以上の画像センサまたはカメラを備えている場合、画像センサまたはカメラは、同じであり得るか、または、ピクセルサイズ、ピクセルカウント、暗電流、信号対雑音比、検出感度等の観点から、異なり得る。2つ以上の画像センサまたはカメラによってそのように入手された画像は、したがって、異なる画像分解能を有し得る。いくつかの事例では、1つ以上の画像センサは、約0.5メガピクセル、1メガピクセル、2メガピクセル、4メガピクセル、6メガピクセル、8メガピクセル、10メガピクセル、20メガピクセル、50メガピクセル、80メガピクセル、100メガピクセル、200メガピクセル、500メガピクセル、または1,000メガピクセルのピクセルカウント(またはこれらの値に及ぶ範囲内の任意のピクセルカウント)を有し得る。いくつかの事例では、所与の画像センサ内のピクセルのサイズは、約20μm、10μm、5μm、3.5μm、2μm、1μm、0.5μm、または0.1μm(またはこれらの値に及ぶ範囲内の任意のピクセルサイズ)であり得る。いくつかの事例では、1つ以上の画像センサまたはカメラは、個々のピクセルの群をビン化し、そのように入手された画像の有効分解能を変動させるように構成され得る。
いくつかの事例では、開示される撮像システム(走査システムまたは画像センサベースのシステムのいずれか)は、1つ以上の規定された励起波長、放出波長、および/または撮像モダリティの各々に関して、単一画像を入手するように構成され得る。いくつかの事例では、開示されるシステムは、(または本範囲内の任意の数の画像)1つ以上の規定された励起波長、放出波長、および/または撮像モダリティの各々に関して、2、3、4、5、6、7、8、9、10、20、30、40、50、60、70、80、90、100、または100枚を上回る画像を入手するように構成され得る。いくつかの事例では、開示するシステムは、1つ以上の規定された励起波長、放出波長、および/または撮像モダリティの各々に関して、ビデオデータを入手するように構成され得る。
いくつかの事例では、開示される撮像システムは、1つ以上の規定された励起波長、放出波長、および/または撮像モダリティの各々に関して、規定された期間内で1つ以上の画像を入手するように構成され得る。例えば、いくつかの事例では、開示されるシステムは、1つ以上の規定された励起波長、放出波長、および/または撮像モダリティの各々に関して、0.1ミリ秒、1ミリ秒、10ミリ秒、20ミリ秒、30ミリ秒、40ミリ秒、50ミリ秒、60ミリ秒、70ミリ秒、80ミリ秒、90ミリ秒、100ミリ秒、200ミリ秒、300ミリ秒、400ミリ秒、500ミリ秒、600ミリ秒、700ミリ秒、800ミリ秒、900ミリ秒、1秒、2秒、3秒、4秒、5秒、6秒、7秒、8秒、9秒、10秒、20秒、30秒、40秒、50秒、1分、2分、3分、4分、5分、6分、7分、8分、9分、10分、20分、30分、40分、50分、1時間、2時間、3時間、4時間、5時間、6時間、7時間、8時間、9時間、10時間(または本範囲内の任意の期間)毎に、1つ以上の画像を入手するように構成され得る。いくつかの事例では、開示されるシステムは、1つ以上の規定された励起波長、放出波長、および/または撮像モダリティの各々に関して、ビデオデータを入手するように構成され得る。
いくつかの事例では、開示される撮像システムは、約1ミリ秒、5ミリ秒、10ミリ秒、25ミリ秒、50ミリ秒、75ミリ秒、100ミリ秒、250ミリ秒、500ミリ秒、750ミリ秒、1秒、2秒、3秒、4秒、5秒、6秒、7秒、8秒、9秒、10秒、20秒、30秒、40秒、50秒、60秒、または60秒を上回る(またはこれらの値に及ぶ範囲内の任意の露光時間、画像捕捉時間、または積分時間)露光時間(または積分時間または画像捕捉時間)を使用して、画像を入手するように構成され得る。
限定ではないが、二光子蛍光撮像が利用されるそれらを含むいくつかの事例では、画像は、1つ、2つ、3つ、4つ、または5つ以上の異なる励起波長(または波長範囲)を使用して入手され得る。いくつかの事例では、画像は、約360nm、380nm、400nm、420nm、440nm、460nm、480nm、500nm、520nm、540nm、560nm、580nm、600nm、620nm、640nm、660nm、680nm、700nm、720nm、740nm、760nm、780nm、800nm、820nm、840nm、860nm、880nm、900nm、920nm、940nm、960nm、980nm、1000nm、1020nm、1040nm、1060nm、1080nm、1100nm、1120nm、1140nm、1160nm、1180nm、または1200nmの励起光を使用して入手され得、使用される励起波長は、典型的に、組織試料を染色するために使用される光学造影剤の選択肢に基づいて選択されるであろう。いくつかの事例では、1つ、2つ、3つ、4つ、または5つ以上の励起波長における光は、1つ、2つ、3つ、4つ、または5つ以上のレーザまたは他の光源によって提供され得る。いくつかの事例では、励起波長(または波長範囲)は、光学ガラスフィルタ、帯域通過フィルタ、干渉フィルタ、長帯域フィルタ、短帯域フィルタ、ダイクロイック反射体、モノクロメータ、またはそれらの任意の組み合わせを使用して選択され得る。
限定ではないが、二光子蛍光撮像が利用されるそれらを含むいくつかの事例では、画像は、1つ、2つ、3つ、4つ、または5つ以上の異なる放出(または検出)波長(または放出(または検出)波長範囲)に関して入手され得る。いくつかの事例では、画像は、約360nm、380nm、400nm、420nm、440nm、460nm、480nm、500nm、520nm、540nm、560nm、580nm、600nm、620nm、640nm、660nm、680nm、700nm、720nm、740nm、760nm、780nm、800nm、820nm、840nm、860nm、880nm、900nm、920nm、940nm、960nm、980nm、1000nm、1020nm、1040nm、1060nm、1080nm、1100nm、1120nm、1140nm、1160nm、1180nm、または1200nmにおいて放出される光に関して入手され得、使用される検出(放出)波長は、典型的に、組織試料を染色するために使用される光学造影剤の選択肢に基づいて選択されるであろう。いくつかの事例では、放出(または検出)波長(または放出(または検出)波長範囲)は、光学ガラスフィルタ、帯域通過フィルタ、干渉フィルタ、長帯域フィルタ、短帯域フィルタ、ダイクロイック反射体、モノクロメータ、またはそれらの任意の組み合わせを使用して選択され得る。
いくつかの事例では、画像は、約10nm、20nm、30nm、40nm、50nm、60nm、70nm、80nm、90nm、100nm、または100nmを上回る帯域幅を備えている励起および/または放出(検出)波長範囲を使用して入手され得る。いくつかの事例では、励起および/または放出波長範囲のための帯域通過は、光学ガラスフィルタ、帯域通過フィルタ、干渉フィルタ、長帯域フィルタ、短帯域フィルタ、ダイクロイック反射体、モノクロメータ、またはそれらの任意の組み合わせを使用して選択され得る。
いくつかの事例では、開示される撮像システムによって入手された画像は、20μm、15μm、10μm、9μm、8μm、7μm、6μm、5μm、4μm、3μm、2μm、1μm、0.5μm、または0.25μm未満の側方分解能を有し得る。いくつかの事例では、開示される撮像システムの側方分解能は、集束させられるレーザスポットのサイズによって限定され得る。
いくつかの事例では、開示される撮像システムによって入手された画像は、50μm、20μm、15μm、10μm、9μm、8μm、7μm、6μm、5μm、4μm、3μm、2μm、1μm、または0.5μm未満の軸方向分解能を有し得る。いくつかの事例では、開示される撮像システムの軸方向分解能は、集束させられるレーザスポットのサイズによって限定され得る。いくつかの事例では、開示される撮像システムの軸方向分解能は、共焦点光学システム内のピンホール開口の直径によって限定され得る。
いくつかの事例では、開示される撮像システムは、2つ以上の撮像モダリティに関して同じ焦点面において組織試料の画像を入手するように構成されている。いくつかの事例では、2つの異なる撮像モダリティに関する焦点面は、それらが、10μm未満、9μm未満、8μm未満、7μm未満、6μm未満、5μm未満、4μm未満、3μm未満、2μm未満、1μm未満、0.5μm未満、または0.25μm未満互いにオフセットされている場合、「同じ」(または同一平面)と見なされ得る。
限定ではないが、SRS撮像が利用されるそれらを含むいくつかの事例では、画像は、異なる化学基に関するラマンシフトに対応する1つ以上の選択された波数(または波数スペクトル範囲)において入手され得る。いくつかの事例では、画像は、1つ、2つ、3つ、4つ、または5つ以上の異なる波数(または波数スペクトル範囲)において入手され得る。特定の化学基に関するラマンシフトに対応する波数範囲の例は、限定ではないが、表1にリストアップされたものを含む。
Figure 2022526650000002
限定ではないが、SRS撮像が利用されるそれらを含むいくつかの事例では、画像は、約100cm-1~約3,000cm-1に及ぶスペクトル範囲内で入手され得る。いくつかの事例では、画像は、少なくとも100cm-1、少なくとも125cm-1、少なくとも150cm-1、少なくとも200cm-1、少なくとも250cm-1、少なくとも300cm-1、少なくとも350cm-1、少なくとも400cm-1、少なくとも450cm-1、少なくとも500cm-1、少なくとも550cm-1、少なくとも600cm-1、少なくとも650cm-1、少なくとも700cm-1、少なくとも750cm-1、少なくとも800cm-1、少なくとも900cm-1、少なくとも1,000cm-1、少なくとも1,100cm-1、少なくとも1,200cm-1、少なくとも1,300cm-1、少なくとも1,400cm-1、少なくとも1,500cm-1、少なくとも1,750cm-1、少なくとも2,000cm-1、少なくとも2,250cm-1、少なくとも2,500cm-1、少なくとも2,750cm-1、または少なくとも3,000cm-1に及ぶスペクトル範囲内で入手され得る。いくつかの事例では、画像は、最大で3,000cm-1、最大で2,750cm-1、最大で2,500cm-1、最大で2,250cm-1、最大で2,000cm-1、最大で1,750cm-1、最大で1,500cm-1、最大で1,400cm-1、最大で1,300cm-1、最大で1,200cm-1、最大で1,100cm-1、最大で1,000cm-1、最大で900cm-1、最大で800cm-1、最大で750cm-1、最大で700cm-1、最大で650cm-1、最大で600cm-1、最大で550cm-1、最大で500cm-1、最大で450cm-1、最大で400cm-1、最大で350cm-1、最大で300cm-1、最大で250cm-1、最大で200cm-1、または最大で150cm-1に及ぶスペクトル範囲内で入手され得る。いくつかの事例では、画像は、例えば、約250cm-1に及ぶスペクトル範囲を使用して入手され得る。当業者は、画像がこれらの値のいずれかによって境界される任意の範囲内の任意の場所に該当するスペクトル範囲(例えば、約200cm-1の範囲~約760cm-1の範囲)内で入手され得ることを理解するであろう。
マルチスペクトルおよび/またはマルチモード撮像システム構成要素:本明細書に説明される実施形態のいずれかに関して、開示される撮像システムは、1つ以上の励起光源(例えば、固体レーザ、ファイバレーザ等)、1つ以上の画像センサまたは光検出器(例えば、光電子増倍、アバランシェフォトダイオード、固体近赤外線検出器、電荷結合素子(CCD)センサまたはカメラ、CMOS画像センサまたはカメラ等)、1つ以上の走査ミラーまたは平行移動ステージ、追加の光学構成要素(例えば、対物レンズ、励起および/または放出光ビームをコリメート、集束、および/または撮像するために使用される、追加のレンズ、ミラー、角柱、光学フィルタ、着色ガラスフィルタ、狭帯域干渉フィルタ、広帯域干渉フィルタ、ダイクロイック反射体、回折格子、モノクロメータ、開口、光ファイバ、光学導波管等、またはそれらの任意の組み合わせ)を備え得る。いくつかの事例では、開示される撮像システムは、1つ、2つ、3つ、4つ、または5つ以上の励起波長における励起光を提供する1つ、2つ、3つ、4つ、または5つ以上のレーザを備え得る。いくつかの事例では、1つ、2つ、3つ、4つ、または5つ以上の励起波長における励起光は、例えば、ミラー、ダイクロイック反射体、またはビーム-スプリッタの適切な組み合わせを使用することによって、組織試料を撮像するために使用される対物レンズを通して、光学焦点面に送達され得る。いくつかの事例では、1つ、2つ、3つ、4つ、または5つ以上の励起波長における励起光は、試料を撮像するために使用される対物レンズを含まない光学経路を使用して、光学焦点面に送達され得る。いくつかの事例では、開示される撮像システムは、組織試料中の同じ光学面(または焦点面)から2つ以上の撮像モダリティに関する画像を入手するように構成されている。いくつかの事例では、開示される撮像システムは、組織試料中の同じ視野のために2つ以上の撮像モダリティに関する画像を入手するように構成されている。いくつかの事例では、開示される撮像システムは、下記にさらに詳細に議論されるであろうように、1つ以上のプロセッサまたはコンピュータを備え得る。いくつかの事例では、第1の撮像モダリティ、例えば、SRS撮像または2P撮像を使用して画像を入手するように設計される器具は、それぞれ、第2の撮像モダリティ、例えば、2P撮像またはSRS撮像を使用した画像の同時または連続入手を可能にするように修正され得る。
刺激ラマン散乱(SRS)撮像システムの非限定的例が、Orringer,et al.(2017),“Rapid intraoperative histology of unprocessed surgical specimens via fibre-laser-based stimulated Raman scattering microscopy”,Nature Biomed. Eng.1:0027によって説明されている。完全に統合されたSRS撮像システムは、5つの主な構成要素を備えている:(1)モータ式ステージを伴う、ファイバ結合顕微鏡、(2)二重波長ファイバ-レーザモジュール、(3)レーザ制御モジュール、(4)顕微鏡制御モジュール、および(5)画像入手、表示、および処理のためのコンピュータ。二重波長ファイバ-レーザの設計は、2つの主なファイバ利得媒体、すなわち、エルビウムとイッテルビウムの周波数の差異が、ラマンスペクトルの高波数領域と重複するという事実を利用している。SRS撮像のために要求される2つの同期させられた狭帯域レーザパルス列は、単一ファイバ発振器から導出される広帯域超連続体の狭帯域フィルタ処理と、続いて、それぞれの利得媒体内の増幅とによって発生させられた。極性化維持構成要素に基づく、全ファイバシステムの開発は、以前の非極性化維持実装よりレーザ安定性を大幅に改良した。固体レーザを用いて達成され得るものに匹敵する信号対雑音比を伴う、高速診断品質撮像(例えば、波長あたり約2秒で入手された1メガピクセル画像)を可能にするために、レーザ出力電力は、40MHzレーザパルス繰り返し率および2ピコ秒変換限界レーザパルス持続時間において、1,010~1,040nmの調整範囲全体にわたって、固定波長790nmポンプビームに関して約120mWに、調整可能ストークスビームに関して約150mWにスケーリングされた。カスタムレーザコントローラ電子機器が、マイクロコントローラを使用してレーザシステムの動作設定を緊密に制御するために開発された。自動平衡検出に基づく雑音消去スキームが、画質をさらに改良するために使用され、雑音消去スキームにおいて、レーザビームの一部が、サンプリングされ、レーザ雑音の尺度を提供し、レーザ雑音は、次いで、リアルタイムで減算され得る。いくつかの事例では、説明されるSRS撮像システム等のシステムは、適切な波長の少なくとも1つの追加の励起レーザと、少なくとも1つの追加の画像センサまたはカメラとを提供することによって、同時に、または順次、例えば、二光子蛍光画像を入手するように修正され得、少なくとも1つの追加の励起ビームおよび放出される二光子蛍光は、ダイクロイック反射体、ビームスプリッタ等の組み合わせを使用して、SRS撮像システムと結合される。
画像処理および画像解釈:いくつかの事例では、開示される撮像方法は、入手された画像を処理し、1つ以上の細胞結合型造影剤に関連付けられた信号、および/または非蛍光撮像モダリティから導出される信号から導出される定質的および/または定量的尺度を提供するために、画像処理および/または画像解釈アルゴリズムの使用を含み得る。いくつかの事例では、画像処理および/または画像解釈アルゴリズムは、第1の撮像モダリティ、例えば、第1の光学的薄片化撮像モダリティを使用して入手された画像を処理し、細胞を識別し、その場所を決定し得る。いくつかの事例では、画像処理および/または画像解釈アルゴリズムは、第1のものと異なる、第2の撮像モダリティ、例えば、第2の光学的薄片化撮像モダリティを使用して入手された画像を処理し、細胞を識別し、その場所を決定し得る。いくつかの事例では、画像処理および/または画像解釈アルゴリズムは、第1および第2の撮像モダリティの一方または両方を使用して入手された画像を処理し、細胞を識別し、その場所を決定し得る。
いくつかの事例では、画像解釈アルゴリズムは、当業者に公知の種々の従来の画像処理アルゴリズムのいずれかを備え得る。例は、限定ではないが、キャニーエッジ検出方法、キャニー・デリチェエッジ検出方法、一次勾配エッジ検出方法(例えば、ソーベル演算子)、二次微分エッジ検出方法、位相一致性(位相コヒーレンス)エッジ検出方法、他の画像区画化アルゴリズム(例えば、強度閾値処理、強度クラスタ化方法、強度ヒストグラムベースの方法等)、特徴およびパターン認識アルゴリズム(例えば、恣意的形状を検出するための一般化されたハフ変換、サークルハフ変換等)、および数学的分析アルゴリズム(例えば、フーリエ変換、高速フーリエ変換、ウェーブレット分析、自動相関等)、またはそれらの任意の組み合わせを含む。いくつかの事例では、そのような画像処理アルゴリズムは、例えば、特徴サイズ、形状、パターン、強度、またはそれらの任意の組み合わせに基づいて画像内の個々の細胞を検出するために使用され得る。
いくつかの事例では、画像解釈アルゴリズムは、例えば、画像処理および/または画像解釈アルゴリズムの能力をさらに精緻化し、画像内の個々の細胞を識別し、および/または、1つ以上の造影剤から導出される信号および/または非蛍光撮像モダリティから導出される信号から導出される定質的および/または定量的尺度に基づいて、正常組織と非正常組織(例えば、腫瘍性組織)とを区別するように訓練された人工知能または機械学習アルゴリズムを備え得る。種々の機械学習アルゴリズムのいずれかは、開示される方法およびシステムを実装することにおいて使用され得る。例は、限定ではないが、教師あり学習アルゴリズム、教師なし学習アルゴリズム、半教師あり学習アルゴリズム、深層学習アルゴリズム、またはそれらの任意の組み合わせを含む。いくつかの事例では、機械学習アルゴリズムは、人工ニューラルネットワークアルゴリズム、深層畳み込みニューラルネットワークアルゴリズム、深層回帰型ニューラルネットワーク、敵対的生成ネットワーク、サポートベクトルマシン、階層的クラスタリングアルゴリズム、ガウス過程回帰アルゴリズム、決定木アルゴリズム、物流モデルツリーアルゴリズム、ランダムフォレストアルゴリズム、ファジィ分類子アルゴリズム、k平均法アルゴリズム、期待値最大化アルゴリズム、ファジィクラスタ化アルゴリズム、またはそれらの任意の組み合わせを備え得る。
非限定的例として、いくつかの事例では、画像処理および/または画像解釈アルゴリズムの能力をさらに精緻化し、画像内の個々の細胞を識別し、および/または正常組織と非正常組織(例えば、腫瘍性組織)とを区別するために使用される機械学習アルゴリズムは、人工ニューラルネットワーク(ANN)、例えば、深層学習アルゴリズムを備え得る。人工ニューラルネットワークは、概して、複数の層の中に組織された「ノード」(または「ニューロン」)の相互接続された群を備えている。典型的ANNアーキテクチャは、入力層、少なくとも1つ以上の隠れ層、および出力層を備え得る。ANNは、任意の総数の層および任意の数の隠れ層を備え得、隠れ層は、出力値または出力値の組への入力データの組のマッピングを可能にする訓練可能特徴抽出器として機能する。記載されるように、ニューラルネットワークの各層は、複数のノードを備えている。ノードは、直接入力データ(例えば、未加工画像データおよび/または前処理された画像データ)または前の層内のノードの出力のいずれかから生じる入力を受信し、特定の演算、例えば、合計演算を実施する。ある場合、入力からノードまでの接続は、重み(または重み係数)に関連付けられる。ある場合、例えば、ノードは、入力xとその関連付けられる重みwの全ての対の積を合計し得る。ある場合、重み付けされた合計は、バイアスbでオフセットされる。ある場合、ニューロンの出力は、閾値、または線形または非線形関数であり得る活性化関数fを使用してゲートされ得る。活性化関数は、例えば、正規化線形ユニット(ReLU)活性化関数または他の関数、例えば、飽和双極線正接、恒等、バイナリステップ、ロジスティック、逆正接、ソフトサイン、パラメータ正規化線形ユニット、指数関数的線形ユニット、ソフトプラス、ベント恒等、ソフト指数関数、正弦波、正弦、ガウス、またはシグモイド関数、またはそれらの任意の組み合わせであり得る。
重み係数、バイアス値、および閾値、またはニューラルネットワークの他の算出パラメータは、訓練データの1つ以上の組を使用して、訓練相において、「教示」または「学習」されることができる。例えば、パラメータは、ANNが算出する出力値(例えば、腫瘍性組織を備えているものとしての所与の組織試料の分類)が訓練データセット内に含まれる例と一貫するように、訓練データセットからの入力データ(例えば、未加工画像データおよび/または前処理された画像データ)および勾配降下法または後方伝搬法を使用して訓練され得る。
いくつかの事例では、機械学習アルゴリズムは、例えば、アーカイブされた組織病理学的組織サンプルに関して入手された撮像データ(例えば、ホルマリン固定組織サンプルまたは採取したばかりの凍結された組織サンプル)、採取したばかりの組織病理学的組織サンプルに関して入手された撮像データ、またはそれらの任意の組み合わせを備えている1つ以上の訓練データセットを使用して訓練され得る。いくつかの事例では、訓練データセットは、同じまたは異なり得る施設における使用のために展開されている2つ以上のシステムによって入手された撮像データで、持続的に、周期的に、またはランダムに更新され得る。いくつかの事例では、2つ以上のシステムは、異なる施設に展開され、訓練データセットは、随意に、クラウドベースのデータベース内に常駐し、および/または、インターネット接続を介して、持続的に、周期的に、またはランダムに更新される。
記載されるように、いくつかの事例では、画像解釈アルゴリズムは、撮像されるサンプルの単位面積あたりで識別される「細胞充実度スコア」、例えば、細胞(または細胞核)の数の決定を提供する。いくつかの事例では、画像解釈アルゴリズムは、細胞結合型造影剤から導出される平均信号を提供する。いくつかの事例では、画像解釈アルゴリズムは、画像全体にわたって平均された背景信号を減算後、造影剤陽性細胞に関する平均信号を提供する。いくつかの事例では、画像解釈アルゴリズムは、細胞の数(該細胞に関する信号が、造影剤陽性細胞を定義する規定された信号閾値を上回る)を提供する。いくつかの事例では、画像解釈アルゴリズムは、造影剤陽性である、画像内の総細胞のパーセンテージを提供する。上記に述べられたように、いくつかの事例では、画像解釈アルゴリズムは、1つ以上の細胞結合型造影剤から導出される信号および/または第2の撮像モダリティ、例えば、SRSまたは本明細書に説明される他の非蛍光撮像モダリティのうちの1つ等の非蛍光撮像モダリティから導出される信号に基づいて、定量的尺度を発生させるように構成され得る。
いくつかの事例では、本開示の撮像方法およびシステムは、1つ以上の撮像モダリティのいずれかを使用して入手された画像を変換し、例えば、組織構造に関する増強されたコントラストを提供する(例えば、腫瘍性組織の増強された検出を提供する)、および/または、画像の人間による解釈を促進するマルチカラー画像を発生させるために、疑似カラーアルゴリズムの使用を備え得る。いくつかの事例では、1つ以上の撮像モダリティのいずれかを使用して入手された画像を変換するための疑似カラーアルゴリズムの使用は、追加の画像解釈アルゴリズムを実装する必要性を伴わずに、画像の人間による解釈を促進し得る。いくつかの事例では、1つ以上の撮像モダリティのいずれかを使用して入手された画像から発生させられた疑似カラー画像は、次いで、例えば、組織構造に関する増強されたコントラストを提供するように(例えば、腫瘍性組織の増強された検出を提供するように)、および/または、画像の人間による解釈を促進するように組み合わせられ得る(例えば、線形または非線形代数操作を受ける)。
ソフトウェアおよびコンピュータ読み取り可能な媒体:開示されるアルゴリズム(またはコンピュータ実装方法)の種々の側面は、典型的に、あるタイプのコンピュータ読み取り可能な媒体内に記憶されたプロセッサ実行可能コードおよび/または関連付けられるデータの形態における「製品」または「製造品」、例えば、「コンピュータプログラムまたはソフトウェア製品」と見なされ得、プロセッサ実行可能コードは、本明細書に開示される方法のうちの1つ以上のものを実施することにおいてコンピュータまたはコンピュータシステムを制御するための複数の命令を備えている。したがって、本明細書に開示されるものは、エンコーディングされた命令の組(すなわち、ソフトウェア)を備えているコンピュータ読み取り可能な媒体(「コンピュータプログラムまたはソフトウェア製品」)であり、それは、プロセッサによって実行されると、一連の論理ステップをプロセッサに実施させ、本明細書に開示される方法のいずれかを実施するように指示する。例えば、本明細書に開示されるものは、エンコーディングされた命令の組(すなわち、ソフトウェア)を備えている、コンピュータ読み取り可能な媒体(「コンピュータプログラムまたはソフトウェア製品」)であって、これは、プロセッサによって実行されると、プロセッサに、一連の論理ステップを実施させ、(i)本明細書に開示される撮像モダリティのうちの1つ以上のものを使用して、画像を入手すること、(ii)入手された画像の手動、半自動化、または自動化された処理を実施し、その中の1つ以上の個々の細胞を識別すること、(iii)入手された画像の手動、半自動化、または自動化されたさらなる処理を実施し、1つ以上の個々の細胞の場所における細胞結合型造影剤から導出される信号の定量的尺度を抽出すること、(iv)入手された画像の手動、半自動化、または自動化されたさらなる処理を実施し、1つ以上の個々の細胞の場所における同じ組織試料の非蛍光画像から導出される信号の定量的尺度を抽出すること、または(v)それらの任意の組み合わせを行うように指示する。
プロセッサ実行可能(または機械実行可能)コードは、例えば、光学的読み取り可能な媒体、例えば、光学ディスク、CD-ROM、DVD、またはBlu-Ray(登録商標)ディスクを備えている、光学記憶ユニット内に記憶され得る。プロセッサ実行可能コードは、電子記憶ユニット、例えば、メモリ(例えば、読み取り専用メモリ、ランダムアクセスメモリ、フラッシュメモリ)内またはハードディスク上に記憶され得る。「記憶装置」タイプ媒体は、コンピュータ、コンピュータシステム等、またはその関連付けられるモジュールの有形メモリ、例えば、種々の半導体メモリチップ、光学ドライブ、テープドライブ、ディスクドライブ、および本明細書に開示される方法およびアルゴリズムをエンコーディングするソフトウェアのために、随時、非一過性記憶装置を提供し得る同等物のいずれかまたの全てを含む。
ソフトウェアコードの全部または一部は、随時、インターネットまたは種々の他の電気通信ネットワークを介して、通信され得る。そのような通信は、例えば、1つのコンピュータまたはプロセッサから別のものへの、例えば、管理サーバまたはホストコンピュータからアプリケーションサーバのコンピュータプラットフォームへのソフトウェアのロードを可能にし得る。したがって、ソフトウェアエンコーディングされた命令を伝達するために使用され得る他のタイプの媒体は、有線および光学地上通信線ネットワークを通して、かつ種々の周囲電気通信リンクを経由して、ローカルデバイス間の物理的インターフェースを横断して使用されるもの等の光学、電気、および電磁波を含む。有線または無線リンク、光学リンク、または同等物等のそのような波を搬送する、物理的要素も、本明細書に開示される方法を実施するためのソフトウェアエンコーディングされた命令を伝達する、媒体と見なされる。
コンピュータプロセッサ:いくつかの事例では、開示される撮像システムは、個々に、または集合的に、本明細書に開示される方法に従って、器具制御および/または画像処理機能性を提供するようにプログラムされる1つ以上のプロセッサまたはコンピュータを備え得る。1つ以上のプロセッサは、ハードウェアプロセッサ、例えば、中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、汎用処理ユニット、またはコンピューティングプラットフォームを備え得る。1つ以上のプロセッサは、種々の好適な集積回路(例えば、特定用途向け集積回路(ASIC)、またはフィールドプログラマブルゲートアレイ(FPGA))、マイクロプロセッサ、新たな次世代マイクロプロセッサ設計(例えば、メモリスタベースのプロセッサ)、論理デバイス等のいずれかから成り得る。本開示は、プロセッサを参照して説明されるが、他のタイプの集積回路および論理デバイスも、適用可能であり得る。プロセッサは、任意の好適なデータ動作能力を有し得る。例えば、プロセッサは、512ビット、256ビット、128ビット、64ビット、32ビット、または16ビットデータ動作を実施し得る。1つ以上のプロセッサは、シングルコアまたはマルチコアプロセッサ、または並列処理のために構成される複数のプロセッサであり得る。
いくつかの事例では、開示される撮像方法を実装するために使用される1つ以上のプロセッサまたはコンピュータは、より大きいコンピュータシステムの一部であり得、および/または、データの伝送および共有を促進するための通信インターフェースを用いて、コンピュータネットワーク(「ネットワーク」)に動作可能に結合され得る。ネットワークは、ローカルエリアネットワーク、イントラネットおよび/またはエクストラネット、インターネットと通信するイントラネットおよび/またはエクストラネット、またはインターネットであり得る。ネットワークは、ある場合、電気通信および/またはデータネットワークである。ネットワークは、1つ以上のコンピュータサーバを含み得、それは、ある場合、クラウドコンピューティング等の分散型コンピューティングを可能にする。ネットワークは、ある場合、コンピュータシステムを用いて、ピアツーピアネットワークを実装し得、これは、コンピュータシステムに結合されるデバイスが、クライアントまたはサーバとして挙動することを可能にし得る。
いくつかの事例では、開示される撮像システムは、メモリまたはメモリ場所(例えば、ランダムアクセスメモリ、読み取り専用メモリ、フラッシュメモリ等)、電子記憶ユニット(例えば、ハードディスク)、1つ以上の他の撮像システムと通信するための通信インターフェース(例えば、ネットワークアダプタ)、および/または、データ記憶装置および/または電子ディスプレイアダプタ等の周辺デバイスも含み得る。
いくつかの事例では、データ記憶ユニットは、ファイル、例えば、ドライバ、ライブラリ、および保存されたプログラムを記憶する。記憶ユニットは、ユーザデータ、例えば、ユーザ規定選好、ユーザ規定プログラム、および開示される撮像システムの試験または使用中に入手された画像データも記憶し得る。コンピュータシステムまたはネットワークは、ある場合、イントラネットまたはインターネットを通してコンピュータシステムと通信する遠隔サーバ上に位置するデータ記憶ユニット等、コンピュータシステムの外部にある1つ以上の追加のデータ記憶ユニットを含み得る。
(実施例)
これらの実施例は、例証目的だけのために提供され、本明細書に提供される請求項の範囲を限定するものではない。
(実施例1:5-ALAが投薬された脳組織の二光子蛍光撮像)
我々は、波長790nmおよび1020nmの2つの励起ビームと、640nm/80nm帯域通過検出フィルタとを伴う図2に図示される組み合わせられた2P/SRS顕微鏡の2P撮像モードを使用して、造影剤として5-ALAが投薬された脳腫瘍組織の生体外試料を撮像した(図3A)。図3Bは、画像を処理し、画像内の個々の細胞(円形)を識別後の図3Aに示される脳腫瘍組織サンプルの同一の二光子蛍光画像を示す。我々が知る限り、個々の癌細胞が5-ALAに基づいて組織中で可視化されたのは初めてであり、検出感度における打開策となる。我々は、個々の細胞を分析することが可能となり、造影剤が、細胞の細胞質内に蓄積し、細胞核に浸透していないことを見出した。
我々は、個々の高蛍光性の微小体も見られ得ることも見出した(図3A)。驚くべきことに、これらは、5-ALAが投薬されなかった組織からの対照サンプル中でも依然として可視であり、故に、自己蛍光性背景に起因するものであった。
我々の二光子顕微鏡を用いたヒト組織試料(例えば、図4A;5-ALAが投薬された患者に関する脳組織)の生体内撮像へと評価を拡張させたとき、我々は、640nm蛍光性信号も所与の5-ALA造影剤が与えられていない患者からの組織試料内で検出されるというコントラスト機構の類似の予想外の非特異性を経験した(図4B)。具体的に、図4Bから、図4Aにおいて可視の細胞結合型蛍光性信号および一般的「混濁」が、所与の造影剤を与えられていない患者では不可視であるが、蛍光性微小体は、両例において可視であることが分かり得る。
これは、この非特異性が通常の(一光子蛍光)外科手術用顕微鏡を使用した撮像コントラストに関する以前の研究に開示されていないので、驚くべきことであった。実際、米国FDAは、優れた感度を示すデータに基づいて、この造影剤を臨床使用のために認証している。我々は、そのような非特異性が、あまり特定的ではないと知られている二光子励起の性質に起因し得ると仮定する。我々は、5-ALAが投薬された脳腫瘍組織試料の二光子放出スペクトルを調査し、5-ALAの特性スペクトルピーク(620nm~650nm)が、実際、大規模かつスペクトル的に広範な背景信号の上部に存在することを見出した(図5)。
我々は、したがって、一光子共焦点蛍光顕微鏡を用いて試料を撮像するように設定した。試料が、開放ピンホールを使用して、すなわち、著しい光学薄片化を伴わずに、撮像されるとき(図6、右)、我々は、造影剤の優れた特異性を取り戻し、放出ピークは、大規模かつスペクトル的に広範な背景を伴わずに可視である(図6、左)。しかしながら、我々が、厚い薄片化されていない組織試料内の単一細胞を撮像するために要求される、光学薄片化(すなわち、低減させられた被写界深度)を生成するために、ピンホールを閉鎖すると、このスペクトル特異性は、失われ、二光子画像内で観察されたように、スペクトル的に広範な微小体のみが、可視であった。我々は、これが、光子束が、最高であり、造影剤が、背景信号と比較して、はるかに高速に退色される、焦点面における一光子励起に見出される増加した光退色に起因し得ると仮定した。したがって、2P撮像を使用した(5-ALAのような)造影剤の細胞撮像は、巨視的撮像(例えば、従来の外科手術用顕微鏡を用いた)とは対照的に、2P撮像が、単一造影剤陽性細胞を撮像するための感度を提供し得るが、本質的に、あまり特異的ではない一方、1P撮像が、焦点面における光退色に悩まされ、したがって、限定された感度または低減させられた撮像速度に悩まされるというジレンマに直面する。いずれの場合も、画像にわたって平均された蛍光性強度の測定値は、画像内の全身腫瘍組織量の正確な読取値を提供しないであろう。
(実施例2:増加した感度および特異性のための二重モード撮像)
この実施例は、組織形態を撮像するためのSRS顕微鏡検査を蛍光造影剤の分布を撮像するための2P顕微鏡検査と組み合わせる(図2)。二重波長ファイバレーザシステム(例えば、1020nmおよび790nmにおいて光を生産する)が、試料を励起し、光検出器(PD)を用いて、伝送におけるSRS信号を検出するために使用された。我々は、フィルタを用いて励起光を遮断後、第2の光検出器(例えば、光電子増倍(PMT))を用いて、反射における2P信号も検出する。画像は、コンピュータから制御されるガルバノ走査ミラーを用いて、点毎にサンプルを通したレーザ焦点を走査することによって入手された。そのような多モード顕微鏡では、SRSおよび2P画像の両方が、同時に入手されることができる。
2つの技法に関するエネルギーレベル略図は、図7に示される。SRSでは、分子は、エネルギー差が分子振動のものに合致する場合、ポンプ光子(図7、左、上向き矢印)およびストークス光子(図7、左、下向き矢印)による刺激励起に基づいて、基底状態から振動状態に励起される。2Pでは、造影剤の電子状態が、2つの光子(例えば、2つのポンプ光子、または2つのストークス光子、または1つのポンプおよび1つのストークス光子)(図7、右、上向き矢印)の同時吸収によって励起され、分子が、続いて、検出され得る蛍光光子を放出しながら、基底状態に戻る(図7、右、下向き矢印)。
図8Aにおける画像は、脂質のCH振動周波数(例えば、2850cm-1)における脳癌組織試料のSRS画像を示す。この波数では、画像は、細胞質に関して陽性信号を有し、細胞間空間および核は、暗い(脂質を欠くことに起因して)。このコントラストは、例えば、画像内の特徴のサイズ、形状、パターン、および/または信号強度を含む情報を使用して、核の識別に基づいて、細胞を陽性に識別するために使用されることができる。タンパク質および核酸のCH振動周波数(例えば、2930cm-1)において同じ組織を撮像し、核に関する追加のコントラストを提供することが有利であり得る。SRS撮像チャネルは、造影剤(2P蛍光)撮像チャネルから独立する。CARS、CR、またはTHG等の撮像の他の無標識アプローチも、SRSの代替撮像モダリティとして使用されることができる。
図8Bにおける画像は、図8Aと同じ場所において、上記に議論されるように入手された5-ALA造影剤の分布の2P蛍光顕微鏡画像を示す。2つの画像の比較は、SRS画像に基づいて識別された全てではないが、いくつかの細胞がまた、蛍光性チャネル内で陽性細胞信号を有することを示す。
撮像システムは、自動化された画像処理を使用して、核または細胞の場所および/またはサイズをSRS画像から決定し(図9A、円形)、個々の細胞エリア内の蛍光強度を測定し(図9B、円形)、細胞結合型造影剤から生じる蛍光信号の尺度を提供することができる。選択された面積内の蛍光信号が規定された閾値レベルを上回るかどうかを決定し、特定の細胞が造影剤に関して陽性または陰性であるかどうかのバイナリ出力を提供することも可能である。これは、画像内の造影剤陽性細胞のパーセンテージの定量的尺度の決定を可能にする。
いくつかの事例では、開示される撮像システムは、2,850cm-1および2,930cm-1の両方の波数において、高分解能の光学的に薄片化されたラマン画像を提供し得る。これらの画像に加え、開示される撮像システムは、1つ以上の蛍光チャネル(放出波長範囲)の高分解能光学的薄片化画像を提供し得る。ラマンデータを使用して、画像解釈アルゴリズムは、細胞の特性を空間的に識別し、細胞充実度スコアを決定することが可能である。画像解釈アルゴリズムへの入力としてのこれらの計測値およびデータと蛍光チャネルの組み合わせは、蛍光データとラマンデータを互いに関係づけるメトリクスの組を生成する。これらのメトリクスの例は、限定ではないが、識別された細胞の数、陽性蛍光に関連付けられる細胞の数、陽性蛍光に関連付けられる細胞のパーセンテージ、陽性蛍光細胞と陰性蛍光細胞の比率、および陽性蛍光細胞と総細胞の比率、またはそれらの任意の組み合わせを含む。
(実施例3)
(二重波長蛍光撮像)
この実施例では、撮像システムは、同時に、造影剤の放出波長(例えば、5-ALAに関して640nm±40nm)における第1の蛍光画像と、非特異的背景の尺度としての造影剤の放出波長外の第2の蛍光画像(例えば、5-ALAに関して<600nm)とを入手する、マルチチャネル2P顕微鏡である。次いで、マルチチャネル放出信号を画像処理または画像解釈アルゴリズムに提供し、造影剤特異的かつ背景の信号の測定されたスペクトル特性に基づいて(例えば、比率または閾値処理によって)、非特異的背景信号を抑制することが可能である。上記に述べられたように、疑似カラーアルゴリズムをマルチチャネル画像データに適用することに基づいて、マルチカラー画像を生成し、リアルまたは近リアルタイムにおける、画像の人間による解釈を促進することが可能である。
2つの異なる放出波長範囲内の蛍光信号を収集するための二重チャネル非デスキャン(外部)検出器設計の例は、図10Aおよび図10Bに示され、ダイクロイックフィルタが、個々に、フィルタ処理され、それぞれの放出帯域を検出する放出帯域を分離し、信号を、2つの光電子増倍管(PMT)の方に向けるために使用される。この設計は、感度および特異性をさらに改良するために、追加の検出器(>2)を含むように拡張されることができる。
本発明の好ましい実施形態が、本明細書に図示および説明されたが、そのような実施形態は、一例としてのみ提供されていることが当業者に明白であろう。多数の変形例、変更、および代用が、ここで、本発明から逸脱することなく、当業者に想起されるであろう。本明細書に説明される本発明の実施形態の種々の代替が、本発明を実践することにおいて任意の組み合わせにおいて採用され得ることを理解されたい。以下に請求項は、本発明の範囲を定義し、これらの請求項およびその均等物の範囲内の方法および構造がそれによって網羅されることが意図される。

Claims (94)

  1. 組織試料を撮像するためのシステムであって、前記システムは、
    a)第1の光学薄片化撮像モダリティを使用して、前記組織試料中の細胞結合型造影剤の分布の高分解能画像を入手するように構成された第1の光学サブシステムと、
    b)第2の光学薄片化撮像モダリティを使用して、組織試料形態の高分解能画像を入手するように構成された第2の光学サブシステムであって、前記第1および第2の光学サブシステムは、前記組織試料中の同じ光学面を撮像するように構成されている、第2の光学サブシステムと、
    c)画像解釈アルゴリズムを起動するように構成されたプロセッサと
    を備え、
    前記画像解釈アルゴリズムは、前記第1および第2の光学薄片化撮像モダリティの一方または両方を使用して入手された画像を処理し、個々の細胞を識別し、それらの場所を決定し、前記第1の撮像モダリティを使用して入手された前記画像内の前記個々の細胞のそれらに対応する前記場所における信号を測定することによって、前記細胞結合型造影剤から導出される前記信号の定量的尺度を出力する、システム。
  2. 前記第1の光学薄片化撮像モダリティは、二光子蛍光顕微鏡検査、共焦点蛍光顕微鏡検査、光シート顕微鏡検査、または構造化照明顕微鏡検査を備えている、請求項1に記載のシステム。
  3. 前記第2の光学薄片化撮像モダリティは、刺激ラマン散乱顕微鏡検査、コヒーレント反ストークスラマン散乱顕微鏡検査、共焦点反射顕微鏡検査、第二高調波発生顕微鏡検査、または第三高調波発生顕微鏡検査を備えている、請求項1または請求項2に記載のシステム。
  4. 前記第1および第2の光学サブシステムは、10μmより小さい軸方向分解能を有するように構成されている、請求項1-3のいずれか1項に記載のシステム。
  5. 前記第1および第2の光学サブシステムは、5μmより小さい側方分解能を有するように構成されている、請求項1-4のいずれか1項に記載のシステム。
  6. 前記第1の光学サブシステムは、2つ以上の検出波長範囲内の高分解能画像を入手するようにさらに構成されている、請求項1-5のいずれか1項に記載のシステム。
  7. 前記2つ以上の検出波長範囲のうちの第1の検出波長範囲は、前記細胞結合型造影剤の放出ピークを含み、
    前記2つ以上の検出波長範囲のうちの第2の検出波長範囲は、前記細胞結合型造影剤の放出ピークを除外し、
    前記画像解釈アルゴリズムは、前記第1の検出波長を使用して入手された画像をさらに処理し、個々の細胞を識別し、それらの場所を決定し、前記個々の細胞の前記場所における信号を測定し、前記第2の検出波長範囲を使用して入手された前記画像内の前記個々の細胞のそれらに対応する場所において測定された背景値によって前記信号を補正することによって、前記細胞結合型造影剤から導出される前記信号の定量的尺度を出力する、請求項6に記載のシステム。
  8. 前記第2の光学薄片化撮像モダリティは、刺激ラマン散乱顕微鏡検査を備え、前記画像は、脂質分子のCH振動に対応する2,850cm-1の波数で入手される、請求項3-7のいずれか1項に記載のシステム。
  9. 前記画像は、タンパク質および核酸分子のCH3振動に対応する2,930cm-1の波数でも入手される、請求項8に記載のシステム。
  10. 前記細胞結合型造影剤は、フルオレセイン、5-ALA、BLZ-100、またはLUM015を備えている、請求項1-9のいずれか1項に記載のシステム。
  11. 前記細胞結合型造影剤は、5-アミノレブリン酸(5-ALA)を備え、前記第1の放出波長範囲は、640nm光を含み、前記第2の放出波長は、600nmより短い波長を含む、請求項6-10のいずれか1項に記載のシステム。
  12. 前記画像解釈アルゴリズムは、画像特徴サイズ、形状、パターン、強度、またはそれらの任意の組み合わせに基づいて、個々の細胞を検出する、請求項1-11のいずれか1項に記載のシステム。
  13. 前記画像解釈アルゴリズムは、教師あり機械学習アルゴリズム、教師なし機械学習アルゴリズム、半教師あり機械学習アルゴリズム、またはそれらの任意の組み合わせを備えている、請求項1-12のいずれか1項に記載のシステム。
  14. 前記機械学習アルゴリズムは、アーカイブされた組織病理学的組織サンプルに関して入手された撮像データ、採取したばかりの組織病理学的組織サンプルに関して入手された撮像データ、またはそれらの任意の組み合わせを備えている訓練データセットを使用して訓練される、請求項13に記載のシステム。
  15. 前記訓練データセットは、同じまたは異なる施設における使用のために展開されている2つ以上のシステムによって入手された撮像データで、持続的に、周期的に、またはランダムに更新される、請求項14に記載のシステム。
  16. 前記画像解釈アルゴリズムは、前記細胞結合型造影剤から導出される前記信号の総強度または平均強度を決定する、請求項1-15のいずれか1項に記載のシステム。
  17. 前記画像解釈アルゴリズムは、個々の細胞に関する前記細胞結合型造影剤から導出される前記信号が造影剤陽性細胞に関する規定された閾値レベルを上回るかどうかを決定する、請求項1-16のいずれか1項に記載のシステム。
  18. 前記画像解釈アルゴリズムは、前記組織試料の画像内の造影剤陽性細胞の総数、前記組織試料の画像内の造影剤陽性細胞の密度、前記組織試料の画像内の造影剤陽性細胞のパーセンテージ、またはそれらの任意の組み合わせを出力する、請求項17に記載のシステム。
  19. 前記画像解釈アルゴリズムは、前記第2の光学薄片化撮像モダリティを使用して入手された画像に基づいて、細胞充実度スコアも出力する、請求項18に記載のシステム。
  20. 前記組織試料の前記画像は、生体内で入手される、請求項1-19のいずれか1項に記載のシステム。
  21. 前記組織試料の前記画像は、生体外で入手される、請求項1-19のいずれか1項に記載のシステム。
  22. 前記システムは、生検を実施するための場所を識別するために、または切除が完了したかどうかを決定するために外科手術手技中に使用される、請求項1-21のいずれか1項に記載のシステム。
  23. 組織試料の細胞分解能撮像のための方法であって、前記方法は、
    a)第1の撮像モダリティを使用して、前記組織試料中の細胞結合型造影剤の分布の高分解能光学的薄片化画像を入手することと、
    b)第2の撮像モダリティを使用して、前記組織試料中の(a)に関するそれと同じ光学焦点面内の組織試料形態の高分解能光学的薄片化画像を入手することと、
    c)画像解釈アルゴリズムを使用して、前記第1および第2の撮像モダリティの一方または両方を使用して入手された画像を処理することと
    を含み、
    前記画像解釈アルゴリズムは、個々の細胞を識別し、それらの場所を決定し、前記第1の撮像モダリティを使用して入手された前記画像内の前記個々の細胞のそれらに対応する場所における信号を測定することによって、細胞分解能において前記細胞結合型造影剤から導出される前記信号の定量的尺度を出力する、方法。
  24. 前記第1の撮像モダリティは、二光子蛍光顕微鏡検査、共焦点蛍光顕微鏡検査、光シート顕微鏡検査、または構造化照明顕微鏡検査を備えている、請求項23に記載の方法。
  25. 前記第2の撮像モダリティは、刺激ラマン散乱顕微鏡検査、コヒーレント反ストークスラマン散乱顕微鏡検査、共焦点反射顕微鏡検査、第二高調波発生顕微鏡検査、または第三高調波発生顕微鏡検査を備えている、請求項23または請求項24に記載の方法。
  26. 前記第1の撮像モダリティおよび前記第2の撮像モダリティを使用して入手される画像は、10μmより小さい軸方向分解能を有する、請求項23-25のいずれか1項に記載の方法。
  27. 前記第1の撮像モダリティおよび前記第2の撮像モダリティを使用して入手される画像は、5μmより小さい側方分解能を有する、請求項23-26のいずれか1項に記載の方法。
  28. 前記第1の撮像モダリティを使用して、2つ以上の検出波長範囲内で画像を入手することをさらに含む、請求項23-27のいずれか1項に記載の方法。
  29. 前記2つ以上の検出波長範囲のうちの第1の検出波長範囲は、前記細胞結合型造影剤の放出ピークを含み、
    前記2つ以上の検出波長範囲のうちの第2の検出波長範囲は、前記細胞結合型造影剤の放出ピークを除外し、
    前記画像解釈アルゴリズムは、前記第1の検出波長を使用して入手された画像をさらに処理し、個々の細胞を識別し、それらの場所を決定し、前記個々の細胞の前記場所における信号を測定し、前記第2の放出波長範囲を使用して入手された前記画像内の前記個々の細胞のそれらに対応する場所において測定された背景値によって前記信号を補正することによって、前記細胞結合型造影剤から導出される前記信号の定量的尺度を出力する、請求項28に記載の方法。
  30. 前記第2の撮像モダリティは、刺激ラマン散乱顕微鏡検査を備え、前記画像は、脂質分子のCH振動に対応する2,850cm-1の波数で入手される、請求項25-29のいずれか1項に記載の方法。
  31. 前記画像は、タンパク質および核酸分子のCH3振動に対応する2,930cm-1の波数でも入手される、請求項30に記載の方法。
  32. 前記細胞結合型造影剤は、フルオレセイン、5-ALA、BLZ-100、またはLUM015を備えている、請求項23-31のいずれか1項に記載の方法。
  33. 前記細胞結合型造影剤は、5-アミノレブリン酸(5-ALA)を備え、前記第1の放出波長範囲は、640nm光を含み、前記第2の放出波長は、600nmより短い波長を含む、請求項28-32のいずれか1項に記載の方法。
  34. 前記画像解釈アルゴリズムは、画像特徴サイズ、形状、パターン、強度、またはそれらの任意の組み合わせに基づいて、個々の細胞を検出する、請求項23-33のいずれか1項に記載の方法。
  35. 前記画像解釈アルゴリズムは、教師あり機械学習アルゴリズム、教師なし機械学習アルゴリズム、半教師あり機械学習アルゴリズム、またはそれらの任意の組み合わせを備えている、請求項23-34のいずれか1項に記載の方法。
  36. 前記機械学習アルゴリズムは、アーカイブされた組織病理学的組織サンプルに関して入手された撮像データ、採取したばかりの組織病理学的組織サンプルに関して入手された撮像データ、またはそれらの任意の組み合わせを備えている訓練データセットを使用して訓練される、請求項35に記載の方法。
  37. 前記訓練データセットは、同じまたは異なる施設における使用のために展開されている2つ以上のシステムによって入手された撮像データで、持続的に、周期的に、またはランダムに更新される、請求項36に記載の方法。
  38. 前記画像解釈アルゴリズムは、前記細胞結合型造影剤から導出される前記信号の総強度または平均強度を決定する、請求項23-37のいずれか1項に記載の方法。
  39. 前記画像解釈アルゴリズムは、個々の細胞に関する前記細胞結合型造影剤から導出される前記信号が造影剤陽性細胞に関する規定された閾値レベルを上回るかどうかを決定する、請求項23-38のいずれか1項に記載の方法。
  40. 前記画像解釈アルゴリズムは、前記組織試料の画像内の造影剤陽性細胞の総数、前記組織試料の画像内の造影剤陽性細胞の密度、前記組織試料の画像内の造影剤陽性細胞のパーセンテージ、またはそれらの任意の組み合わせを出力する、請求項39に記載の方法。
  41. 前記画像解釈アルゴリズムは、前記第2の光学薄片化撮像モダリティを使用して入手された画像に基づいて、細胞充実度スコアも出力する、請求項40に記載の方法。
  42. 前記組織試料の前記画像は、生体内で入手される、請求項23-41のいずれか1項に記載の方法。
  43. 前記組織試料の前記画像は、生体外で入手される、請求項23-41のいずれか1項に記載の方法。
  44. 前記方法は、生検を実施するための場所を識別するために、または切除が完了したかどうかを決定するために外科手術手技中に使用される、請求項23-43のいずれか1項に記載の方法。
  45. 組織試料を撮像するためのシステムであって、前記システムは、
    a)前記組織試料の画像を入手するように構成された高分解能光学薄片化顕微鏡と、
    b)画像解釈アルゴリズムを起動するように構成されたプロセッサと
    を備え、
    前記画像解釈アルゴリズムは、前記高分解能光学薄片化顕微鏡によって入手された前記画像内の個々の細胞を検出し、細胞結合型造影剤から導出される信号の定量的尺度を出力する、システム。
  46. 前記高分解能光学薄片化顕微鏡は、二光子蛍光顕微鏡、共焦点蛍光顕微鏡、光シート顕微鏡、または構造化照明顕微鏡を備えている、請求項45に記載のシステム。
  47. 前記高分解能光学薄片化顕微鏡は、2つ以上の放出波長範囲内で画像を入手するように構成されている、請求項45-46のいずれか1項に記載のシステム。
  48. 前記2つ以上の検出波長範囲のうちの第1の放出波長範囲は、前記細胞結合型造影剤の放出ピークを含み、
    前記2つ以上の検出波長範囲のうちの第2の放出波長範囲は、前記細胞結合型造影剤の放出ピークを除外し、
    前記画像解釈アルゴリズムは、前記第1の検出波長範囲を使用して入手された画像を処理し、個々の細胞を識別し、それらの場所を決定し、前記個々の細胞の前記場所における信号を測定し、前記第2の検出波長範囲を使用して入手された画像内の対応する場所において測定された背景値を使用して、前記信号を補正することによって、前記細胞結合型造影剤から導出される前記信号の定量的尺度を出力する、請求項47に記載のシステム。
  49. 前記細胞結合型造影剤は、フルオレセイン、5-ALA、BLZ-100、またはLUM015を備えている、請求項45-48のいずれか1項に記載のシステム。
  50. 前記細胞結合型造影剤は、5-アミノレブリン酸(5-ALA)を備え、前記第1の放出波長範囲は、640nm光を含み、前記第2の放出波長は、600nmより短い波長を含む、請求項47-49のいずれか1項に記載のシステム。
  51. 前記画像解釈アルゴリズムは、画像特徴サイズ、形状、パターン、強度、またはそれらの任意の組み合わせに基づいて、個々の細胞を検出する、請求項45-50のいずれか1項に記載のシステム。
  52. 前記画像解釈アルゴリズムは、教師あり機械学習アルゴリズム、教師なし機械学習アルゴリズム、半教師あり機械学習アルゴリズム、またはそれらの任意の組み合わせを備えている、請求項45-51のいずれか1項に記載のシステム。
  53. 前記機械学習アルゴリズムは、アーカイブされた組織病理学的組織サンプルに関して入手された撮像データ、採取したばかりの組織病理学的組織サンプルに関して入手された撮像データ、またはそれらの任意の組み合わせを備えている訓練データセットを使用して訓練される、請求項52に記載のシステム。
  54. 前記細胞結合型造影剤から導出される前記信号の前記定量的尺度は、前記画像内の1つ以上の個々の細胞に関連付けられた造影剤の量の尺度を備えている、請求項45-53のいずれか1項に記載のシステム。
  55. 前記細胞結合型造影剤から導出される前記信号の前記定量的尺度は、画像内の造影剤陽性細胞の総数、画像内の造影剤陽性細胞の密度、画像内の造影剤陽性細胞のパーセンテージ、またはそれらの任意の組み合わせの尺度を備えている、請求項45-54のいずれか1項に記載のシステム。
  56. 前記組織試料の前記画像は、生体内で入手される、請求項45-55のいずれか1項に記載のシステム。
  57. 前記組織試料の前記画像は、生体外で入手される、請求項45-55のいずれか1項に記載のシステム。
  58. 前記システムは、生検を実施するための場所を識別するために、または切除が完了したかどうかを決定するために外科手術手技中に使用される、請求項45-57のいずれか1項に記載のシステム。
  59. 組織試料を撮像する方法であって、前記方法は、
    a)前記組織試料の高分解能光学的薄片化画像を入手することと、
    b)画像解釈アルゴリズムを使用して、前記画像を処理することと
    を含み、
    前記画像解釈アルゴリズムは、前記画像内の個々の細胞を検出し、1つ以上の個々の細胞の場所における細胞結合型造影剤から導出される信号の定量的尺度を出力する、方法。
  60. 前記高分解能光学的薄片化画像は、二光子蛍光顕微鏡検査、共焦点蛍光顕微鏡検査、光シート顕微鏡検査、または構造化照明顕微鏡検査を使用して入手される、請求項59に記載の方法。
  61. 第1の撮像モダリティは、二光子蛍光顕微鏡検査、共焦点蛍光顕微鏡検査、光シート顕微鏡検査、または構造化照明顕微鏡検査を備えている、請求項59-60のいずれか1項に記載の方法。
  62. 前記細胞結合型造影剤は、フルオレセイン、5-ALA、BLZ-100、またはLUM015を備えている、請求項59-61のいずれか1項に記載の方法。
  63. 前記画像解釈アルゴリズムは、画像特徴サイズ、形状、パターン、強度、またはそれらの任意の組み合わせに基づいて、個々の細胞を検出する、請求項59-62のいずれか1項に記載の方法。
  64. 前記画像解釈アルゴリズムは、人工知能または機械学習アルゴリズムを備えている、請求項59-63のいずれか1項に記載の方法。
  65. 前記機械学習アルゴリズムは、教師あり機械学習アルゴリズム、教師なし機械学習アルゴリズム、半教師あり機械学習アルゴリズム、またはそれらの任意の組み合わせを備えている、請求項64に記載の方法。
  66. 前記機械学習アルゴリズムは、アーカイブされた組織病理学的組織サンプルに関して入手された撮像データ、採取したばかりの組織病理学的組織サンプルに関して入手された撮像データ、またはそれらの任意の組み合わせを備えている訓練データセットを使用して訓練される、請求項64-65のいずれか1項に記載の方法。
  67. 前記画像解釈アルゴリズムは、前記細胞結合型造影剤から導出される前記信号の平均強度を決定する、請求項59-66のいずれか1項に記載の方法。
  68. 前記画像解釈アルゴリズムは、各個々の細胞に関する前記信号が造影剤陽性細胞に関する規定された閾値レベルを上回るかどうかを決定する、請求項59-67のいずれか1項に記載の方法。
  69. 前記画像解釈アルゴリズムは、画像内の造影剤陽性細胞の総数、画像内の造影剤陽性細胞の密度、画像内の造影剤陽性細胞のパーセンテージ、またはそれらの任意の組み合わせを出力する、請求項68に記載の方法。
  70. 前記画像解釈アルゴリズムは、細胞充実度スコアを出力する、請求項59-69のいずれか1項に記載の方法。
  71. 前記組織試料の前記画像は、生体内で入手される、請求項59-70のいずれか1項に記載の方法。
  72. 前記組織試料の前記画像は、生体外で入手される、請求項59-71のいずれか1項に記載の方法。
  73. 前記方法は、生検を実施するための場所を識別するために、または切除が完了したかどうかを決定するために外科手術手技中に使用される、請求項59-72のいずれか1項に記載の方法。
  74. 組織試料中の細胞結合型光学造影剤の検出のための方法であって、前記方法は、
    a)前記細胞結合型造影剤の放出ピークを含む第1の放出波長範囲において、前記組織試料の第1の高分解能光学的薄片化画像を入手することと、
    b)前記細胞結合型造影剤の放出ピークを除外する第2の放出波長範囲において、前記組織試料の第2の高分解能光学的薄片化画像を入手することと、
    c)疑似カラーアルゴリズムを前記第1および第2の画像に適用し、人間による解釈を促進する前記組織試料のマルチカラー画像を発生させることと
    を含む、方法。
  75. 前記第1および第2の高分解能光学的薄片化画像は、二光子蛍光顕微鏡検査、共焦点蛍光顕微鏡検査、光シート顕微鏡検査、または構造化照明顕微鏡検査を使用して入手される、請求項74に記載の方法。
  76. 前記第1の放出波長範囲を使用して入手された画像は、個々の細胞およびそれらの場所を識別し、前記画像内の造影剤陽性細胞の総数、前記画像内の造影剤陽性細胞の密度、前記画像内の造影剤陽性細胞のパーセンテージ、またはそれらの任意の組み合わせを出力するために、画像解釈アルゴリズムによってさらに処理される、請求項74または請求項75に記載の方法。
  77. 前記組織試料の前記画像は、生体内で入手される、請求項74-76のいずれか1項に記載の方法。
  78. 前記組織試料の前記画像は、生体外で入手される、請求項74-77のいずれか1項に記載の方法。
  79. 前記システムは、生検を実施するための場所を識別するために、または切除が完了したかどうかを決定するために外科手術手技中に使用される、請求項74-78のいずれか1項に記載の方法。
  80. 外科手術切除を誘導する方法であって、前記方法は、
    a)二光子蛍光顕微鏡検査を使用して、組織試料中の細胞結合型造影剤の分布の高分解能光学的薄片化画像を入手することと、
    b)刺激ラマン散乱顕微鏡検査を使用して、前記組織試料の同じ光学焦点面内の組織試料形態の高分解能光学的薄片化画像を入手することと、
    c)画像解釈アルゴリズムを使用して、刺激ラマン散乱顕微鏡検査を使用して入手された画像を処理することと
    を含み、
    前記画像解釈アルゴリズムは、個々の細胞を識別し、それらの場所を決定し、二光子蛍光顕微鏡検査を使用して入手された前記画像内の前記個々の細胞のそれらに対応する場所における信号を測定することによって、細胞分解能における前記細胞結合型造影剤から導出される前記信号の定量的尺度を出力する、方法。
  81. 外科手術切除を誘導する方法であって、前記方法は、
    a)二光子蛍光顕微鏡検査を使用して、組織試料の高分解能光学的薄片化画像を入手することと、
    b)画像解釈アルゴリズムを使用して、前記画像を処理することと
    を含み、
    前記画像解釈アルゴリズムは、前記画像内の個々の細胞を検出し、1つ以上の個々の細胞の場所における細胞分解能を伴う細胞結合型造影剤から導出される信号の定量的尺度を出力する、方法。
  82. 外科手術切除を誘導する方法であって、前記方法は、
    a)細胞結合型造影剤の放出ピークを含む第1の放出波長範囲において、前記組織試料の第1の高分解能光学的薄片化二光子蛍光画像を入手することと、
    b)前記細胞結合型造影剤の放出ピークを除外する第2の放出波長範囲において、前記組織試料の第2の高分解能光学的薄片化二光子蛍光画像を入手することと、
    c)疑似カラーアルゴリズムを前記第1および第2の二光子蛍光画像に適用し、人間による解釈を促進する前記組織試料のマルチカラー画像を発生させることと
    を含む、方法。
  83. 少なくとも1つの撮像モダリティに関する画像は、二光子蛍光顕微鏡検査の代わりに、共焦点蛍光顕微鏡検査、光シート顕微鏡検査、または構造化照明顕微鏡検査を使用して入手される、請求項80-82のいずれか1項に記載の方法。
  84. 少なくとも第2の撮像モダリティを使用して入手される画像は、刺激ラマン散乱顕微鏡検査の代わりに、コヒーレント反ストークスラマン散乱顕微鏡検査、共焦点反射顕微鏡検査、第二高調波発生顕微鏡検査、または第三高調波発生顕微鏡検査を使用して入手される、請求項80-83のいずれか1項に記載の方法。
  85. 前記組織試料は、脳組織試料、乳房組織試料、肺組織試料、膵臓組織試料、または前立腺組織試料である、請求項80-84のいずれか1項に記載の方法。
  86. 前記組織試料の前記画像は、生体内で入手される、請求項80-85のいずれか1項に記載の方法。
  87. 前記組織試料の前記画像は、生体外で入手される、請求項80-86のいずれか1項に記載の方法。
  88. 二光子蛍光顕微鏡検査を使用して入手された画像を処理するために使用される画像解釈アルゴリズムは、前記画像内の造影剤陽性細胞の総数、前記画像内の造影剤陽性細胞の密度、前記画像内の造影剤陽性細胞のパーセンテージ、またはそれらの任意の組み合わせを出力する、請求項80-87のいずれか1項に記載の方法。
  89. 二光子蛍光または刺激ラマン散乱顕微鏡検査を使用して入手された画像を処理するために使用される画像解釈アルゴリズムは、機械学習アルゴリズムを備えている、請求項80-88のいずれか1項に記載の方法。
  90. 前記機械学習アルゴリズムは、教師あり機械学習アルゴリズム、教師なし機械学習アルゴリズム、半教師あり機械学習アルゴリズム、またはそれらの任意の組み合わせを備えている、請求項89に記載の方法。
  91. 前記機械学習アルゴリズムは、人工ニューラルネットワークアルゴリズム、深層畳み込みニューラルネットワークアルゴリズム、深層回帰型ニューラルネットワーク、敵対的生成ネットワーク、サポートベクトルマシン、階層的クラスタリングアルゴリズム、ガウス過程回帰アルゴリズム、決定木アルゴリズム、物流モデルツリーアルゴリズム、ランダムフォレストアルゴリズム、ファジィ分類子アルゴリズム、k平均法アルゴリズム、期待値最大化アルゴリズム、ファジィクラスタ化アルゴリズム、またはそれらの任意の組み合わせを備えている、請求項89または請求項90に記載の方法。
  92. 前記機械学習アルゴリズムは、アーカイブされた組織病理学的組織サンプルに関して入手された撮像データ、採取したばかりの組織病理学的組織サンプルに関して入手された撮像データ、またはそれらの任意の組み合わせを備えている訓練データセットを使用して訓練される、請求項89-91のいずれか1項に記載の方法。
  93. 前記訓練データセットは、同じまたは異なる施設における使用のために展開されている2つ以上のシステムによって入手された撮像データで、持続的に、周期的に、またはランダムに更新される、請求項92に記載の方法。
  94. 前記2つ以上のシステムは、異なる施設に展開されており、前記訓練データセットは、インターネット接続を介して、持続的に、周期的に、またはランダムに更新される、請求項93に記載の方法。
JP2021559799A 2019-04-12 2020-04-10 組織における術中造影剤の検出のための撮像システム Pending JP2022526650A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962833553P 2019-04-12 2019-04-12
US62/833,553 2019-04-12
PCT/US2020/027830 WO2020210746A1 (en) 2019-04-12 2020-04-10 Imaging system for detection of intraoperative contrast agents in tissue

Publications (2)

Publication Number Publication Date
JP2022526650A true JP2022526650A (ja) 2022-05-25
JPWO2020210746A5 JPWO2020210746A5 (ja) 2023-03-31

Family

ID=72750906

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021559799A Pending JP2022526650A (ja) 2019-04-12 2020-04-10 組織における術中造影剤の検出のための撮像システム

Country Status (5)

Country Link
US (1) US20220087532A1 (ja)
EP (1) EP3953898A4 (ja)
JP (1) JP2022526650A (ja)
CN (1) CN113950701A (ja)
WO (1) WO2020210746A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024508046A (ja) * 2021-02-09 2024-02-21 アディウヴォ・ダイアグノスティックス・プライベート・リミテッド 問題のある細胞実体の蛍光ベースの検出
WO2023012271A1 (en) * 2021-08-04 2023-02-09 Oncomedics Cell counting method and method for determining the efficacy of a drug candidate
WO2023028032A1 (en) * 2021-08-24 2023-03-02 The General Hospital Corporation Intravascular dual-modality oct and multichannel nirf inflammation imaging
CN115541578B (zh) * 2022-09-28 2023-10-24 佐健(上海)生物医疗科技有限公司 一种高通量超分辨宫颈细胞病理切片快速扫描分析系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9825267D0 (en) 1998-11-19 1999-01-13 Medical Res Council Scanning confocal optical microscope system
ATE476908T1 (de) * 2003-04-18 2010-08-15 Medispectra Inc System und diagnoseverfahren zur optischen detektion von verdächtigen stellen einer gewebeprobe
DE102009012874B4 (de) * 2009-03-12 2017-08-17 Carl Zeiss Microscopy Gmbh Mikroskop, insbesondere Laser Scanning Mikroskop
US8792156B1 (en) 2012-01-17 2014-07-29 President And Fellows Of Harvard College Laser illumination systems and methods for dual-excitation wavelength non-linear optical microscopy and micro-spectroscopy systems
US9634454B1 (en) 2012-01-17 2017-04-25 President And Fellows Of Harvard College Laser illumination systems and methods for dual-excitation wavelength non-linear optical microscopy and micro-spectroscopy systems
AU2014265382B2 (en) * 2013-05-15 2017-04-13 The Administrators Of The Tulane Educational Fund Microscopy of a tissue sample using structured illumination
CN108348224A (zh) * 2015-09-25 2018-07-31 密执安州立大学董事会 用于相干拉曼成像的活检装置
JP6961603B2 (ja) * 2016-02-12 2021-11-05 マサチューセッツ インスティテュート オブ テクノロジー 切断されていない組織検体を撮像するための方法及び装置
US11536659B2 (en) * 2016-12-27 2022-12-27 The Regents Of The University Of Michigan Laser emission based microscope
RU2652732C1 (ru) 2016-12-30 2018-04-28 Общество с ограниченной ответственностью "СЕВЕН САНС" Устройство и способ для безопасного позиционирования коронарного стента в коронарных артериях
WO2018218150A1 (en) * 2017-05-26 2018-11-29 President And Fellows Of Harvard College Systems and methods for high-throughput image-based screening
US11545237B2 (en) * 2017-09-26 2023-01-03 Visiongate, Inc. Morphometric genotyping of cells in liquid biopsy using optical tomography
US11419499B2 (en) * 2018-01-19 2022-08-23 The Regents Of The University Of California Optical coherence tomography for cancer screening and triage

Also Published As

Publication number Publication date
CN113950701A (zh) 2022-01-18
US20220087532A1 (en) 2022-03-24
EP3953898A1 (en) 2022-02-16
EP3953898A4 (en) 2023-01-11
WO2020210746A1 (en) 2020-10-15

Similar Documents

Publication Publication Date Title
JP2022526650A (ja) 組織における術中造影剤の検出のための撮像システム
US10488340B2 (en) Imaging a target fluorophore in a biological material in the presence of autofluorescence
Vogler et al. Multimodal imaging spectroscopy of tissue
Paras et al. Near-infrared autofluorescence for the detection of parathyroid glands
US9080977B2 (en) Apparatus and methods for fluorescence guided surgery
Seidenari et al. Multiphoton laser tomography and fluorescence lifetime imaging of basal cell carcinoma: morphologic features for non‐invasive diagnostics
US8620409B2 (en) Dye application for confocal imaging of cellular microstructure
JPH11500832A (ja) 生物学研究、医療診断および治療用の分光生物撮像法、蛍光交配方法および細胞分類方法
CA3026650A1 (en) Systems and methods for automated coronary plaque characterization and risk assessment using intravascular optical coherence tomography
Turchin Methods of biomedical optical imaging: from subcellular structures to tissues and organs
Mehidine et al. Optical signatures derived from deep UV to NIR excitation discriminates healthy samples from low and high grades glioma
Mehidine et al. Multimodal imaging to explore endogenous fluorescence of fresh and fixed human healthy and tumor brain tissues
Jiang et al. Calibration of fluorescence imaging for tumor surgical margin delineation: multistep registration of fluorescence and histological images
Yu et al. Detection of cells by flow cytometry: Counting, imaging, and cell classification
Smith et al. Raman scattering in pathology
Chung et al. Advanced optical imaging requiring no contrast agents—a new armamentarium for medicine and surgery
Schwarz et al. Fluorescence and reflectance spectroscopy for detection of oral dysplasia and cancer
Gorpas et al. Fluorescence lifetime spectroscopy and imaging techniques in medical applications
EP2405800A1 (fr) Traitement d'une image de fluorescence par factorisation en matrices non negatives
So et al. Applications of Multiphoton Microscopy in Dermatology
Gautheron Towards quantitative multispectral excitation fluorescence spectroscopy for intraoperative assistance in glioma resection in neurosurgery
Weng Integrating Coherent Anti-Stokes Raman Scattering Imaging and Deep Learning Analytics for High Precision, Real Time, Label Free Cancer Diagnosis
Desroches Sonde de biopsie optique afin d'améliorer la sécurité et la précision de diagnostic des biopsies neurochirurgicales
Mehidine A multimodal two-photon fluorescence endomicroscope and its associated tissue database to discriminate brain tumors intraoperatively
Romano Evaluation of a portable multispectral fluorescence lifetime device for skin cancer diagnosis using machine learning strategies

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230323

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240226

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240401