CN114868010A - 用于多重荧光原位杂化图像的获取及处理的系统及方法 - Google Patents

用于多重荧光原位杂化图像的获取及处理的系统及方法 Download PDF

Info

Publication number
CN114868010A
CN114868010A CN202080088654.8A CN202080088654A CN114868010A CN 114868010 A CN114868010 A CN 114868010A CN 202080088654 A CN202080088654 A CN 202080088654A CN 114868010 A CN114868010 A CN 114868010A
Authority
CN
China
Prior art keywords
image
images
instructions
pixel
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080088654.8A
Other languages
English (en)
Inventor
张蕴青
谢丹
克洛伊·金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Applied Materials Inc
Original Assignee
Applied Materials Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Applied Materials Inc filed Critical Applied Materials Inc
Publication of CN114868010A publication Critical patent/CN114868010A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • G16B40/10—Signal processing, e.g. from mass spectrometry [MS] or from PCR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/68—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving nucleic acids
    • C12Q1/6813—Hybridisation assays
    • C12Q1/6841—In situ hybridisation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B50/00—ICT programming tools or database systems specially adapted for bioinformatics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B50/00—ICT programming tools or database systems specially adapted for bioinformatics
    • G16B50/40—Encryption of genetic data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G01N2021/6419—Excitation at two or more wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G01N2021/6421—Measuring at two or more wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G01N2021/6441—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks with two or more labels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/75—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated
    • G01N2021/755—Comparing readings with/without reagents, or before/after reaction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N21/03—Cuvette constructions
    • G01N21/05—Flow-through cuvettes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/127—Calibration; base line adjustment; drift compensation
    • G01N2201/12746—Calibration values determination
    • G01N2201/12761—Precalibration, e.g. for a given series of reagents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Immunology (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Biochemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biotechnology (AREA)
  • Bioethics (AREA)
  • Databases & Information Systems (AREA)
  • Organic Chemistry (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Wood Science & Technology (AREA)
  • Genetics & Genomics (AREA)
  • Zoology (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Quality & Reliability (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)

Abstract

在一种荧光原位杂化成像系统中，作为嵌套循环地执行以下步骤：(1)阀依次将流通池耦接至多个不同试剂来源，以将样本暴露至多个不同试剂，(2)对于多个不同试剂的各试剂，马达依次将荧光显微镜相对于的样本定位于多个不同视野处，(3)对于多个不同视野中的各视野，可变频激发光源依次发射多个不同波长，(4)对于多个不同波长中的各波长，致动器依次将该荧光显微镜相对于样本定位于多个不同垂直高度处的，及(5)对于多个不同垂直高度中的各垂直高度，获得图像。

Description

用于多重荧光原位杂化图像的获取及处理的系统及方法
技术领域
本说明书有关多重(multiplexed)荧光原位杂化(hybridization)成像。
背景技术
对于生物技术社群及制药产业而言，开发用于视觉化及量化生物样本(例如组织切除部、活组织切片、培养细胞)之内的多个生物分析物(例如DNA、RNA、及蛋白质)的方法有很大的兴趣。科学家利用此类方法诊断/监测疾病、验证生物标记、及调查治疗方式。至今，例示性方法包括利用功能域标记的抗体或寡核苷酸(例如RNA或DNA)对生物样本的多重成像。
多重荧光原位杂化(multiplexed fluorescence in-situ hybridization,mFISH)成像是空间转录组学中确定基因表达的强大技术。简言之，样本被曝露至多个寡核苷酸探针，这些探针目标为感兴趣的RNA。这些探针具有不同标记方案，当将互补补充荧光标记探针导入该样本时，这些不同标记方案将允许区分不同RNA物种。接着，通过曝光至不同波长的激发光，获取了连续轮次的荧光图像。对于各给定像素，其来自不同波长的激发光的不同图像的荧光强度形成信号序列。该序列接着与来自码本的参考码库做比较，该码本将各代码与基因相关联。最匹配的参考码被用于识别在图像中的该像素处表达的相关联基因。
发明内容
在一个方面中，一种荧光原位杂化成像系统包括：用于容纳将暴露于试剂中的荧光探针的样本的流通池、用于控制从多个试剂来源中的一者至流通池的流动的阀、用于致使通流体流动过流通池的的泵、包括可变频激发光源和经定位以接收从样本荧光发射的光的相机的荧光显微镜、用于致使流通池及荧光显微镜之间的相对垂直运动的致动器、用于致使流通池及荧光显微镜之间的相对横向运动的马达、及控制系统。该控制系统经配置以嵌套循环的方式执行下列步骤：致使阀依次将流通池耦接至多个不同试剂来源，以将样本暴露至多个不同试剂，对于多个不同试剂中的各试剂，致使马达依次将荧光显微镜相对于样本定位于多个不同视野处，对于多个不同视野中的各视野，致使可变频激发光源依次发射多个不同波长，对于多个不同波长中的各波长，致使该致动器依次将荧光显微镜相对于样本定位于多个不同垂直高度处，对于多个不同垂直高度中的各垂直高度，获得位于相应垂直高度处的图像，相应垂直高度覆盖样本的相应视野，样本具有相应波长由激发的相应试剂的相应荧光探针。
实施方式可包括以下特征的一者或多者。致动器可为压电致动器。数据处理系统可经配置以为各图像确定图像品质值，及若图像品质值不符合品质阈值则筛除(screen)图像。图像品质值可为清晰度品质值或亮度品质值。相机可为CMOS相机。
另一方面中，一种荧光原位杂化成像及分析系统包括：用于容纳将暴露于试剂中的荧光探针的样本的流通池、用于依次以多个不同成像参数组合获得收集样本的多个图像的荧光显微镜、及数据处理系统。数据处理系统包括在线预处理系统及离线处理系统，在线预处理系统经配置以随着图像被收集而从该荧光显微镜依次接收图像，并执行即时(on-the-fly)图像预处理以移除图像的实验性伪影并提供RNA图像斑点锐化，离线处理系统经配置以在多个图像被收集之后，对具有相同视野的图像执行配准，并对多个图像中的强度值解码以识别所表达的基因。
实施方式可包括以下特征的一者或多者。数据处理系统可经配置以确定清晰度品质值或亮度品质值。可通过对整个图像的图像亮度的梯度的绝对值进行积分来确定清晰度品质值。若清晰度品质值在最小清晰度值之上，则可确定图像品质值符合阈值。可通过对整个图像的图像亮度进行积分来确定亮度品质值。若亮度品质值在最小亮度值之上，则可确定图像品质值符合阈值。
另一方面中，一种荧光原位杂化成像系统包括：用于容纳将暴露至试剂中的荧光探针的样本的流通池、荧光显微镜、及控制系统。荧光显微镜包括照亮该样本的可变频激发光源、位于滤光轮上的多个发射带通滤光片、用于旋转滤光轮的致动器、及经定位以接收从样本荧光发射且已通过滤光轮上的滤光片的光的相机。控制系统经配置以致使可变频激发光源发射具有选定波长的光束，致使致动器旋转该滤光轮以将选定滤光片定位在该样本与该相机之间的光路径中，从相机获得图像，及协调可变频激发光源及滤光轮，使得当获得图像时，选定滤光片具有与荧光探针被选定波长激发时的发射相关联的发射带通。
另一方面中，一种计算机程式产品具有指令以致使一个或多个处理器对多个图像的各图像应用一个或多个滤光片并执行解卷积，以产生多个经滤波的图像，对多个经滤波的图像执行配准以产生多个经配准及滤波的图像，对多个经配准及滤波的图像的至少两个像素的各像素通过以下步骤来解码像素：从码本中的多个码字识别码字，该码字为该像素提供与多个经配准及滤波的图像的数据数值的最佳匹配，以及，对于至少两个像素的各像素，确定关联于该码字的基因，并储存该像素处表达了该基因的指示。
实施方式可包括以下特征的一者或多者。可存在指令以通过确定用于图像的亮度值直方图并通过确定在该直方图中分位数极限处的亮度值，来确定阈值。该分位数极限可为99.5％或更多，例如99.9％或更多。用于应用一个或多个滤光片的指令可包括应用低通滤光片的指令。用于执行解卷积的指令可包括利用2D点扩散函数来解卷积的指令。
另一方面中，一种计算机程式产品具有指令以接收样本的多个初始图像，多个初始图像共享共同视野。对于多个初始图像的各初始图像，初始图像被分割为具有相同尺寸的多个子图像，从多个子图像计算出尺寸等于子图像的尺寸的合并图像，因此产生多个缩小尺寸的图像，其中多个图像的各图像具有对应缩小尺寸的图像，对于多个缩小尺寸的图像的至少一个缩小尺寸的图像，确定变换来对多个缩小尺寸的图像执行配准，对于至少一个缩小的图像的各者，将针对该缩小尺寸的图像所确定的变换应用于对应的初始图像，来产生尺寸等于初始图像的尺寸的经变换图像，并因此产生多个经变换图像，及对于多个经变换图像的至少两个像素的各像素，通过以下步骤来解码像素：从码本中的多个码字识别码字，该码字为该像素提供与多个经变换图像中的数据数值的最佳匹配。对于至少两个像素的各像素，确定关联于该码字的基因，并储存该像素处表达了该基因的指示。
实施方式可包括以下特征的一者或多者。用于将初始图像分割成多个子图像的指令可包括指令以将初始图像分割成具有多个列(column)及多个行(row)的矩形网格。矩形网格可有相等数目的列与行。初始图像可被分割成刚好N个图像，其中N＝Z2，而Z是偶数整数。N可为2。子图像可具有不超过1024x1024像素的尺寸。
另一方面中，一种计算机程式产品具有指令以接收代表样本的共同视野的多个图像，对多个图像执行配准以产生多个经配准图像，对于经配准图像的多个像素的各像素，通过以下步骤来解码像素：从码本中的多个码字识别码字，该码字为该像素提供与多个经配准图像中的数据数值的最佳匹配，以及对于针对一个或多个像素被识别为最佳匹配的各码字以及对于一个或多个像素的各像素，确定该像素的图像字的位比(bit ratio)是否符合用于该码字的阈值。图像字是从针对该像素的多个经配准图像中的数据数值形成的。对于被确定为符合阈值的至少一个像素，确定关联于该码字的基因并储存该基因被表达于该像素处的指示。位比不符合阈值的像素被筛除。
实施方式可包括以下特征的一者或多者。确定阈值的步骤可包括确定来自样本的多个图像的位值直方图中位于第一分位数极限处的值。该分位数极限可具有预设值。确定阈值之后，可通过确定来自样本的多个图像的位值直方图中位于不同的第二分位数极限处的值来确定更新阈值。
另一方面中，一种计算机程式产品具有用于执行以下步骤的指令：接收样本的多个图像，多个图像代表共同视野，执行多个图像的配准以产生多个经配准图像，对于经配准图像的多个像素的各像，通过以下步骤来解码像素：通过从码本中的多个码字识别码字，该码字为该像素提供与多个经配准图像中的数据数值的最佳匹配，及对于针对一个或多个像素被识别为最佳匹配的各码字以及对于一个或多个像素的各像素，确定用于该像素的图像字的位亮度是否符合用于该码字的阈值。图像字是从针对该像素的多个经配准图像中的数据数值形成的。对于被确定为符合阈值的各像素，确定关联于该码字的基因并储存该像素处表达了该基因的指示。位比不符合阈值的像素被筛除。
实施方式可包括以下特征的一者或多者。确定阈值的步骤可包括确定来自样本的多个图像的位值直方图中位于第一分位数极限处的值。确定阈值之后，可通过确定来自样本的多个图像的位值直方图中位于不同的第二分位数极限处的值来确定更新阈值。
另一方面中，一种计算机程式产品具有指令以接收样本的多个初始图像。多个初始图像包括多个不同视野的各视野的多重图像。指令经储存以执行图像处理算法，在算法中包括对视野的多重图像进行图像滤波或对视野的多重图像进行配准中的一者或多者。对于各视野，确定一个或多个初始参数值，其中不同视野具有不同初始参数值。使用用于不同视野的不同初始解码参数值，来对各视野执行图像处理算法。确定一个或多个后续解码参数值，并利用用于不同视野的相同后续参数值，对各视野执行图像处理算法及解码算法，来产生空间转录组数据(spatial transcriptomic data)集合。
实施方式可包括以下特征的一者或多者。对于视野的多个像素的各像素，图像处理算法及解码算法可通过以下步骤解码像素：从码本的多个码字识别为多个图像中的该像素提供与数据数值的最佳匹配的码字，以产生多个最匹配的码字。对于各视野，可确定在各像素字与用于像素字的最佳匹配码字之间的拟合优度，从而为各视野提供多个拟合优度。确定拟合优度的操作可包括确定像素字与最佳匹配码字之间的距离。对于各视野，可从用于该视野的多个拟合优度确定平均拟合优度，从而提供多个平均拟合优度。
另一方面中，一种计算机程式产品具有指令以接收样本的多个初始图像，多个初始图像包括用于多个不同视野的各视野的多重图像。对于各视野，基于用于该视野的多重图像产生空间转录组数据集合。各空间转录组数据集合包括一个或多个数据对，一个或多个数据对的各数据对包括位置与用于该位置的表达基因。确定来自邻接视野的多重图像的重叠区域。从用语各视野的空间转录组数据集合，产生用于覆盖多个不同视野的合并图像的空间转录组数据的合并集合。在产生空间转录组数据的合并集合中，来自不同视野的至少一个被重复计数的数据对被筛除，其代表在样本内的相同位置处的相同表达基因。
可在实施中包括以下特征的一者或多者。确定重叠区域的步骤可包括，对于各行，在来自第一FOV的第一图像与来自第二邻接FOV的第二图像之间执行水平位移估计。确定重叠区域的步骤可包括，对于各行，在来自第一FOV的第一图像与来自第二邻接FOV的第二图像之间执行垂直位移估计。水平位移估计及垂直位移估计可各自包括第一图像与第二图像之间的互相关性(cross-correlation)。
另一方面中，一种计算机程式产品具有指令以接收样本的多个图像，多个图像包括针对多个不同视野的各视野的多重图像。在多个图像的各图像上，在图像上执行图像品质检查。执行图像品质检查之后，从多个图像的各图像移除伪影(artifact)。在移除伪影之后，在该多个图像的各图像中锐化图像斑点。在锐化图像斑点之后，对于各多重图像，执行多重图像的配准以产生多个经配准图像。在执行配准之后，对于各多重图像，并对于相应多重的经配准图像的多个像素的各像素，通过以下步骤来解码该像素：从码本中的多个码字识别码字，该码字为该像素提供与相应多重经配准图像中的数据数值的最佳匹配。
实施方式的优点能包括(但不限于)以下的一者或多者。
多重荧光原位杂化法(mFISH)图像的获取与用于确定基因表达的后续处理能以适合于工业采用的方式自动化。能以统一的图像品质来处理需要多个视野(FOV)的大样本尺寸。能改善多样本中或多模式研究中的运行间(run-to-run)一致性。能够将不同时间所捕捉的相同FOV的荧光图像配准，而无需使用分离的基准(例如不需要基准微粒(bead))、并使用比一些已知技术更少的资源且更准确地执行。
一个或多个实施方式的细节在随附附图及以下说明中阐述。其他特征、方面、及优点将从说明、附图及权利要求书中显而易见。
附图说明
图1是用于多重荧光原位杂化法成像的设备的示意图。
图2是数据处理方法的流程图。
图3示意地图示可利用互信息算法的图像配准处理。
图4是图像中的强度的对数直方图。
图5A是所收集图像。
图5B图示了从图5A的图像所生成的掩模。
图6A是来自经滤波且解卷积的图像的强度对数直方图。
图6B是标准化之后的强度对数直方图。
图7图示了解码方法。
图8A是对于样本码字所识别的像素的位比的对数直方图。
图8B是对于样本码字所识别的像素的亮度的对数直方图。
图9是拼接(stitching)方法的流程图。
图10是数据处理方法的另一实施方式的流程图，在该数据处理方法中图像处理被即时执行。
不同附图中的相似参考符号及标记指示出相似的元件。
具体实施方式
虽然多重荧光原位杂化法(mFISH)成像是一种强大的技术，目前为止其主要被使用在学术情境中。产业情境中将此种技术用于空间转录组学的运用(例如被生技公司利用mFISH进行空间转录组学研究来开发意图产品化的药品)，造成各式各样的问题。例如：
·系统应被完全或近似完全地自动化，使得熟悉生物学但不熟悉图像处理或软件编程技术的使用者(例如研究科学家)仅需键入有关所调查的生物方面的参数，而不需要做出有关图像处理的决策或具有编程专业知识。此种自动化事实上并非小事，而包含各种陷阱。
·当前的最新技术采取来自通用光学显微镜的样本图像，其具有适合小样本的小图像尺寸。在产业情境中运用的样本可能更大且可需要多个视野以完整地成像。这些多个FOV能被人工地拼接，但半自动的做法可能遭受以下问题，诸如不良的图像配准、过度计数表达基因、或在处理拼接的图像的不同区域上的不一致性所致的缺少可信赖度。
·此处理需要足够高的产出量才能在工业上可施行。然而，当前最新技术花费可观的成像时间并在数据分析上需要许多人工步骤。对于大规模生命科学及临床研究需要成像产出量及品质管控。此外，数据处理的可规模化能力(scalability)受限于运算时间。
·因为每个FOV被单独处理，能发现跨越感兴趣区域的显著变异。额外地，来自不同仪器的图像在被发送至软件管线(pipeline)之前需要被良好地校准及变换。已知地，图像处理参数需要被人工调整以容许系统或样本变异。
·当前的解决方案强烈假设完美的图像，这在实验条件与校准方法之间创造了差距。
以下讨论的整体架构及各种单独组件及步骤能解决上述问题的一个或多个。
一般，此整体架构及单独组件及步骤能够实现涉及最少人工步骤的端到端(end-to-end)mFISH成像及解码处理。该系统整合完全自动化硬件架构及即时图像处理。这些方法包括反馈控制、图像校准、及全局最佳化。端到端处理时间能减少，并能增加每样本的产出量。该设备能简单的被研究科学家在工业情境中使用。控制度量能在下游分析之前确保数据品质；早期检测减少了样本的浪费。算法能实现对大成像区域的可规模化能力，使其具有统一且一致的空间基因表达。能改善对用于大规模研究的数据准确度及可重复性；结果能轻易地在软件套件中被解读及进一步分析。
参看图1，多重荧光原位杂化法(mFISH)成像及图像处理设备100包括流通池110以保持样本10、荧光显微镜120以获得样本10的图像、及控制系统140以控制mFISH成像及图像处理设备100的各种组件的操作。控制系统140能包括执行控制软件的计算机142(例如具有存储器、处理器、等等)。
荧光显微镜120包括激发光源122，该激发光源122能产生多个不同波长的激发光130。具体而言，激发光源122能于不同时间产生具不同波长的窄频宽光束。例如，激发光源122能由多波长连续波激光系统来提供，例如能由被独立地启用以产生具由不同波长的激光光束的多个激光模块122a提供。来自激光模块122a的输出能被多路传输至共同光束路径中。
荧光显微镜120包括显微镜主体124，显微镜主体124包括各种光学组件以将来自光源122的激发光导向流通池110。例如，来自光源122的激发光能被耦合至多模式光纤中，被一组透镜重新聚焦及放大，接着被核心成像组件(像是高数值孔径(NA)物镜136)导入样本中。当需要切换激发通道时，能停用多个激光模块122a中的一者且启用另一激光模块122a，其中这些装置之间的同步由一个或多个微控制器144、146完成。
物镜136(或整个显微镜主体124)能被安装在耦接至Z轴致动器的可垂直移动安装架上。Z-位置的调整(例如通过控制Z轴致动器的微控制器146)能实现焦点位置的精细调校。替代地，或者额外地，流通池110(或在流通池110中支撑样本的载物台118)可以被Z轴致动器118b垂直移动，例如轴向压电载物台。此压电载物台能允许精确且迅速的多平面图像获取。
将要成像的样本10定位在流通池110中。流通池110能为腔室，其具有面积为大约2cm乘以2cm的截面区域(平行于物体或显微镜的图像平面)。样本10能被支撑在流通池内的载物台118上，且该载物台(或整个流通池)能够时可横向移动的，例如被一对直线致动器118a移动以允许XY运动。这允许在不同的横向偏移视野(FOV)中获取样本10的图像。替代地，显微镜主体124可以被承载在可横向移动的载物台上。
对流通池110的入口被连接至一组杂化试剂来源112。多阀定位器114能被控制器140控制以在来源之间切换，以选择哪种试剂112a被供给至流通池110。各试剂包括一组不同的一个或多个寡核苷酸探针。各探针的标的为不同的感兴趣RNA序列，且具有不同的一组一个或多个荧光材料(例如磷)，一个或多个荧光材料被不同波长组合激发。除了试剂112a以外，能存在净化流体112b(例如DI水)的来源。
流通池110的出口被连接至泵116(例如蠕动泵)，泵也被控制器140控制以控制流体(例如试剂或净化流体)流动通过流通池110。来自流通池110的使用过的溶液能由泵116传递至化学废料管理子系统119。
操作上，控制器140致使光源122发射激发光130，激发光130致使样本10中荧光材料发出荧光，例如致使结合至样本中RNA的探针并被该激发光的波长激发以发出荧光。发射的荧光132、以及向后传播激发光(例如从样本、载物台等等散射的激发光)被显微镜主体124的物镜136收集。
所收集的光能被显微镜主体124中的多频带分光镜138滤波，以将发射地荧光与向后传播的照明光分离，且发射的荧光被传递至相机134。多频带分光镜138能包括用于在各式各样激发波长之下预期来自探针的各发射波长的通带。使用单一多频带分光镜(相较于多个分光镜或可移动分光镜)能提供改善的系统稳定性。
相机134能够是高分辨率(例如2048x2048像素)CMOS(例如科学CMOS)相机，且能被安装于物镜的直接像平面处。其他相机类型(例如CCD)可以是可行的。当被(例如来自微控制器的)信号触发时，来自相机的图像数据能被捕捉，例如被发送至图像处理系统150。因此，相机134能收集来自该样本的图像序列。
为进一步移除残留的激发光并将激发通道之间的串扰最小化，各激光发射波长能与对应的带通发射滤光片128a配对。各滤光片128a能具有10～50nm(例如14～32nm)的波长。在一些实施方式中，滤光片比激发光产生的探针的荧光材料的带宽要窄，例如，若探针的荧光材料有拖曳的光谱轮廓。
滤光片被安装在高速滤光轮128上，该滤光轮可被致动器127b旋转。滤光轮128能被安装于无限远空间处以最小化成像路径中的光学像差。在通过滤光轮128的发射滤光片之后，纯净的荧光信号能被镜筒透镜重新聚焦并被相机134捕捉。分光镜138能被定位在物镜138与滤光轮128之间的光路径中。
为促进系统的高速、同步的操作，控制系统140能包括两个微控制器144、146，这些微控制器被采用为以协调的方式发送触发信号(例如TTL信号)至荧光显微镜120的组件。第一微控制器144直接被计算机142运行，并触发滤光轮128的致动器128b以切换不同颜色通道处的发射滤光片128a。第一微控制器144也触发第二微控制器146，第二微控制器发送数字信号至光源122以控制何种波长的光被传递至样本10。例如，第二微控制器146能发送开/关信号至光源122的单独激光模块，以控制哪个激光模块被启用，且因此控制何种波长的光被用于激发光。在完成切换到新的激发通道后，第二微控制器146控制用于压电载物台116的马达以选择成像高度。最后，第二微控制器146发送触发信号至相机134以用于图像获取。
计算机142与设备100的装置组件之间的通信被控制软件所协调。此控制软件能将全部装置组件的驱动整合到单一框架中，且因此能允许使用者将该成像系统当作单一仪器来操作(而不是需要分别控制许多装置)。
该控制软件支持显微镜的互动式操作以及成像结果的立即可视化。额外地，该控制软件能提供编程接口，其允许使用者设计及自动化他们的成像工作流程。可在脚本语言中指定一组预设的工作流程脚本(script)。
在一些实施方式中，控制系统140被配置(即该控制软件和/或工作流程脚本配置)为按照以下层级的循环(从最内层循环到最外层循环)循环中获得荧光图像(也简单称为“收集图像”或仅是“图像”)：z轴、颜色通道、横向位置、及试剂。
这些循环可被下列伪代码表示：
Figure BDA0003702297700000101
Figure BDA0003702297700000111
对于z轴循环，控制系统140致使载物台118逐步通过多个垂直位置。由于载物台118的垂直位置是由压电致动器所控制，调整位置所需的时间少且此循环中每一步非常快。
首先，样本可能足够地厚(例如数微米)以使整个样本可预期有多个图像平面。例如，可能存在多个细胞层，或甚至在一个细胞内可存在基因表达上的垂直变异。此外，对于薄的样本，焦平面的垂直位置可能事先无法得知(例如热漂移所致)。此外，样本10可在流通池110内垂直漂移。在多个Z轴位置处进行成像能确保覆盖厚的样本中的大部分细胞，并能协助识别薄的样本中的最佳聚焦位置。
对于颜色通道循环，控制系统140致使光源122逐步通过不同波长的激发光。例如，启用激光模块中的一者，停用其他的激光模块，且旋转发射滤光轮128以将适当的滤光片置于样本10与相机134之间的光的光学路径中。
对于横向位置，控制系统140使光源122逐步通过不同横向位置以获得样本的不同视野(FOV)。例如，在循环的每一步，支撑载物台118的直线致动器能被驱动以横向地位移载物台。在一些实施方式中，控制系统140的步数及横向运动被选择使得累加的FOV覆盖了整个样本10。在一些实施方式中，横向运动被选择使得FOV局部重叠。
对于试剂，控制系统140使设备100逐步通过多个不同的可用试剂。例如，在循环的每一步，控制系统140能控制阀114以将流通池110连接至净化流体112b，使泵116抽吸净化流体通过池达第一时间段，以净化目前的试剂，接着控制阀114以将流通池110连接至不同的新试剂，并接着抽吸新试剂通过池达第二时间段，该第二时间段足以让新试剂中的探针结合至适当的RNA序列。由于需要一些时间来净化流通池并让新试剂中的探针结合，调整试剂所需的时间相较于调整横向位置、颜色通道、或z轴是最长的。
作为结果，针对z轴、颜色通道(激发波长)、横向FOV、及试剂的可能值的各个组合获得荧光图像。因为最内层循环具有最快的调整时间，而逐渐外围的循环具有逐渐更慢的调整时间，此种配置方式为获得用于这些参数的数值的组合的图像提供最省时的技术。
数据处理系统150被用于处理图像并确定基因表达，以产生空间转录组数据。最低限度下，数据处理系统150包括数据处理装置152(例如由储存在计算机可读取介质上的软件控制的一个或多个处理器)及本地储存装置154(例如非易失性计算机可读取介质，其接收由相机134获取的图像)。例如，数据处理装置152能为安装有GPU处理器或FPGA板的工作站。数据处理系统150也能通过网络连接至远端储存156，例如通过互联网络连接至云端储存。
在一些实施方式中，数据处理系统150随着图像被接收而执行即时图像处理。特定言的，在数据获取过程中的同时，数据处理装置152能执行图像预处理步骤，像是滤波及解卷积，上述步骤能在储存装置154中的图像数据上执行但不需要整个数据集合。由于滤波及解卷积是数据处理管线中的主要瓶颈，因此随着图像获取过程来预处理能显著地缩短离线处理时间，并因此改善产出量。
图2图示数据处理方法的流程图，其中处理是在已获取全部图像之后执行的。流程开始于系统接收原始图像文件及支持文件(步骤202)。具体而言，数据处理系统能从相机接收整个原始图像的集合，例如针对z轴、颜色通道(激发波长)、横向FOV、及试剂的可能数值的各个组合的图像。
额外地，数据处理系统能接收参考表达文件(expression file)(例如FPKM(每千碱基对每百万映射读取片段)文件)、数据纲目(data schema)、一个或多个染色图像(例如DAPI图像)。参考表达文件能被用于在传统序列结果及mFISH结果之间交叉检查。
从相机接收的图像文件能可选地包括元数据，图像被拍摄时的硬件参数值(诸如载物台位置、像素大小、激发通道等)。数据纲目提供基于硬件参数来排序图像的规则，使得图像被以适当顺序放入一个或多个图像堆栈中。若没有包括元数据，数据纲目能将图像的顺序与用于产生图像的z轴、颜色通道、横向FOV及试剂的数值关联。
覆盖有转录组信息的染色图像将呈现给使用者。
为了筛去品质不足的图像，被收集的图像能在更密集的处理之前进行(subject)一个或多个品质度量(步骤203)。仅有符合(多个)品质度量的图像才会被传递以用于进一步处理。这能显著地减少数据处理系统上的处理负荷。
为了检测聚焦失败，能对各个被收集图像确定清晰度品质值。作为示例，清晰度品质的计算能通过对整个图像的强度梯度求和：
Figure BDA0003702297700000131
若清晰度品质值在阈值之下，则该图像能被识别为失焦。阈值可以是预设的经验确定值，或者阈值可以是基于针对具有相同FOV的图像的清晰度值来计算。例如，能计算清晰度品质值的标准差，能基于该标准差来设定阈值。
如上述，焦平面的z轴位置不一定是确切已知的。失焦的图像能被筛去。在一些实施方式中，在各次z轴循环中，仅保留单个图像，例如具有最佳清晰度品质的图像。在一些实施中，来自单个z轴循环的多个图像可能符合清晰度品质，该多个图像可被组合(例如混合(blend))以形成单一图像。
为了检测感兴趣的区域，能针对各个被收集图像确定亮度品质值。亮度品质能被用于确定图像中是否出现任何细胞。例如，图像中全部像素的强度值能被求和并与阈值做比较。若总和少于阈值，则这可能表示图像中基本上没有东西(即图像中没有细胞)，且没有感兴趣的信息，并且该图像不需要被处理。作为另一示例，能计算图像中强度值的标准差并与阈值做比较。若标准差在阈值之下，这表示图像大致均匀并缺少表示出被激发的探针的亮斑点。同样，这种被收集图像没有感兴趣的信息且该图像不需要被处理。
以上两个品质检查为例示性的且能够使用其他的品质度量。例如，能使用测量斑点品质的品质度量。
另一品质检查能检测杂化间位移(inter-hybridization shift)。若在多轮成像之间发生显著的样本漂移，则后续的配准可能是不可靠的。样本漂移能被各种图像处理算法(例如相位相关性)所检测。具体而言，被收集图像能与用于相同FOV但用于先前试剂的图像作比较。若这些图像并不足够相关，例如不符合阈值相关性，则这些被收集图像没有感兴趣的信息且该图像不需要被处理。
接下来，各图像被处理以移除实验性伪影(步骤204)。由于各RNA分子将与不同激发通道的探针杂化多次，跨多个通道、多轮图像堆栈的严格对齐有利于显现整个FOV上的RNA识别。移除实验性伪影的操作能包括平场(field flattening)和/或色差校正。在一些实施方式中，平场在色差校正之前执行。
激发光中的照明轮廓线(illumination profile)的不完美(例如高斯或其他不均匀分布，而非FOV上的均匀分布)可能导致FOV上的不均匀荧光信号水平，而这种空间不均匀性往往在激发通道之间有所差异。这种不均匀能从照明场域传递至FOV上的荧光信号水平，并因此使空间转录组分析结果有偏差。为了消除这种伪影，利用在FOV内具有均匀的荧光团密度的荧光目标对各颜色通道测量照明轮廓(例如测试图像)。这些被测量的照明轮廓接着被用作成像数据上的特定于通道的标准化因子。例如，用于各颜色通道(即所要测量的各发射波长)的照明轮廓能被储存成标准化图像，且用于颜色通道的被收集图像中各像素的强度值除以相关联颜色通道的标准化图像的相应像素的强度值。
色差校正造成跨越不同发射通道变化的光学失真。换言之，由于探针被用于不同波长测量，在成像路径中的色差(若有的话)可显著地使下游分析结果降级。为了针对这种可能的硬件缺陷来维持分析结果的稳健性，能在数据处理管线中提供基于软件的色差校正解决方案。具体而言，利用具有已知图案(例如矩形图案)的荧光斑点的目标来针对各颜色通道产生测试图像。针对各颜色通道计算变换，该变换使得测试图像中的被测量的斑点重新与已知图案对齐。这些变换被储存，并且在样本图像正被收集时的正常操作中，根据用于收集图像的颜色通道，选择适当变换并将其应用至各个收集图像。
各图像被处理以提供RNA图像斑点锐化(步骤206)。RNA图像斑点锐化能包括应用滤光片来移除细胞的背景和/或利用点扩散函数来解卷积以锐化RNA斑点。
为了将RNA斑点与相对明亮的背景区分开来，对图像应用低通滤光片，例如应用至被平场且色彩校正的图像以移除围绕RNA斑点的细胞背景。经滤波的图像被进一步利用2-D点扩散函数(PSF)解卷积以锐化RNA斑点，并与具有半像素宽度的2-D高斯核心卷积以稍微使斑点平滑。
具有相同FOV的图像被配准以对齐其中的特征(例如细胞或细胞器)(步骤208)。为了正确地识别图像序列中的RNA种类，在不同轮的图像中的特征被对齐，例如以次像素精确度对齐。然而，由于mFISH样本是在水相中被成像且被马达载物台四处移动，经过数小时之久的成像处理下的样本漂移及载物台漂移能转变成为图像特征的位移，若不解决图像特征的位移，则可能破坏转录组分析。换言之，即使假设荧光显微镜与流通池或支撑件存在精确的可重复对齐，样本在之后的图像中可能不再位于相同位置中，而这可能在解码中导入错误或使得干脆无法解码。
将图像配准的一种常规技术是在载玻片上的载体材料内放置基准标记，例如荧光微粒。一般，样本及基准标记微粒将大致一致地移动。能基于其尺寸及形状来在图像中识别这些微粒。对微粒的位置做比较允许将两个图像配准，例如仿射变换的计算。
然而，能够在不使用荧光微粒或类似基准标记的情况下配准图像，而仅使用图像内的数据。具体而言，高强度区域应跨越相同FOV的多个图像大概位于相同位置。能被用于图像间配准的技术包括相位相关性算法及互信息(mutual-information,MI)算法。MI算法一般比相位相关性算法更精确及稳健。因此，能将基于互信息(MI)的漂移校正方法用于对齐。然而，精确度的代价可能是高运算时间。
图3图示用于利用互信息算法来对齐具有相同FOV的被收集图像的处理，该处理在保留MI配准算法的高精确度的同时减少运算负荷。具有相同FOV的被收集图像的集合能被认为是原始图像堆栈；该堆栈中图像的顺序由以上讨论的数据纲目所设定。图像堆栈中的各个被收集图像302可以是(例如)2048x2048像素。一般而言，在具有此种大小的图像上执行互信息算法可能需要过量的运算能力。被收集图像302被平均地切割成四个图像区块304a、304b、304c、304d。假设每个被收集图像302是2048x2048像素，则这些图像区块为1024x1024像素。各图像区块304a、304b、304c、304d乘上一个相位因数φ，被相位偏移的图像区块被重叠及求和以产生复合图像，且这些复合图像的实部及虚部被求和以产生求和图像306。求和图像306具有原始的图像302的1/4大小，例如1024x1024像素。
此程序针对原始图像堆栈中的各原始图像302重复，以产生具有缩小尺寸的图像306的堆栈308。接着利用堆迭308来执行互信息算法，以产生针对堆栈308中的各缩小尺寸的图像306的变换。该变换能包括平移和/或缩放(scaling)变换。为了对齐原始堆栈中的图像，针对各缩小尺寸的图像所确定的变换被应用至原始堆栈中的相应被收集图像。这应当导致具有原始尺寸(例如2048x2048像素)的被收集图像310的堆栈312中的用于相同FOV的图像310被对齐。
这种切片及重叠的策略保留图像中的大部分特征，并因此仍应当具有高精确度，却减少了用于位移计算的临时图像大小，因此具有减小的运算负荷。尽管图3及以上讨论聚焦在将原始图像分割成对应右上、右下、左上、及左下象限的四个区块，但能够使用另外的区块个数，例如图像能被分割成其他形状(例如矩形而非正方形)，只要区块具有相同的尺寸。例如，原始图像可以被分割成256x2048像素的8个图像区块。一般，图像能被分割成具有多列及多行的矩形网格，例如有相等的列数及行数。图像能被分割成为N个图像，其中N＝Z2且Z是偶数整数(对图3中的示例是N＝2)。
回到图2，由于步骤206的滤波及解卷积处理是在个别帧(即比特)上独立实施的，因此它们能在步骤208的配准之前执行。此外，由于用于配准的图像堆栈经过了背景校正及锐化以显现RNA的空间特征，因此能改善配准精确度。为了验证后面这个优点，来自低聚合(confluency)细胞样本、高聚合细胞样本、及脑组织样本的三个数据集合针对先行配准方法和先行滤波方法比较了配准精确度。配准品质是通过跨越全部层将被配准图像堆栈求和，接着计算求和图像的最大值及最小值来评估的。先行滤波的做法一般而言产生扁平化图像的较大的最大值及较小的最小值，此表示出配准品质的改良。
配准之后能执行配准品质检查。若被正确地配准，各图像中的亮点应重叠使得总亮度增加。参考未被配准的图像的堆栈能被求和，类似地配准图像310的堆栈312(见图3)能被求和，例如：
Figure BDA0003702297700000161
IU(x,y)的最大值能与IR(x,y)的最大值比较。若max(IR(x,y))>max(IU(x,y))，则能视为配准成功。相反地，若max(IR(x,y))≤max(IU(x,y))，则数据处理系统能指示配准失败并发出错误代码。该FOV可以从后续的分析排除，和/或可能需要取得新图像。
可选地，在配准之后能针对各个收集图像计算掩模。简言之，各像素的强度值与阈值做比较。若强度值高于阈值，则掩模中的相应像素被设为1，而若强度值低于阈值，则相应像素被设为0。该阈值可以是实验确定的预先确定值，或者能从图像中的强度值计算出。一般，掩模能对应于样本内细胞的位置；细胞之间的空间不应发出荧光而应具有低强度。
为了产生掩模，对于各视野，从该视野的图像序列产生压缩帧
Figure BDA0003702297700000171
能通过在该FOV的图像上执行乘积(product)运算来产生压缩帧
Figure BDA0003702297700000172
例如：
Figure BDA0003702297700000173
其中i代表配准图像310的堆栈312中的层编号(见图3)。能基于log
Figure BDA0003702297700000174
的直方图来产生阈值。
例如，图4图示收集图像中压缩帧值
Figure BDA0003702297700000175
的对数直方图400。一般，对数直方图会包括强度中的初始急剧增加(其可能是第一局部最大值的前缘)及强度中的最终急剧减少(可能是第二局部最大值的后缘)。能对直方图进行峰值和/或边缘查找(edge-finding)算法以识别出最靠近直方图下端的第一峰值402(或者若没有明显的峰值则是强度中急剧增加的边缘)，以及最靠近直方图上端的第二峰值404(或者若没有明显的峰值则是强度中急剧减少的边缘)。能基于这两个被识别出的点402、404的强度值来设定阈值410。例如，阈值410能为强度值的平均。作为峰值查找法的替代，能对直方图执行大津(Otsu)阈值方法来确定阈值410。此种技术能是有用的，因为直方图不会永远展现两个清楚的峰值。
能从掩模移除椒盐效应(Salt and pepper effects)。位于连续的“开(on)”像素区域外侧的单一“开”像素，或者位于连续“开”像素区域内侧的单一“关(off)”像素，能被变换成“关”或“开”以匹配其周围区域。一般，低于阈值大小(例如50个像素)的邻接像素群能被指示成错误且能被改变以匹配周围区域。通过使用掩模，能节省存储器空间且减少计算工作负担。
图5A中图示了收集图像，而图5B图示从图5A的图像产生的掩模。
回到图2，在将FOV的图像配准之后，能执行空间转录组分析(步骤210)。
为了使直方图更一致，能在空间转录组分析之前执行FOV标准化。在一些实施方式中，FOV标准化发生在配准之后。替代地，FOV标准化能发生在配准之前。FOV标准化可以被认为是滤波的一部分。即使经过以上讨论的滤波及解卷积，在收集图像中仍然存在的问题是可能在最亮的像素之中有显著的亮度差异，例如超过数个数量级。例如，参看图6A，在收集图像中的强度值的直方图602有很长的尾端604。这会在解码流程导入不确定性。FOV标准化能够抵销这种错误来源。
首先，图像中全部的强度值相对于该图像中的最大强度值被标准化。例如，确定最大强度值，并且全部的强度值除以该最大值，使得强度值在0及IMAX(例如1)之间变化。
接着，分析图像中的强度值以确定包括有最高强度值的上分位数，例如99％以上的分位数(即前1％)、99.5％以上的分位数、或99.9％以上的分位数、或99.95％以上的分位数(即前0.05％)。用于该分位数的截断在图6A中以折线610表示。位于该分位数极限的强度值(例如在图6A的示例中，位于99.95％分位数处的强度值log(-2))能被确定及储存。具有在该上分位数内的强度值的全部像素被重设成具有最大强度值(例如1)。接着其余像素的强度值被缩放到相同的最大值。为了做到这一点，不在该上分位数之中的像素的强度值除以用于该分位数极限的被储存的强度值。图6B图示由FOV标准化得到的强度值直方图620。
将参看图7解释解码。然而，暂时回到图3，用于特定FOV的对齐图像能被视为包括多个图像层310的堆栈312，其各图像层为X乘以Y像素(例如2048x2048像素)。图像层的数目B依照颜色通道的数目(例如激发波长的数目)及杂化的数目(例如试剂的数目)的组合而定，例如B＝N_杂化*N_通道。
转向图7，在标准化之后，图像堆栈能被评估为2-D像素字矩阵702。矩阵702能有P个行704，其中P＝X*Y，以及B个列706，其中B是对于给定FOV的堆栈中的图像个数，例如N_杂化*N_通道。各行704对应于多个像素中的一个像素(整个堆栈的多个图像的相同像素)，来自行704的数值提供像素字710。各列706提供字710中的多个数值的一个数值，即来自该像素的图像层的强度值。如上述，这些数值能被标准化，例如在0与IMAX之间变化。不同强度值在图7中被表示成相应细胞的不同阴影程度。
若全部像素被传递到解码步骤，则全部P个字将被如下地处理。然而，细胞边界外侧的像素能被2-D掩模筛去(见以上图4B)而不被处理。因此，能在以下分析中显著减少计算负荷。
数据处理系统150储存码本722，该码本被用于解码图像数据来识别在特定像素处表达基因。码本722包括多个参考码字，各参考码字关联于特定基因。如图7中显示，码本722能被表示成具有G个行724及B个列726的2D矩阵，其中G是码字的个数，例如基因的个数(尽管可以由多个码字代表相同的基因)。各行724对应于参考码字730的一者，而各列706提供参考码字730中多个数值中的一者，由先前校准及测试已知基因所建立。对于各列，参考码730中的数值可能是二元的，即“开”或“关”。例如，各值能为0或IMAX(例如1)。图7中将开及关的值由相应细胞的浅色或深色阴影表示。
对于各个要解码的像素，可计算像素字710与各参考码字730之间的距离d(p,i)。例如，像素字710与参考码字730之间的距离能被计算成欧式距离，例如，像素字中各数值与参考码字中的相应数值之间的差的平方的总和。该计算能被表示成：
Figure BDA0003702297700000191
其中Ip,x是来自像素字的矩阵702的数值，而Ci,x是来自参考码字的矩阵722的数值。能使用其他度量替代欧式距离，例如差的绝对值的总和、余弦角、相关性、等等。
一旦针对给定像素计算了各码字的距离值，则确定最小的距离值，提供最小距离值的码字被选作最匹配的码字。换句话说，数据处理设备确定min(d(p,1),d(p,2),…d(p,B))，并确定数值b作为针对i(在1与B之间)提供最小值的值。确定对应于最匹配的码字的基因(例如从将码字关联于基因的查找表确定)，且该像素被标记(tagged)为表达该基因。
回到图2，数据处理设备能滤除错误的标注(callout)。滤除错误标注的一种技术是抛弃其中指示基因表达的距离值d(p,b)大于阈值的标记，例如，若d(p,b)>D1MAX。
用于滤除错误标注的另一种技巧是拒绝所计算位比(bit ratio)低于阈值的码字。位比被如下计算：来自应当为开的层(从码字确定)的图像字的强度值的平均除以来自应当为关的层(仍从码字确定)的图像字的强度值的平均。例如，针对图7中所示的码字730，对应于第3～6及12～14列的位是开，而对应于第1～2及7～11列的位是关。因此，假设此码字被选为用于像素p的最佳匹配，位比BR能被计算成
Figure BDA0003702297700000201
位比BR与阈值THBR作比较。在一些实施方式中，阈值THBR是从先前的测量经验确定。然而，在一些实施方式中，能基于从样本获得的测量结果针对特定码字自动地计算阈值THBR。图8A图示针对被特定码字标记的全部像素的位比强度值的对数直方图802。基于该直方图802计算阈值804。例如，能利用预设分位数(例如50％)来计算初始阈值804。然而，在以下讨论的最佳化期间能调整该分位数。
用于滤除错误标注的另一种技术是拒绝所计算位亮度(bit brightness)低于阈值的码字。位亮度被如下计算：来自应当为开的层(从码字确定)的图像字的强度值的平均。例如，针对图7中所示的码字730，对应于第3～6及12～14列的位是开。因此，假设此码字被选为用于像素p的最佳匹配，位亮度BB能被计算成
BB＝[I(p,3)+I(p,4)+I(p,5)+I(p,6)+I(p,12)+I(p,13)+I(p,14)]/7
位亮度BB与阈值THBB作比较。在一些实施方式中，阈值THBB是从先前的测量经验确定。然而，在一些实施方式中，能基于从样本获得的测量结果针对特定码字自动地计算阈值THBB。图8B图示针对被特定码字标记的全部像素的位亮度值的对数直方图812。基于此直方图812计算出阈值814。例如，预设分位数(例如80％或90％)能被用于计算初始阈值814。然而，在以下讨论的最佳化期间能调整该分位数。
回到图2，数据处理设备现能执行最佳化及再解码(步骤212)。最佳化能包括对解码参数的基于机器学习的最佳化，随后通过回到步骤210使用更新后的解码参数来更新空间转录组分析结果。该循环能重复直到解码参数稳定化为止。
对解码参数的最佳化将使用评价函数(merit function)，例如FPKM/TPM相关性、空间相关性、或置信比(confidence ratio)。能在评价函数中作为变量包括的参数包括被用于移除细胞的背景的滤光片的形状(例如频率范围的开始及结束等等)、被用于锐化RNA斑点的点扩散函数的数据孔径值、在FOV的标准化中使用的分位数界限Q、位比阈值THBR、位亮度阈值THBB(或用于确定位比阈值THBR和位亮度阈值THBB的分位数)、和/或能被认为像素字匹配码字的最大距离D1max。
该评价函数可有效地为不连续函数，已知的梯度跟随(gradient following)算法不足以识别理想参数值。能使用机器学习模型来收敛参数值。
接着，数据处理设备能跨越全部FOV执行参数值的统一(unification)。由于各FOV被单独处理，各视野可能被执行了不同标准化、设阈值、及过滤设定。作为结果，高对比的图像可能产生直方图变化，该直方图变化在安静区域中导致错误标注。统一的结果是全部FOV使用相同的参数值。这能显著地移除来自安静区域中的背景噪声的标注，并能在大样本范围中提供清楚且未偏差的空间图案。
可以有很多方法来选择将跨越全部FOV使用的参数值。一个选项是简单地挑一个预先确定的FOV(例如第一个测量的FOV或接近样本中心的FOV)，并使用用于该预先确定的FOV的参数值。另一选项是对跨越多个FOV的参数值取平均，接着利用该平均值。另一个选项是确定哪个FOV导致像素字与被标记的码字之间的最佳适配。例如，在被标记码字与用于该些码字的像素字之间有最小的平均距离d(p,b1)的FOV能被确定而接着被选择。
替代地，能在空间转录组分析之前执行统一，例如在步骤208与210之间。在此情况中，将针对在步骤210之前所选的择参数(例如步骤204或206中使用的参数)执行统一，但不会针对步骤210及212中的参数执行。
现在，数据处理设备能执行拼接及分区(segmentation)(步骤214)。拼接将多个FOV合并成单一图像。能利用各种技术执行拼接。参看图9，一种做法是，对于将在一起形成样本的合并图像的FOV的每一行以及对于该行内的各FOV，确定各FOV的水平位移。一旦计算了水平位移，对于FOV的各行计算垂直位移。能基于交互相关性(例如相位相关性)来计算水平及垂直位移。有了用于各FOV的水平及垂直位移，能生成单一合并图像，并能基于水平及垂直位移将基因坐标转移至合并图像。
能添加在合并荧光图像中的特定坐标处(如从FOV中的坐标及该FOV的水平及垂直位移所确定)表达了基因的指示，例如作为元数据。该指示能被称为“标注(callout)”。
染色图像(例如DAPI图像)能利用针对图9讨论的技术来拼接在一起以产生合并染色图像。在一些实施方式中，不需要从所收集的荧光图像产生合并荧光图像；一旦确定了用于各FOV的水平及垂直位移，就能计算在合并染色图像内的基因坐标。染色图像能与(多个)收集的荧光图像配准。能添加在合并染色图像中的特定坐标处(如从FOV中的坐标及该FOV的水平及垂直位移所确定)表达了基因的指示，例如作为元数据，以提供标注。
拼接的图像中仍存在潜在问题。具体而言，重叠区域中可能有一些基因被重复计数。为了移除重复计数，能计算在被标记为表达了基因的各像素与被标记为表达了相同基因的其他附近像素之间的距离(例如欧式距离)。若该距离在阈值之下，其中一个标注能被移除。若一个像素群集被标记为表达了基因，能使用更复杂的技术。
能利用各种已知技术来执行将合并图像(例如染色细胞的图像)分割成为对应于多个细胞的多个区域。分区通常是在图像拼接之后执行，但能发生在标注被添加至合并图像之前或之后。
现在，具有指示出基因表达位置的标注的分区图像能被储存并呈现给使用者(例如在视觉显示器上)以供分析。
尽管以上讨论假设各FOV中使用单一z轴图像，但这并不是必要的。来自不同z轴位置的图像能被分别地处理；实际上，不同z轴位置提供一组新的FOV。
如上述，一个问题在于数据处理(包括图像处理步骤)计算要求高且可能需要大量时间的。一个议题是，已知技术中全部的图像是在图像处理起始前获得的。然而，随着接收图像的同时执行即时图像处理是可能的。
图10图示一种修改的数据处理方法，其中图像处理被即时执行。未被特定讨论的步骤能以类似图2的方法的方式来执行。最初，数据处理系统能接收支持文件(步骤202a)，虽然此步骤可以延后到图像获取之后。对某些文件而言(例如数据纲目)可能需要被载入数据处理系统以用于将执行的图像处理。
设备开始获取新图像的处理(步骤202b)，例如逐步通过循环来调整z轴、颜色通道、横向位置、及试剂，并获取用于这些参数的各个可能数值组合的图像。
随着各图像的获取，执行品质管控(QC)测试以确定是否图像具有足够的品质以被预处理(步骤203)，若是，则执行对被获取图像的即时预处理(步骤252)。在此前后文中，“即时”指示出对图像的处理是和对后续图像的获取是并行执行的。即时预处理能包括移除实验性伪影(步骤204)及RNA图像斑点锐化(步骤206)。可注意到，由于这些图像预处理步骤是针对各图像个别地执行，且不依赖相同FOV中的其他图像或其他FOV的图像，这种方式中的移动处理步骤不会不利地影响处理品质。一般，大量运算负荷能被转移至当改变试剂的时候。因此，从载入样本至流通池中到接收具有标注的分区图像的整体时间被显著地缩短，此能显著地改善产出量及加速研究。
在一些实施方式中，图像被“即时”预处理，也就是对图像的处理是平行于设备对后续的图像的收集来执行的，且在数据处理系统处接收到后续的图像之前完成。
本说明书在相关于系统及计算机程序组件上利用“经配置”一词。对于具有将被配置以执行特定操作或动作的一个或多个计算机的系统而言，表示该系统已在其上安装软件、固件、硬件、或以上的组合，该软件、固件、硬件、或其组合在运作中致使系统执行这些操作或动作。对于将被配置以执行特定操作或动作的一个或多个计算机程序而言，其表示一个或多个程序包括指令，当这些指令被数据处理设备执行时致使设备执行这些操作或动作。
本说明书中所述的主题的实施方式与功能性操作能被实施在数字电子电路系统中、在有形地实现的计算机软件或固件中、在计算机硬件(包括本说明书中所公开的结构与其结构等效物)中、或在以上的一者或多者的组合中。本说明书中所述主题的实施方式能被实施成一个或多个计算机程序，即计算机程序指令的一个或多个模块，这些指令被编码在有形的非暂时性储存介质上，以用于被数据处理设备执行(或控制数据处理设备的操作)。计算机储存介质可以是机器可读取储存装置、机器可读取储存基板、随机或串行存取存储器装置、或以上的一者或多者的组合。替代地或额外地，这些程序指令能被编码在人工产生的传播信号上，例如机器产生的电性、光学、或电磁信号，该信号被产生以将信息编码，以用于传输至适当的接收器设备，供数据处理设备执行。
“数据处理设备”一词指的是数据处理硬件，并覆盖用于处理数据的全部种类的设备、装置、及机器，包括(例如)可编程处理器、计算机、或多个处理器或计算机。该设备也可能是(或进一步包括)特殊用途逻辑电路系统，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件，该设备能可选择地包括创建用于计算机程序的执行环境的代码，例如构成固件、协议栈、数据库管理系统、操作系统、或以上的一者或多者的组合的代码。
计算机程序(也可称为或描述为程序、软件、软件应用、应用、模块、软件模块、脚本(script)、或代码)能以任何形式的程序语言写成，包括编译语言或解释语言，或声明性或过程性语言；且计算机程序能以任何形式部署，包括做为独立程序或作为模块、组件、子程序、或其他适合用于计算环境中的单元。程序可(但不一定)对应于文件系统中的一个文件。程序能被储存在保存有其他程序或数据的文件的一部分中(例如储存在标记语言文件中存的一个或多个描述档中)，能被储存在专属于所讨论程序的单一文件中，或能存储在多个协作文件中(例如储存一个或多个模块、次程序、或部分代码的多个文件)。计算机程序能被部署以在一个计算机或多个计算机上执行，该多个计算机位于一个地点处或跨越多个地点分散并由数据通信网络互连。
本说明书中所述程序及逻辑流程能由执行一个或多个计算机程序的一个或多个可编程计算机所执行，以通过在输入数据上操作并产生输出来执行功能。这些程序及逻辑流程也能由特殊用途逻辑电路系统执行，例如FPGA或ASIC，或通过特殊用途逻辑电路系统与一个或多个被编程的计算机的组合执行。
适合用于计算机程序的执行的计算机可以基于一般用途微处理器或特殊用途微处理器或上述两者，或者基于任何其他种类的中央处理单元。一般，中央处理单元将从只读存储器或随机存取存储器或上述两者来接收指令及数据。计算机的基本元件是用于执行指令的中央处理单元与用于储存指令及数据的一个或多个存储器装置。中央处理单元及存储器能补充有(或并入)特殊用途逻辑电路系统。一般，计算机也将包括或可操作地耦合至用于储存数据的一个或多个大容量储存装置，例如磁性、磁光学盘片、光学盘片，以从大容量储存装置接收数据或传输数据至大容量储存装置。然而，计算机不必然具有此类装置。
适合用于储存计算机程序指令及数据的计算机可读取介质包括所有形式的非易失性存储器、介质和存储器装置，包括例如半导体存储器装置(例如EPROM、EEPROM、及闪存装置)；磁盘(例如内部硬盘或可移除式盘片)；磁性光盘；及CD-ROM和DVD-ROM盘片。
为了提供与使用者的，本说明书中所述主题的实施方式能被实施在计算机上，该计算机具有用于对使用者显示信息的显示装置(例如CRT(阴极射线管)或LCD(液晶显示器)监视器)、及使用者能用于向计算机提供输入的键盘和指向装置(例如鼠标或轨迹球)。也能使用其他种类的装置来提供与使用者的互动；例如，提供给使用者的反馈可以是任意形式的感觉反馈，例如视觉反馈、听觉反馈、或触觉反馈；且来自使用者的输入能以任何形式接收，包括声音、口述、或触觉输入。此外，计算机能通过发送文件至使用者使用的装置或从该装置接收文件来与该使用者互动；例如，通过响应于从使用者的装置上的网页浏览器接收的请求，而向该网页浏览器发送网页。另外，计算机能通过向个人装置(例如正运行消息传递应用程序的智能手机)发送文字信息或其他形式的信息来与使用者互动，并从该使用者接收回复性信息作为回报。
用于实施机器学习模型的数据处理设备也能包括(例如)特殊用途硬件加速器单元，其用于处理机器学习训练或生产(即推理)工作量上共同的且计算密集的部分。
能利用机器学习架构来实施及部署机器学习模型，该机器学习架构例如TensorFlow架构、Microsoft Cognitive Toolkit架构、Apache Singa架构、或ApacheMXNet架构。
本说明书中所述主题的实施方式能被实施在包括后端组件(例如数据服务器)、或包括中介软件(middleware)组件(例如应用服务器)、或包括前端组件(例如客户端计算机，该客户端计算机具有图形化使用者界面、网页浏览器、或app，使用者通过图形化使用者界面、网页浏览缉或app能与本说明书中所述主题的实施互动)、或者此类后端、中介软件、或前端组件中一者或多者的任意组合的计算系统中。系统的组件能由任何形式的数字数据通信或其介质所互连，例如通信网络。通信网络的示例包括局域网络(LAN)及广域网络(WAN)，例如互联网络。
尽管本说明书包含许多特定的实施方式细节，这些不应被解读为对任何发明的范围或对所要求保护的内容的范围的限制，却应被认为是对特定于某些发明的某些实施方式的特征的描述。本说明书中在不同实施方式的情境中说明的特定特征也能结合在单一实施方式中而实施。相反地，在单一实施方式的情境中说明的每个不同特征也能被独立地实施在多个实施方式中或在任何适当的子组合中。此外，虽然上文可能将特征描述为以特定组合来动作且甚至一开始就被声明为如此，但来自一个要求保护的组合的一个或多个特征在某些情况中能从该组合中去除，且要求保护的组合可涉及子组合或是子组合的变型。
类似地，尽管在附图中描绘并记载于权利要求书中的操作有特定顺序，这不应被理解为要实现所期望的效果，就必须要求这些操作必须以所图示的特定顺序或循序地执行，或者全部所描绘的操作必须被执行。在某些情况中，多任务处理及平行处理可能是有益的。此外，上述实施方式中各个不同系统模块及组件的区分不应被理解为在全部实施方式中均必须有此种区分，并应理解所述程序组件及系统一般能被一起整合在单一软件产品中或封装成为多个软件产品。
以上已说明本主题的特定实施方式。其他实施方式在随附权利要求的范围内。例如，权利要求中所记载的动作能以不同顺序执行并仍能实现所期望的结果。作为一个示例，附图中描绘的处理不必然需要有所图式的特定顺序(或循序)以实现所期望结果。在一些情况中，多任务处理及平行处理可以是有益的。

Claims (45)

1.一种荧光原位杂化成像系统，包含：
流通池，用于容纳样本，所述样本将暴露于试剂中的荧光探针；
阀，用于控制从多个试剂来源中的一者到所述流通池的流动；
泵，用于致使流体流动通过所述流通池；
荧光显微镜，所述荧光显微镜包括可变频激发光源及相机，所述相机经定位以接收从所述样本荧光发射的光；
致动器，用于致使所述流通池和所述荧光显微镜之间的相对垂直运动；
马达，用于致使所述流通池和所述荧光显微镜之间的相对横向运动；及
控制系统，所述控制系统经配置以作为嵌套循环地执行以下步骤：
致使所述阀依次将所述流通池耦接至多个不同试剂来源，以将所述样本暴露至多个不同试剂，
对于所述多个不同试剂中的各试剂，致使所述马达依次将所述荧光显微镜相对于样本定位于多个不同视野处，
对于所述多个不同视野中的各视野，致使所述可变频激发光源依次发射多个不同波长，
对于所述多个不同波长中的各波长，致使所述致动器依次将所述荧光显微镜相对于样本定位于多个不同垂直高度处，及
对于所述多个不同垂直高度中的各垂直高度，获得位于相应所述垂直高度处的图像，相应所述垂直高度覆盖所述样本的相应所述视野，所述样本具有由相应所述波长激发的相应所述试剂的相应荧光探针。
2.根据权利要求1所述的系统，其中所述可变频激发光源包含多个激光模块，且所述控制系统经配置以依次启用所述激光模块以依次发射所述多个不同波长。
3.根据权利要求2所述的系统，其中所述控制系统包括用于控制所述阀及所述马达的计算机，以及用于控制所述激光模块和所述致动器的微控制器。
4.根据权利要求1所述的系统，包含用于在所述流通池中支撑所述样本的载物台，且其中所述马达包含一对直线致动器，所述一对直线致动器经配置以沿着一对垂直的轴来驱动所述载物台。
5.根据权利要求1所述的系统，进一步包含数据处理系统，所述数据处理系统经配置以针对所述多个不同视野中的至少两个视野的各视野并针对在所述视野的多个图像中共享的至少两个像素中的各像素，通过从码本中的多个码字识别码字来解码所述像素，所述码字为所述视野的所述多个图像中的所述像素提供与数据数值的最佳匹配。
6.一种荧光原位杂化成像及分析系统，包含：
流通池，用于容纳样本，所述样本将暴露于试剂中的荧光探针；
荧光显微镜，用于依次在多个不同成像参数组合下获得收集所述样本的多个图像；及
数据处理系统，包括
在线预处理系统，所述在线预处理系统经配置以随着所述图像被收集而从所述荧光显微镜依次接收所述图像，并执行即时图像预处理以移除所述图像的实验性伪影并提供RNA图像斑点锐化，及
离线处理系统，所述离线处理系统经配置以在所述多个图像被收集之后对具有相同视野的图像执行配准，并解码所述多个图像中的强度值以识别所表达的基因。
7.根据权利要求6所述的系统，其中所述数据处理系统经配置以针对各图像确定图像品质值，且若所述图像品质值不符合品质阈值时则从预处理中筛除所述图像。
8.根据权利要求6所述的系统，其中所述数据处理系统经配置以针对各图像确定多个图像品质值，且若所述图像品质值的任意者不符合相关联的品质阈值时则从预处理筛除所述图像。
9.一种荧光原位杂化成像系统，包含：
流通池，用于容纳样本，所述样本将被暴露至试剂中的荧光探针的一样本；
荧光显微镜，所述荧光显微镜包括：
可变频激发光源，用于照亮所述样本，
位于滤光轮上的多个发射带通滤光片，
致动器，用于旋转所述滤光轮，
相机，所述相机经定位以接收来自所述样本的、已通过所述滤光轮上的滤光片的荧光发射的光；
控制系统，所述控制系统经配置以：
致使所述可变频激发光源发出具有选定波长的光束，
致使所述致动器旋转所述滤光轮以将选定滤光片定位在所述样本与所述相机之间的光路径中，
从所述相机获得图像，及
协调所述可变频激发光源及滤光轮，使得当获得所述图像时，所述选定滤光片具有与所述荧光探针被所述选定波长激发时的发射相关联的发射带通。
10.根据权利要求9所述的系统，其中所述控制系统包含第一微控制器，用于响应于第一触发信号而致使所述致动器旋转所述滤光轮。
11.根据权利要求10所述的系统，其中所述控制系统包含第二微控制器，用于响应于第二触发信号而致使所述可变频激发光源发出具有所述选定波长的所述光束。
12.根据权利要求11所述的系统，其中所述第一微控制器经配置以产生所述第二触发信号。
13.根据权利要求12所述的系统，其中所述第二微控制器经配置以发送第三触发信号至所述相机以致使图像获取。
14.根据权利要求9所述的系统，包含分光滤光片，所述分光滤光片位于所述样本与所述相机之间的光路径中或位于所述样本与所述滤光轮之间的光路径中。
15.根据权利要求14所述的系统，其中所述分光镜是多通分光镜，所述多通分光镜对于所述荧光探针的各发射波长都具有通带。
16.根据权利要求9所述的系统，其中所述多个发射带通滤光片的各滤光片具有唯一频带且与所述可变频激发光源的唯一波长相关联。
17.根据权利要求9所述的系统，其中所述可变频激发光源经配置以利用正交于所述样本的激发光来照亮所述样本。
18.一种计算机程式产品，包含非暂时性计算机可读取介质，所述非暂时性计算机可读取介质具有指令以致使一个或多个处理器执行以下步骤：
对所述多个图像的各图像应用一个或多个滤光片并执行解卷积，来产生多个经滤波的图像；
执行所述多个经滤波的图像的配准以产生多个经配准及滤波的图像；
对于所述多个经配准及滤波的图像的至少两个像素的各像素，通过以下步骤来解码所述像素：从码本中的多个码字识别码字，所述码字为所述像素提供与所述多个经配准及滤波的图像的数据数值的最佳匹配；及
对于至少两个像素的各像素，确定关联于所述码字的基因，并储存所述像素处表达了所述基因的指示。
19.根据权利要求18所述的计算机程式产品，其中用于执行配准的所述指令包含执行以下步骤的指令：
对于所述多个经滤波的图像的各经滤波的图像：
将所述经滤波的图像分割成具有相等尺寸的多个子图像，
从所述多个子图像计算出尺寸与子图像的尺寸相等的合并图像，并因此产生多个缩小尺寸的图像，其中所述多个图像的各图像具有对应的缩小尺寸的图像，
对于所述多个缩小尺寸的图像的至少一个缩小尺寸的图像，确定变换来配准所述多个缩小尺寸的图像；
对于所述至少一个缩小尺寸的图像的各者，将针对所述缩小尺寸的图像所确定的所述变换应用于对应的所述经滤波图像，来产生经变换图像，所述经变换图像具有的尺寸等于所述初始图像的尺寸，且因此产生多个经变换图像。
20.根据权利要求18所述的计算机程式产品，进一步包含执行以下步骤的指令：对于所述多个图像的各图像，将高于阈值的亮度值设定至最大亮度值，并基于所述最大值将低于所述阈值的其余亮度值进行缩放。
21.根据权利要求18所述的计算机程式产品，进一步包含执行以下步骤的指令：对于所述多个图像的各图像，执行平场和/或色差校正。
22.一种计算机程式产品，包含非暂时性计算机可读取介质，所述非暂时性计算机可读取介质具有指令以致使一个或多个处理器执行以下步骤：
接收样本的多个初始图像，所述多个初始图像共享共同视野；
对于所述多个初始图像的各初始图像：
将所述初始图像分割成具有相等尺寸的多个子图像，
从所述多个子图像计算出尺寸等于子图像的尺寸的合并图像，且因此产生多个缩小尺寸的图像，其中所述多个图像的各图像具有对应的缩小尺寸的图像，
对于所述多个缩小尺寸的图像的至少一个缩小尺寸的图像，确定变换来配准所述多个缩小尺寸的图像；
对于所述至少一个缩小尺寸的图像的各者，对将针对所述缩小尺寸的图像所确定的所述变换应用于对应的所述初始图像，来产生经变换图像，所述经变换图像具有的尺寸等于所述初始图像的尺寸，且因此产生多个经变换图像；及
对于所述多个经变换图像的至少两个像素的各像素，通过以下步骤来解码所述像素：从码本中的多个码字识别码字，所述码字为所述像素提供与所述多个经变换图像中的数据数值的最佳匹配；及
对于至少两个像素的各像素，确定关联于所述码字的基因，并储存所述像素处表达了所述基因的指示。
23.根据权利要求22所述的计算机程式产品，其中用于计算所述合并图像的所述指令包含执行以下步骤的指令：以不同相位偏移量来对所述缩小尺寸的图像进行相移，以产生经相位偏移的缩小尺寸的图像。
24.根据权利要求23所述的计算机程式产品，其中用于计算所述合并图像的所述指令包含执行以下步骤的指令：对所述相移缩小尺寸的图像求和，以产生复合图像。
25.根据权利要求24所述的计算机程式产品，其中用于计算所述合并图像的所述指令包含执行以下步骤的指令：对所述复合图像的实部与虚部求和，以形成所述合并图像。
26.一种计算机程式产品，包含非暂时性计算机可读取介质，所述非暂时性计算机可读取介质具有指令以致使一个或多个处理器执行以下步骤：
接收样本的多个图像，所述多个图像代表共同视野；
执行所述多个图像的配准以产生多个经配准图像；
对于所述经配准图像的多个像素的各像素，通过下步骤来解码所述像素：从码本中的多个码字识别码字，所述码字为所述像素提供与所述多个经配准图像中的数据数值的最佳匹配；及
对于针对一个或多个像素被识别为最佳匹配的各码字以及对于所述一个或多个像素的各像素，确定针对所述像素的图像字的位比是否符合用于所述码字的阈值，所述图像字是从针对所述像素的所述多个经配准图像中的所述数据数值形成的；及
对于被确定为符合所述阈值的至少一个像素，确定关联于所述码字的基因，并储存所述像素处表达了所述基因的指示，并筛除位比不符合所述阈值的像素。
27.根据权利要求26所述的计算机程式产品，其中所述码字包含码值序列且所述图像字包含数据数值序列，其中所述序列中的各数据数值具有在所述码值序列中的对应码值。
28.根据权利要求27所述的计算机程式产品，其中用于确定所述位比的所述指令包含执行以下步骤的指令：确定所述码字中哪些码值指示开启状态及所述码字中哪些码值指示“关闭”状态。
29.根据权利要求28所述的计算机程式产品，其中用于确定所述位比的所述指令包含执行以下步骤的指令：确定所述图像字中的、对应于所述码字中指示开启状态的码值的数据数值的第一平均。
30.根据权利要求29所述的计算机程式产品，其中用于确定所述位比的所述指令包含执行以下步骤的指令：确定所述图像字中的、对应于所述码字中指示关闭状态的码值的数据数值的第二平均。
31.根据权利要求30所述的计算机程式产品，其中用于确定所述位比的所述指令包含执行以下步骤的指令：将所述第一平均除以所述第二平均的指令。
32.一种计算机程式产品，包含非暂时性计算机可读取介质，所述非暂时性计算机可读取介质具有指令以致使一个或多个处理器执行以下步骤：
接收样本的多个图像，所述多个图像代表共同视野；
执行所述多个图像的配准以产生多个经配准图像；
对于所述经配准图像的多个像素的各像素，通过下步骤来解码所述像素：从码本中的多个码字识别码字，所述码字为所述像素提供与所述多个经配准图像中的数据数值的最佳匹配；及
对于针对一个或多个像素被识别为最佳匹配的各码字以及对于所述一个或多个像素的各像素，确定针对所述像素的图像字的位亮度是否符合用于所述码字的阈值，所述图像字是从针对所述像素的所述多个经配准图像中的所述数据数值形成的；及
对于被确定为符合所述阈值的各像素，确定关联于所述码字的基因，并储存所述像素处表达了所述基因的指示，并筛除位比不符合所述阈值的像素。
33.根据权利要求32所述的计算机程式产品，其中所述码字包含码值序列且所述图像字包含数据数值序列，其中所述数值序列中的各数据数值具有在所述码值序列中的对应码值。
34.根据权利要求33所述的计算机程式产品，其中用于确定所述位亮度的所述指令包含执行以下步骤的指令：确定所述码字中哪些码值指示开启状态及所述码字中哪些码值指示关闭状态。
35.根据权利要求34所述的计算机程式产品，其中用于确定所述位亮度的所述指令包含执行以下步骤的指令：确定所述图像字中的、对应于所述码字中指示开启状态的码值的数据数值的平均。
36.根据权利要求32所述的计算机程式产品，包含用于执行以下步骤的指令：对于针对一个或多个像素被识别为最佳匹配的各码字并对于所述一个或多个像素的各像素，确定针对所述像素的图像字的位比是否符合用于所述码字的第二阈值，并筛除位比不符合所述第二阈值的像素。
37.根据权利要求36所述的计算机程式产品，包含用于执行以下步骤的指令：通过确定来自所述样本的所述多个图像的位值的直方图中位于第一分位数极限处的值来确定所述阈值，及通过确定来自所述样本的所述多个图像的位值的直方图中位于第二分位数极限的第二值来确定所述第二阈值，其中所述第二分位数极限高于所述第一分位数极限。
38.一种计算机程式产品，包含非暂时性计算机可读取介质，所述非暂时性计算机可读取介质具有指令以致使一个或多个处理器执行以下步骤：
接收样本的多个初始图像，所述多个初始图像包括多个不同视野的各视野的多重图像；
储存指令，以执行图像处理算法，在所述图像处理算法中包括对所述视野的所述多重图像进行图像滤波或对所述视野的所述多重图像进行的配准中的一者或多者；
对于各视野，确定一个或多个初始参数值，其中不同视野具有不同初始参数值；
利用用于所述不同视野的所述不同初始解码参数值，对各视野执行所述图像处理算法；
确定一个或多个后续解码参数值；及
利用用于所述不同视野的相同后续参数值，对各视野执行所述图像处理算法及解码算法，以产生空间转录组数据集合。
39.根据权利要求38所述的计算机程式产品，其中用于确定所述一个或多个后续参数值的指令包括执行以下步骤的指令：基于用于各视野的所述一个或多个初始参数值的至少一者来确定所述一个或多个后续参数值。
40.根据权利要求38所述的计算机程式产品，包含执行以下步骤的指令：从多个平均拟合优度确定最佳平均拟合优度，且其中用于确定所述一个或多个后续参数值的指令包含执行以下步骤的指令：从关联于所述最佳平均拟合优度的视野的所述初始编码参数选择一个或多个解码参数。
41.根据权利要求38所述的计算机程式产品，包含执行以下步骤的指令：在视野阵列中选择位于预定位置的视野，其中用于确定所述一个或多个后续解码参数值的指令包含执行以下步骤的指令：从所述预定位置处的所述视野的所述初始编码参数选择一个或多个解码参数。
42.根据权利要求38所述的计算机程式产品，其中用于确定所述一个或多个后续解码参数值的指令包含执行以下步骤的指令：平均来自所述多个视野的解码参数。
43.一种计算机程式产品，包含非暂时性计算机可读取介质，所述非暂时性计算机可读取介质具有指令以致使一个或多个处理器执行以下步骤：
接收样本的多个初始图像，所述多个初始图像包括用于多个不同视野的各视野的多重图像；
对于各视野，基于所述视野的所述多重图像产生空间转录组数据集合，各空间转录组数据集合包括一个或多个数据对，所述一个或多个数据对的各数据对包括位置及用于该位置的表达基因；
确定来自邻接视野的多重图像的重叠区域；及
从各视野的所述空间转录组数据集合，产生用于覆盖所述多个不同视野的合并图像的空间转录组数据的合并集合，其中用于产生所述空间转录组数据和合并集合的指令包括执行以下步骤的指令：在重叠区域中筛除来自不同视野的至少一个被计数两次的数据对，所述至少一个被计数两次的数据对代表在所述样本内的相同位置处的相同表达基因。
44.根据权利要求43所述的计算机程式产品，其中用于筛除的指令包括执行以下步骤的指令：确定在相同基因的表达位置之间的距离，及确定所述距离是否低于阈值。
45.一种计算机程式产品，包含非暂时性计算机可读取介质，所述非暂时性计算机可读取介质具有指令以致使一个或多个处理器执行以下步骤：
接收样本的多个图像，所述多个图像包括多个视野的各视野的多重图像；
在所述多个图像的各图像上，在所述图像上执行图像品质检查；
在执行所述图像品质检查之后，在所述多个图像的各图像上，从所述图像移除伪影；
在移除伪影之后，在所述多个图像的各图像上，锐化所述图像中的图像斑点；
在锐化所述图像斑点之后，对于各多重图像，执行所述多重图像的配准以产生经配准图像；及
在执行配准之后，对于各多重图像，对于相应多重的所述经配准图像的多个像素的各像素，通过以下步骤来解码所述像素：从码本中的多个码字识别码字，所述码字为所述像素提供与相应多重所述经配准图像中的数据数值的最佳匹配。
CN202080088654.8A 2019-12-17 2020-12-16 用于多重荧光原位杂化图像的获取及处理的系统及方法 Pending CN114868010A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962949391P 2019-12-17 2019-12-17
US62/949,391 2019-12-17
PCT/US2020/065371 WO2021127019A1 (en) 2019-12-17 2020-12-16 System and method for acquisition and processing of multiplexed fluorescence in-situ hybridization images

Publications (1)

Publication Number Publication Date
CN114868010A true CN114868010A (zh) 2022-08-05

Family

ID=76316250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080088654.8A Pending CN114868010A (zh) 2019-12-17 2020-12-16 用于多重荧光原位杂化图像的获取及处理的系统及方法

Country Status (7)

Country Link
US (5) US11630067B2 (zh)
EP (1) EP4078151A4 (zh)
JP (1) JP7420950B2 (zh)
KR (1) KR20220110589A (zh)
CN (1) CN114868010A (zh)
TW (2) TWI782368B (zh)
WO (1) WO2021127019A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116798523A (zh) * 2023-06-01 2023-09-22 南京金域医学检验所有限公司 一种抗中性粒细胞胞浆抗体的图谱识别判定系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928403B2 (en) * 2016-02-09 2018-03-27 Molecular Devices, Llc System and method for image analysis of multi-dimensional data
EP3644044B1 (en) * 2018-10-24 2020-12-23 Leica Biosystems Imaging, Inc. Camera exposure control when acquiring fluorescence in situ hybridization images
JP7280107B2 (ja) * 2019-05-10 2023-05-23 株式会社エビデント 画像処理方法、プログラム、画像処理装置、画像処理システム、及び、顕微鏡システム
WO2021127019A1 (en) 2019-12-17 2021-06-24 Applied Materials, Inc. System and method for acquisition and processing of multiplexed fluorescence in-situ hybridization images
US20220083832A1 (en) 2020-09-16 2022-03-17 10X Genomics, Inc. Methods and systems for barcode-assisted image registration and alignment
JP7554083B2 (ja) * 2020-09-18 2024-09-19 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、画像処理装置および撮像装置
DE102021115588A1 (de) * 2021-06-16 2022-12-22 Carl Zeiss Meditec Ag Multi-task-lernen von weisslichtaufnahmen für ein operationsmikroskop
DE112021008418T5 (de) * 2021-11-02 2024-08-22 Leica Microsystems Cms Gmbh Verfahren zur Bereitstellung von Positionsinformationen zum Auffinden einer Zielposition in einer mikroskopischen Probe, Verfahren zur Untersuchung und/oder Verarbeitung einer solchen Zielposition und Mittel zur Durchführung dieser Verfahren
WO2023108139A2 (en) 2021-12-10 2023-06-15 10X Genomics, Inc. Multi-resolution in situ decoding
WO2023172915A1 (en) 2022-03-08 2023-09-14 10X Genomics, Inc. In situ code design methods for minimizing optical crowding
WO2023192302A1 (en) 2022-03-29 2023-10-05 10X Genomics, Inc. Spectral unmixing combined with decoding for super-multiplexed in situ analysis
KR102483745B1 (ko) * 2022-04-06 2023-01-04 주식회사 포트래이 공간전사체정보 분석장치 및 이를 이용한 분석방법
CN115602245B (zh) * 2022-09-09 2023-10-03 郑州思昆生物工程有限公司 一种荧光图筛选的方法、装置、设备以及存储介质

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3224860B2 (ja) 1992-06-19 2001-11-05 ポーラ化成工業株式会社 顕微鏡画像評価システム
US6007994A (en) * 1995-12-22 1999-12-28 Yale University Multiparametric fluorescence in situ hybridization
US5827660A (en) * 1996-08-09 1998-10-27 University Of Massachusetts Caged fluorochrome-labeled probes and subtraction of autoflourescence background
US6404906B2 (en) 1997-03-03 2002-06-11 Bacus Research Laboratories,Inc. Method and apparatus for acquiring and reconstructing magnified specimen images from a computer-controlled microscope
US5880473A (en) * 1997-07-28 1999-03-09 Applied Imaging, Inc. Multifluor-fluorescence in-situ hybridization (M-FISH) imaging techniques using multiple multiband filters with image registration
US5834203A (en) * 1997-08-25 1998-11-10 Applied Spectral Imaging Method for classification of pixels into groups according to their spectra using a plurality of wide band filters and hardwire therefore
US6900435B1 (en) * 1999-02-14 2005-05-31 Nanoptics, Inc. Deconvolving far-field images using scanned probe data
US6834122B2 (en) * 2000-01-22 2004-12-21 Kairos Scientific, Inc. Visualization and processing of multidimensional data using prefiltering and sorting criteria
US6995841B2 (en) * 2001-08-28 2006-02-07 Rice University Pulsed-multiline excitation for color-blind fluorescence detection
JP2003088399A (ja) 2001-09-14 2003-03-25 Fuji Photo Film Co Ltd ハイブリダイゼーション方法および装置ならびに生化学解析用ユニット
JP3902939B2 (ja) 2001-10-26 2007-04-11 株式会社日立ハイテクノロジーズ 標本中の微小領域測定装置及び方法
JP4497923B2 (ja) 2001-12-05 2010-07-07 ザ ジェイ． デビッド グラッドストーン インスティテューツ ロボット顕微鏡検査システム
KR100437253B1 (ko) 2002-05-13 2004-06-23 학교법인 한양학원 마이크로어레이 모사 이미지 생성 시스템 및 그 방법
CA2492071A1 (en) 2002-06-18 2003-12-24 Lifespan Biosciences, Inc. Computerized image capture of structures of interest within a tissue sample
EP1556506A1 (en) 2002-09-19 2005-07-27 The Chancellor, Masters And Scholars Of The University Of Oxford Molecular arrays and single molecule detection
FR2849196B1 (fr) 2002-12-23 2006-09-15 Imstar Image Et Modelisation S Lecteur de puces de type biopuces, et procedes associes
JP4111099B2 (ja) 2003-08-21 2008-07-02 ソニー株式会社 生化学分析方法及び装置
US20050265588A1 (en) * 2004-02-03 2005-12-01 Bioimagene, Inc. Method and system for digital image based flourescent in situ hybridization (FISH) analysis
US20080232658A1 (en) * 2005-01-11 2008-09-25 Kiminobu Sugaya Interactive Multiple Gene Expression Map System
US20070031043A1 (en) 2005-08-02 2007-02-08 Perz Cynthia B System for and method of intelligently directed segmentation analysis for automated microscope systems
SG10201405158QA (en) 2006-02-24 2014-10-30 Callida Genomics Inc High throughput genome sequencing on dna arrays
US8000509B2 (en) 2006-08-04 2011-08-16 Ikonisys, Inc. Image processing method for a microscope system
US7826977B2 (en) 2006-08-25 2010-11-02 The Trustees Of Columbia University In The City Of New York Systems and methods for high-speed image scanning
US20120082978A1 (en) * 2006-09-15 2012-04-05 Linda Pilarski Cell Analysis On Microfluidic Chips
US8244021B2 (en) * 2006-12-20 2012-08-14 Ventana Medical Systems, Inc. Quantitative, multispectral image analysis of tissue specimens stained with quantum dots
CN101910399B (zh) * 2007-10-30 2015-11-25 考利达基因组股份有限公司 用于核酸高通量测序的装置
US20100034444A1 (en) * 2008-08-07 2010-02-11 Helicos Biosciences Corporation Image analysis
US8488863B2 (en) * 2008-11-06 2013-07-16 Los Alamos National Security, Llc Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials
US20100330555A1 (en) * 2009-06-25 2010-12-30 General Electric Company Accuracy fluorescence in-situ hybridization assay of samples with apoptotic cells
US10353190B2 (en) * 2009-12-30 2019-07-16 Koninklijke Philips N.V. Sensor for microscopy
JP5497587B2 (ja) 2010-03-23 2014-05-21 株式会社日立ハイテクノロジーズ マイクロ流路チップ及びマイクロアレイチップ
ES2490965T3 (es) 2011-04-29 2014-09-04 F. Hoffmann-La Roche Ag Procedimiento para la operación de una celda de trabajo para muestras automatizadas
EP2831591B1 (en) * 2012-03-30 2019-05-08 GE Healthcare Bio-Sciences Corp. Immunoflu0rescence and fluorescent-based nucleic acid analysis on a single sample
CN102719357B (zh) 2012-05-31 2014-07-09 博奥生物集团有限公司 一种实时监控微阵列芯片分析过程的杂交系统
AU2013295679A1 (en) 2012-07-25 2015-01-29 Theranos, Inc. Image analysis and measurement of biological samples
JP5663541B2 (ja) 2012-09-19 2015-02-04 株式会社日立ハイテクノロジーズ 反応容器，並列処理装置、及びシーケンサ
US9064304B2 (en) 2013-03-18 2015-06-23 General Electric Company Image quality assessment of microscopy images
US10168259B2 (en) * 2014-06-12 2019-01-01 University Of Notre Dame Microfluidic devices, systems, and methods for imaging tissue samples
US10240146B2 (en) * 2014-07-30 2019-03-26 President And Fellows Of Harvard College Probe library construction
EP3227830B8 (en) * 2014-12-03 2020-07-01 Ventana Medical Systems, Inc. Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution
US10078778B2 (en) 2015-01-15 2018-09-18 Massachusetts Institute Of Technology Systems, methods, and apparatus for in vitro single-cell identification and recovery
WO2016120440A1 (en) * 2015-01-29 2016-08-04 Ventana Medical Systems, Inc. Dot detection, color classification of dots and counting of color classified dots
WO2016120442A1 (en) * 2015-01-30 2016-08-04 Ventana Medical Systems, Inc. Foreground segmentation and nucleus ranking for scoring dual ish images
EP3252452A1 (en) * 2016-05-25 2017-12-06 The Board of Trustees of the Leland Stanford Junior University Method for imaging and analysis of a biological specimen
US10203491B2 (en) 2016-08-01 2019-02-12 Verily Life Sciences Llc Pathology data capture
SG10201609334WA (en) 2016-11-08 2018-06-28 Delta Electronics Intl Singapore Pte Ltd Multi-Channel Fluorescence Detection Device
EP4339956A3 (en) 2016-11-08 2024-06-19 President and Fellows of Harvard College Multiplexed imaging using merfish, expansion microscopy, and related technologies
JP6968177B2 (ja) * 2016-12-22 2021-11-17 ベンタナ メディカル システムズ， インコーポレイテッド 一次染色および免疫組織化学画像に基づくコンピュータ採点
US10573003B2 (en) 2017-02-13 2020-02-25 Amit Sethi Systems and methods for computational pathology using points-of-interest
CN110476101B (zh) 2017-06-13 2022-02-18 谷歌有限责任公司 用于病理学的增强现实显微镜
US10417816B2 (en) * 2017-06-16 2019-09-17 Nauto, Inc. System and method for digital environment reconstruction
US11222415B2 (en) * 2018-04-26 2022-01-11 The Regents Of The University Of California Systems and methods for deep learning microscopy
WO2019219651A1 (en) * 2018-05-15 2019-11-21 Ventana Medical Systems, Inc. Quantitation of signal in stain aggregates
EP3830742A1 (en) * 2018-07-27 2021-06-09 Ventana Medical Systems, Inc. Systems for automated in situ hybridization analysis
CN112823376A (zh) * 2018-10-15 2021-05-18 文塔纳医疗系统公司 图像增强以实现改善的核检测和分割
EP3924722A1 (en) * 2019-02-13 2021-12-22 Ventana Medical Systems, Inc. Systems and methods for computing the contributions of autofluorescence in multichannel images
WO2021127019A1 (en) 2019-12-17 2021-06-24 Applied Materials, Inc. System and method for acquisition and processing of multiplexed fluorescence in-situ hybridization images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116798523A (zh) * 2023-06-01 2023-09-22 南京金域医学检验所有限公司 一种抗中性粒细胞胞浆抗体的图谱识别判定系统

Also Published As

Publication number Publication date
US20210181111A1 (en) 2021-06-17
US20210182531A1 (en) 2021-06-17
EP4078151A1 (en) 2022-10-26
US11783916B2 (en) 2023-10-10
TWI835323B (zh) 2024-03-11
US20210199584A1 (en) 2021-07-01
EP4078151A4 (en) 2024-01-03
TW202307420A (zh) 2023-02-16
US11624708B2 (en) 2023-04-11
TWI782368B (zh) 2022-11-01
JP2023507595A (ja) 2023-02-24
US20230253073A1 (en) 2023-08-10
US20210183034A1 (en) 2021-06-17
JP7420950B2 (ja) 2024-01-23
WO2021127019A1 (en) 2021-06-24
TW202138564A (zh) 2021-10-16
US11630067B2 (en) 2023-04-18
KR20220110589A (ko) 2022-08-08

Similar Documents

Publication Publication Date Title
TWI835323B (zh) 用於多工螢光原位雜合影像之獲取及處理的系統及方法
US10115013B2 (en) Method and apparatus for single-particle localization using wavelet analysis
Racine et al. Visualization and quantification of vesicle trafficking on a three‐dimensional cytoskeleton network in living cells
EP2976747B1 (en) Image quality assessment of microscopy images
WO2016120440A1 (en) Dot detection, color classification of dots and counting of color classified dots
EP3779868B1 (en) Fluorescence image registration method, gene sequencing instrument and system, and storage medium
EP2050069A2 (en) System and method for co-registering multi-channel images of a tissue micro array
JP2006520473A (ja) 多軸統合システムおよび方法
CN115457550A (zh) 病理学明场像中的自动化染色查找
Tang Computational optimisation of optical projection tomography for 3D image analysis
US20230230234A1 (en) Cell body segmentation using machine learning
US20220064718A1 (en) Alignment beads for mfish

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination