CN116287138B - 基于fish的细胞检测系统及其方法 - Google Patents

基于fish的细胞检测系统及其方法 Download PDF

Info

Publication number
CN116287138B
CN116287138B CN202310581410.9A CN202310581410A CN116287138B CN 116287138 B CN116287138 B CN 116287138B CN 202310581410 A CN202310581410 A CN 202310581410A CN 116287138 B CN116287138 B CN 116287138B
Authority
CN
China
Prior art keywords
feature
ctc
classification
matrix
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310581410.9A
Other languages
English (en)
Other versions
CN116287138A (zh
Inventor
张开山
周韵斓
郭志敏
刘艳省
赵丹
吴乐中
李超
田华
饶浪晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HANGZHOU WATSON BIOTECH Inc
Original Assignee
HANGZHOU WATSON BIOTECH Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HANGZHOU WATSON BIOTECH Inc filed Critical HANGZHOU WATSON BIOTECH Inc
Priority to CN202310581410.9A priority Critical patent/CN116287138B/zh
Publication of CN116287138A publication Critical patent/CN116287138A/zh
Application granted granted Critical
Publication of CN116287138B publication Critical patent/CN116287138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/68—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving nucleic acids
    • C12Q1/6813—Hybridisation assays
    • C12Q1/6841—In situ hybridisation
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/68—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving nucleic acids
    • C12Q1/6876—Nucleic acid products used in the analysis of nucleic acids, e.g. primers or probes
    • C12Q1/6883—Nucleic acid products used in the analysis of nucleic acids, e.g. primers or probes for diseases caused by alterations of genetic material
    • C12Q1/6886—Nucleic acid products used in the analysis of nucleic acids, e.g. primers or probes for diseases caused by alterations of genetic material for cancer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
    • G01N33/574—Immunoassay; Biospecific binding assay; Materials therefor for cancer
    • G01N33/5748—Immunoassay; Biospecific binding assay; Materials therefor for cancer involving oncogenic proteins
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
    • G01N33/574—Immunoassay; Biospecific binding assay; Materials therefor for cancer
    • G01N33/57484—Immunoassay; Biospecific binding assay; Materials therefor for cancer involving compounds serving as markers for tumor, cancer, neoplasia, e.g. cellular determinants, receptors, heat shock/stress proteins, A-protein, oligosaccharides, metabolites
    • G01N33/57492—Immunoassay; Biospecific binding assay; Materials therefor for cancer involving compounds serving as markers for tumor, cancer, neoplasia, e.g. cellular determinants, receptors, heat shock/stress proteins, A-protein, oligosaccharides, metabolites involving compounds localized on the membrane of tumor or cancer cells
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/58—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances
    • G01N33/582—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances with fluorescent label
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B30/00—ICT specially adapted for sequence analysis involving nucleotides or amino acids
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Immunology (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Biotechnology (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Biochemistry (AREA)
  • Urology & Nephrology (AREA)
  • Organic Chemistry (AREA)
  • Hematology (AREA)
  • Biophysics (AREA)
  • Oncology (AREA)
  • Cell Biology (AREA)
  • Microbiology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Zoology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Wood Science & Technology (AREA)
  • Medical Informatics (AREA)
  • Genetics & Genomics (AREA)
  • Hospice & Palliative Care (AREA)
  • Software Systems (AREA)
  • Medicinal Chemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)

Abstract

一种基于FISH的细胞检测系统及其方法，其采集外周血样本，用白细胞去除法富集CTC，以去除大部分的红细胞和白细胞得到CTC；用荧光标记的特异性探针与所述CTC中的目标DNA序列杂交，检测所述CTC中的染色体异常、基因扩增或缺失变异情况；用荧光标记的抗体与所述CTC表面的特定抗原结合，检测所述CTC中的表面EpCAM或HER2标志物；以及，用荧光显微镜观察和分析所述CTC的荧光信号和形态学特征，并根据预定的标准判定CTC的数量和类型。这样，可以准确地对于CTC细胞的类型进行检测，实现了智能化CTC细胞检测系统。

Description

基于FISH的细胞检测系统及其方法
技术领域
本申请涉及智能化检测技术领域，并且更具体地，涉及一种基于FISH的细胞检测系统及其方法。
背景技术
循环肿瘤细胞（CTC）是指从原发肿瘤中脱落并进入周围循环系统的肿瘤细胞，它们携带着原发肿瘤的遗传信息并可能导致远处转移。因此，在癌症诊断和治疗中，CTC的检测和分析变得越来越重要。传统的肿瘤检测方案中，需要通过肿瘤组织活检或者血清标志物等方式来获取肿瘤信息。然而，这些方法不仅存在创伤性较大、操作难度大等问题，而且其结果易受到生物学多样性、采集时间点和操作技术等因素的影响。
基于FISH的CTC细胞检测方案是一种利用荧光原位杂交技术对循环肿瘤细胞（CTC）进行分子分型和表型分析的方法。相比之下，基于FISH的细胞检测系统具有非常高的灵敏性和特异性，能够在很小的样本量内确定患者肿瘤的类型和个体化特征，对肿瘤的早期诊断、治疗和预后评估等领域具有重要意义。但是，这种方案也具有局限性，例如需要专业的设备和人员，检测成本较高，智能化程度较低。
因此，期望一种优化的基于FISH的细胞检测系统。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于FISH的细胞检测系统及其方法，其采集外周血样本，用白细胞去除法富集CTC，以去除大部分的红细胞和白细胞得到CTC；用荧光标记的特异性探针与所述CTC中的目标DNA序列杂交，检测所述CTC中的染色体异常、基因扩增或缺失变异情况；用荧光标记的抗体与所述CTC表面的特定抗原结合，检测所述CTC中的表面EpCAM或HER2标志物；以及，用荧光显微镜观察和分析所述CTC的荧光信号和形态学特征，并根据预定的标准判定CTC的数量和类型。这样，可以准确地对于CTC细胞的类型进行检测，实现了智能化CTC细胞检测系统。
第一方面，提供了一种基于FISH的细胞检测系统，其包括：血样本预处理模块，用于采集外周血样本，用白细胞去除法富集CTC，以去除大部分的红细胞和白细胞得到CTC；荧光标记检测模块，用于用荧光标记的特异性探针与所述CTC中的目标DNA序列杂交，检测所述CTC中的染色体异常、基因扩增或缺失变异情况；标志物检测模块，用于用荧光标记的抗体与所述CTC表面的特定抗原结合，检测所述CTC中的表面EpCAM或HER2标志物；以及CTC观察分析模块，用于用荧光显微镜观察和分析所述CTC的荧光信号和形态学特征，并根据预定的标准判定CTC的数量和类型。
在上述基于FISH的细胞检测系统中，所述CTC观察分析模块，包括：荧光信号图像采集单元，用于获取由显微镜观察到的荧光信号图像；图像预处理单元，用于对所述荧光信号图像进行图像预处理以得到预处理后荧光信号图像；空间强化特征提取单元，用于将所述预处理后荧光信号图像通过使用空间注意力机制的卷积神经网络模型以得到荧光信号空间强化特征矩阵；矩阵分块单元，用于对所述荧光信号空间强化特征矩阵进行矩阵分块处理以得到局部特征矩阵的序列；图像全局语义关联特征编码单元，用于将所述局部特征矩阵的序列通过包含嵌入层的ViT模型以得到分类特征向量；特征优化单元，用于对所述分类特征向量进行特征分布优化以得到优化分类特征向量；以及，CTC细胞类型检测单元，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示被观察到的CTC细胞的类型标签。
在上述基于FISH的细胞检测系统中，所述空间强化特征提取单元，用于：所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得特征矩阵；其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述荧光信号空间强化特征矩阵。
在上述基于FISH的细胞检测系统中，所述图像全局语义关联特征编码单元，包括：嵌入化子单元，用于使用所述ViT模型的嵌入层对所述局部特征矩阵的序列中的各个图像块进行向量嵌入化以得到局部特征向量的序列；以及，编码子单元，用于将所述局部特征向量的序列输入所述ViT模型的转换器以得到所述分类特征向量。
在上述基于FISH的细胞检测系统中，所述特征优化单元，用于：以如下优化公式对所述分类特征向量进行特征分布优化以得到所述优化分类特征向量；其中，所述优化公式为：， 其中， />是所述分类特征向量的第/>个位置的特征值，/>和/>是所述分类特征向量的各个位置特征值集合的均值和标准差，且/>是所述优化分类特征向量的第/>个位置的特征值。
在上述基于FISH的细胞检测系统中，所述CTC细胞类型检测单元，包括：全连接编码子单元，用于使用所述分类器的多个全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类子单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
第二方面，提供了一种基于FISH的细胞检测方法，其包括：采集外周血样本，用白细胞去除法富集CTC，以去除大部分的红细胞和白细胞得到CTC；用荧光标记的特异性探针与所述CTC中的目标DNA序列杂交，检测所述CTC中的染色体异常、基因扩增或缺失变异情况；用荧光标记的抗体与所述CTC表面的特定抗原结合，检测所述CTC中的表面EpCAM或HER2标志物；以及用荧光显微镜观察和分析所述CTC的荧光信号和形态学特征，并根据预定的标准判定CTC的数量和类型。
在上述基于FISH的细胞检测方法中，用荧光显微镜观察和分析所述CTC的荧光信号和形态学特征，并根据预定的标准判定CTC的数量和类型，包括：获取由显微镜观察到的荧光信号图像；对所述荧光信号图像进行图像预处理以得到预处理后荧光信号图像；将所述预处理后荧光信号图像通过使用空间注意力机制的卷积神经网络模型以得到荧光信号空间强化特征矩阵；对所述荧光信号空间强化特征矩阵进行矩阵分块处理以得到局部特征矩阵的序列；将所述局部特征矩阵的序列通过包含嵌入层的ViT模型以得到分类特征向量；对所述分类特征向量进行特征分布优化以得到优化分类特征向量；以及，将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示被观察到的CTC细胞的类型标签。
在上述基于FISH的细胞检测方法中，将所述预处理后荧光信号图像通过使用空间注意力机制的卷积神经网络模型以得到荧光信号空间强化特征矩阵，包括：所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得特征矩阵；其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述荧光信号空间强化特征矩阵。
在上述基于FISH的细胞检测方法中，将所述局部特征矩阵的序列通过包含嵌入层的ViT模型以得到分类特征向量，包括：使用所述ViT模型的嵌入层对所述局部特征矩阵的序列中的各个图像块进行向量嵌入化以得到局部特征向量的序列；以及，将所述局部特征向量的序列输入所述ViT模型的转换器以得到所述分类特征向量。
与现有技术相比，本申请提供的基于FISH的细胞检测系统及其方法，其采集外周血样本，用白细胞去除法富集CTC，以去除大部分的红细胞和白细胞得到CTC；用荧光标记的特异性探针与所述CTC中的目标DNA序列杂交，检测所述CTC中的染色体异常、基因扩增或缺失变异情况；用荧光标记的抗体与所述CTC表面的特定抗原结合，检测所述CTC中的表面EpCAM或HER2标志物；以及，用荧光显微镜观察和分析所述CTC的荧光信号和形态学特征，并根据预定的标准判定CTC的数量和类型。这样，可以准确地对于CTC细胞的类型进行检测，实现了智能化CTC细胞检测系统。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本申请实施例的基于FISH的细胞检测系统的应用场景图。
图2为根据本申请实施例的基于FISH的细胞检测系统的框图。
图3为根据本申请实施例的基于FISH的细胞检测系统中所述CTC观察分析模块的框图。
图4为根据本申请实施例的基于FISH的细胞检测系统中所述图像全局语义关联特征编码单元的框图。
图5为根据本申请实施例的基于FISH的细胞检测系统中所述CTC细胞类型检测单元的框图。
图6为根据本申请实施例的基于FISH的细胞检测方法的流程图。
图7为根据本申请实施例的基于FISH的细胞检测方法的系统架构的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
如上所述，基于FISH的细胞检测系统具有非常高的灵敏性和特异性，能够在很小的样本量内确定患者肿瘤的类型和个体化特征，对肿瘤的早期诊断、治疗和预后评估等领域具有重要意义。但是，这种方案也具有局限性，例如需要专业的设备和人员，检测成本较高，智能化程度较低。因此，期望一种优化的基于FISH的细胞检测系统。
具体地，在本申请的技术方案中，提出了一种基于FISH的细胞检测系统，其包括：采集外周血样本，用白细胞去除法富集CTC，以去除大部分的红细胞和白细胞得到CTC；用荧光标记的特异性探针与所述CTC中的目标DNA序列杂交，检测所述CTC中的染色体异常、基因扩增或缺失变异情况；用荧光标记的抗体与所述CTC表面的特定抗原结合，检测所述CTC中的表面EpCAM或HER2标志物；用荧光显微镜观察和分析所述CTC的荧光信号和形态学特征，并根据预定的标准判定CTC的数量和类型。应可以理解，该方案可以在CTC富集后，对CTC的基因组变异、表面标志物和形态学特征进行综合评价，为肿瘤诊断、预后和个体化治疗提供有价值的信息。
相应地，考虑到在实际使用荧光显微镜进行CTC的荧光信号和形态学特征观察和分析时，为了保证CTC类型检测的精准度，关键在于对显微镜观察到的荧光信号图像进行充分且准确地分析，以提取出图像中关于CTC的特征分布信息。但是，由于所述荧光信号图像中存在有大量的信息量，而关于CTC的特征信息在图像中为隐含的小尺度特征信息，难以通过传统的方式进行聚焦和特征刻画，导致对于CTC类型检测的精准度较低。因此，在此过程中，难点在于如何进行所述荧光信号图像中关于CTC的隐含特征分布信息的充分表达，以此来对于CTC细胞的类型进行检测，实现了智能化CTC细胞检测系统。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘煤所述荧光信号图像中关于CTC的隐含特征分布信息提供了新的解决思路和方案。
具体地，在本申请的技术方案中，首先，获取由显微镜观察到的荧光信号图像。应可以理解，由于荧光信号图像可能存在噪声、亮度不均匀等干扰因素，这些问题可能会影响后续的图像特征提取和细胞识别的准确性。因此需要进行图像预处理来消除这些影响因子，以增强图像特征、减少误差，从而提高系统检测和识别的精度和鲁棒性。因此，在本申请的技术方案中，对所述荧光信号图像进行图像预处理以得到预处理后荧光信号图像，以提高该图像数据的质量和可用性，以便后续的图片处理和分析。特别地，在本申请的一个具体示例中，所述图像预处理方法包括均衡化对比度、降噪滤波、边缘增强、色彩校正等，通过预处理后的图像可以得到更加清晰、准确的荧光信号图像，为后续分析和应用提供更好的基础条件。
然后，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述预处理后荧光信号图像的特征提取，特别地，考虑到在进行所述CTC细胞类型检测过程中，应更加关注于空间位置上关于CTC细胞的隐含特征信息而忽略与CTC检测无关的背景干扰特征。鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变。因此，在本申请的技术方案中，将所述预处理后荧光信号图像通过使用空间注意力机制的卷积神经网络模型中进行处理，以提取出所述预处理后荧光信号图像中聚焦于空间上的关于所述CTC细胞的隐含特征分布信息，从而得到荧光信号空间强化特征矩阵。值得一提的是，这里，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，以此来提取出空间上聚焦于CTC细胞的形态学特征信息。
接着，考虑到由于所述荧光信号图像中关于CTC细胞的隐含特征为小尺度的细微特征，为了能够提高所述荧光信号图像中关于CTC细胞特征的表达能力，以此来提高对于CTC细胞类型检测的精准度，在本申请的技术方案中，进一步对所述荧光信号空间强化特征矩阵进行矩阵分块处理以得到局部特征矩阵的序列。应可以理解，所述局部特征矩阵的序列中的各个局部特征矩阵的尺度相较于所述荧光信号空间强化特征矩阵被缩减，因此，所述CTC细胞的隐含特征分布信息在各个所述局部特征矩阵中不再是小尺寸对象，以便于更准确地进行CTC细胞的特征刻画和类型检测。
进一步地，考虑到由于卷积运算的固有局限性，纯CNN的方法很难学习明确的全局和远程语义信息交互。因此，为了能够进一步提高所述CTC细胞的隐含特征的表达能力，以此来提高对于CTC细胞类型检测的精准度，在本申请的技术方案中，将所述局部特征矩阵的序列通过包含嵌入层的ViT模型中进行编码，以提取出所述局部特征矩阵的序列的各个局部特征矩阵中关于CTC细胞的基于所述荧光信号空间强化特征矩阵全局的隐含上下文语义关联特征分布信息，从而得到时域语义关联特征向量。特别地，这里，所述嵌入层通过可学习嵌入矩阵将所述各个局部特征矩阵线性投影为一维嵌入向量。并且，这里，所述ViT模型可以像Transformer一样直接通过自注意机制处理所述各个局部特征矩阵，以此来分别提取出所述各个局部特征矩阵中基于所述荧光信号空间强化特征矩阵整体的关于所述CTC细胞的隐含上下文语义关联特征信息。
然后，再将所述分类特征向量通过分类器中进行分类处理，以得到用于表示被观察到的CTC细胞的类型标签的分类结果。也就是，在本申请的技术方案中，所述分类器的标签为CTC细胞的类型标签，其中，所述分类器通过软最大值函数来确定所述分类特征向量属于哪个分类标签。因此，在得到所述分类结果后，可基于所述分类结果来对于CTC细胞的类型进行检测。
特别地，在本申请的技术方案中，由于所述荧光信号空间强化特征矩阵表达荧光信号图像的空间强化的图像语义特征，因此进行矩阵分块处理后得到的所述局部特征矩阵的序列中的各个局部特征矩阵由于源图像的各个部分之间的图像语义差异而存在图像特征语义差异，尽管通过ViT模型进行了各个局部图像特征语义的上下文关联编码，但是仍然无法消除所述ViT模型得到的各个上下文局部特征向量之间的特征分布的显式差异，从而导致所述各个上下文局部特征向量直接级联得到的所述分类特征向量的整体特征分布的规则化程度较低，从而影响所述分类特征向量通过分类器得到的分类结果的准确性。
基于此，本申请的申请人对所述分类特征向量，例如记为进行流形曲面的高斯概率密度参数二次正则化，具体表示为：/>，其中/>和/>是特征值集合/> 的均值和标准差，且/>是优化后的分类特征向量/>的第/>个位置的特征值。
具体地，为了解决所述分类特征向量的特征集合的高维特征分布在特征域叠加的高维特征空间内的分布不规则化的问题，通过特征值针对分类器的类概率分布的高斯概率密度参数的似然性进行所述分类特征向量/>的各个特征值的二次正则化，来将基于目标回归概率的高斯概率密度参数的参数空间内的等距离分布进行特征值的平滑约束，以获得高维特征的流形曲面表达的原始概率密度似然函数在参数空间内的规则化重整，从而提升优化后的分类特征向量/>的特征分布的规则性，以提升优化后的所述分类特征向量通过分类器得到的分类结果的准确性。这样，能够准确地对于CTC细胞的类型进行检测，实现了智能化CTC细胞检测系统。
图1为根据本申请实施例的基于FISH的细胞检测系统的应用场景图。如图1所示，在该应用场景中，首先，获取由显微镜（例如，如图1中所示意的M）观察到的荧光信号图像（例如，如图1中所示意的C）；然后，将获取的荧光信号图像输入至部署有基于FISH的细胞检测算法的服务器（例如，如图1中所示意的S）中，其中所述服务器能够基于FISH的细胞检测算法对所述荧光信号图像进行处理，以生成用于表示被观察到的CTC细胞的类型标签的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
在本申请的一个实施例中，图2为根据本申请实施例的基于FISH的细胞检测系统的框图。如图2所示，根据本申请实施例的基于FISH的细胞检测系统100，包括：血样本预处理模块110，用于采集外周血样本，用白细胞去除法富集CTC，以去除大部分的红细胞和白细胞得到CTC；荧光标记检测模块120，用于用荧光标记的特异性探针与所述CTC中的目标DNA序列杂交，检测所述CTC中的染色体异常、基因扩增或缺失变异情况；标志物检测模块130，用于用荧光标记的抗体与所述CTC表面的特定抗原结合，检测所述CTC中的表面EpCAM或HER2标志物；以及，CTC观察分析模块140，用于用荧光显微镜观察和分析所述CTC的荧光信号和形态学特征，并根据预定的标准判定CTC的数量和类型。
如上所述，基于FISH的细胞检测系统具有非常高的灵敏性和特异性，能够在很小的样本量内确定患者肿瘤的类型和个体化特征，对肿瘤的早期诊断、治疗和预后评估等领域具有重要意义。但是，这种方案也具有局限性，例如需要专业的设备和人员，检测成本较高，智能化程度较低。因此，期望一种优化的基于FISH的细胞检测系统。
具体地，在本申请的技术方案中，提出了一种基于FISH的细胞检测系统，其包括：采集外周血样本，用白细胞去除法富集CTC，以去除大部分的红细胞和白细胞得到CTC；用荧光标记的特异性探针与所述CTC中的目标DNA序列杂交，检测所述CTC中的染色体异常、基因扩增或缺失变异情况；用荧光标记的抗体与所述CTC表面的特定抗原结合，检测所述CTC中的表面EpCAM或HER2标志物；用荧光显微镜观察和分析所述CTC的荧光信号和形态学特征，并根据预定的标准判定CTC的数量和类型。应可以理解，该方案可以在CTC富集后，对CTC的基因组变异、表面标志物和形态学特征进行综合评价，为肿瘤诊断、预后和个体化治疗提供有价值的信息。
图3为根据本申请实施例的基于FISH的细胞检测系统中所述CTC观察分析模块的框图，如图3所示，所述CTC观察分析模块140，包括：荧光信号图像采集单元141，用于获取由显微镜观察到的荧光信号图像；图像预处理单元142，用于对所述荧光信号图像进行图像预处理以得到预处理后荧光信号图像；空间强化特征提取单元143，用于将所述预处理后荧光信号图像通过使用空间注意力机制的卷积神经网络模型以得到荧光信号空间强化特征矩阵；矩阵分块单元144，用于对所述荧光信号空间强化特征矩阵进行矩阵分块处理以得到局部特征矩阵的序列；图像全局语义关联特征编码单元145，用于将所述局部特征矩阵的序列通过包含嵌入层的ViT模型以得到分类特征向量；特征优化单元146，用于对所述分类特征向量进行特征分布优化以得到优化分类特征向量；以及，CTC细胞类型检测单元147，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示被观察到的CTC细胞的类型标签。
具体地，在本申请实施例中，所述荧光信号图像采集单元141，用于获取由显微镜观察到的荧光信号图像。相应地，考虑到在实际使用荧光显微镜进行CTC的荧光信号和形态学特征观察和分析时，为了保证CTC类型检测的精准度，关键在于对显微镜观察到的荧光信号图像进行充分且准确地分析，以提取出图像中关于CTC的特征分布信息。但是，由于所述荧光信号图像中存在有大量的信息量，而关于CTC的特征信息在图像中为隐含的小尺度特征信息，难以通过传统的方式进行聚焦和特征刻画，导致对于CTC类型检测的精准度较低。因此，在此过程中，难点在于如何进行所述荧光信号图像中关于CTC的隐含特征分布信息的充分表达，以此来对于CTC细胞的类型进行检测，实现了智能化CTC细胞检测系统。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘煤所述荧光信号图像中关于CTC的隐含特征分布信息提供了新的解决思路和方案。
具体地，在本申请的技术方案中，首先，获取由显微镜观察到的荧光信号图像。
具体地，在本申请实施例中，所述图像预处理单元142，用于对所述荧光信号图像进行图像预处理以得到预处理后荧光信号图像。应可以理解，由于荧光信号图像可能存在噪声、亮度不均匀等干扰因素，这些问题可能会影响后续的图像特征提取和细胞识别的准确性。因此需要进行图像预处理来消除这些影响因子，以增强图像特征、减少误差，从而提高系统检测和识别的精度和鲁棒性。
因此，在本申请的技术方案中，对所述荧光信号图像进行图像预处理以得到预处理后荧光信号图像，以提高该图像数据的质量和可用性，以便后续的图片处理和分析。特别地，在本申请的一个具体示例中，所述图像预处理方法包括均衡化对比度、降噪滤波、边缘增强、色彩校正等，通过预处理后的图像可以得到更加清晰、准确的荧光信号图像，为后续分析和应用提供更好的基础条件。
具体地，在本申请实施例中，所述空间强化特征提取单元143，用于将所述预处理后荧光信号图像通过使用空间注意力机制的卷积神经网络模型以得到荧光信号空间强化特征矩阵。然后，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述预处理后荧光信号图像的特征提取，特别地，考虑到在进行所述CTC细胞类型检测过程中，应更加关注于空间位置上关于CTC细胞的隐含特征信息而忽略与CTC检测无关的背景干扰特征。鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变。
因此，在本申请的技术方案中，将所述预处理后荧光信号图像通过使用空间注意力机制的卷积神经网络模型中进行处理，以提取出所述预处理后荧光信号图像中聚焦于空间上的关于所述CTC细胞的隐含特征分布信息，从而得到荧光信号空间强化特征矩阵。值得一提的是，这里，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，以此来提取出空间上聚焦于CTC细胞的形态学特征信息。
其中，所述空间强化特征提取单元143，用于：所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得特征矩阵；其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述荧光信号空间强化特征矩阵。
注意力机制是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。一方面，注意力机制就是希望网络能够自动学出来图片或者文字序列中的需要注意的地方；另一方面，注意力机制通过神经网络的操作生成一个掩码mask, mask上的值的权重。 一般来说，空间注意力机制对于同一像素点不同通道求均值,再经过一些卷积和上采样的运算得到空间特征,空间特征每层的像素点就被赋予不同的权重。
具体地，在本申请实施例中，所述矩阵分块单元144，用于对所述荧光信号空间强化特征矩阵进行矩阵分块处理以得到局部特征矩阵的序列。接着，考虑到由于所述荧光信号图像中关于CTC细胞的隐含特征为小尺度的细微特征，为了能够提高所述荧光信号图像中关于CTC细胞特征的表达能力，以此来提高对于CTC细胞类型检测的精准度，在本申请的技术方案中，进一步对所述荧光信号空间强化特征矩阵进行矩阵分块处理以得到局部特征矩阵的序列。
应可以理解，所述局部特征矩阵的序列中的各个局部特征矩阵的尺度相较于所述荧光信号空间强化特征矩阵被缩减，因此，所述CTC细胞的隐含特征分布信息在各个所述局部特征矩阵中不再是小尺寸对象，以便于更准确地进行CTC细胞的特征刻画和类型检测。
具体地，在本申请实施例中，所述图像全局语义关联特征编码单元145，用于将所述局部特征矩阵的序列通过包含嵌入层的ViT模型以得到分类特征向量。进一步地，考虑到由于卷积运算的固有局限性，纯CNN的方法很难学习明确的全局和远程语义信息交互。因此，为了能够进一步提高所述CTC细胞的隐含特征的表达能力，以此来提高对于CTC细胞类型检测的精准度，在本申请的技术方案中，将所述局部特征矩阵的序列通过包含嵌入层的ViT模型中进行编码，以提取出所述局部特征矩阵的序列的各个局部特征矩阵中关于CTC细胞的基于所述荧光信号空间强化特征矩阵全局的隐含上下文语义关联特征分布信息，从而得到时域语义关联特征向量。
特别地，这里，所述嵌入层通过可学习嵌入矩阵将所述各个局部特征矩阵线性投影为一维嵌入向量。并且，这里，所述ViT模型可以像Transformer一样直接通过自注意机制处理所述各个局部特征矩阵，以此来分别提取出所述各个局部特征矩阵中基于所述荧光信号空间强化特征矩阵整体的关于所述CTC细胞的隐含上下文语义关联特征信息。
图4为根据本申请实施例的基于FISH的细胞检测系统中所述图像全局语义关联特征编码单元的框图，如图4所示，所述图像全局语义关联特征编码单元145，包括：嵌入化子单元1451，用于使用所述ViT模型的嵌入层对所述局部特征矩阵的序列中的各个图像块进行向量嵌入化以得到局部特征向量的序列；以及，编码子单元1452，用于将所述局部特征向量的序列输入所述ViT模型的转换器以得到所述分类特征向量。
应可以理解， 自2017年Google提出的Transformer结构以来，迅速引发一波热潮，针对于NLP领域的，通过自注意力机制代替传统处理序列数据时采用的循环神经网络结构，不仅实现了并行训练，提升了训练的效率，同时也在应用中取得很好的结果。在NLP中，输入transformer中的是一个序列，而在视觉领域，需要考虑如何将一个2d图片转化为一个1d的序列，最直观的想法就是将图片中的像素点输入到transformer中，但是复杂度太高的问题。
而ViT模型对输入的改进可以降低复杂度，先将图片切分成一个个图像块，然后每一个图像块投影为固定长度的向量送入Transformer中，后续编码器的操作和原始Transformer中完全相同。但是因为对图片分类，因此在输入序列中加入一个特殊的标记，该标记对应的输出即为最后的类别预测。ViT在很多视觉任务上都展现了相当优秀的性能，但是和CNN(Convolutional Neural Network，卷积神经网络)相比，缺少归纳偏置让ViT应用于小数据集时非常依赖模型正则化（model regularization）和数据增广（dataaugmentation）。
具体地，在本申请实施例中，所述特征优化单元146，用于对所述分类特征向量进行特征分布优化以得到优化分类特征向量。特别地，在本申请的技术方案中，由于所述荧光信号空间强化特征矩阵表达荧光信号图像的空间强化的图像语义特征，因此进行矩阵分块处理后得到的所述局部特征矩阵的序列中的各个局部特征矩阵由于源图像的各个部分之间的图像语义差异而存在图像特征语义差异，尽管通过ViT模型进行了各个局部图像特征语义的上下文关联编码，但是仍然无法消除所述ViT模型得到的各个上下文局部特征向量之间的特征分布的显式差异，从而导致所述各个上下文局部特征向量直接级联得到的所述分类特征向量的整体特征分布的规则化程度较低，从而影响所述分类特征向量通过分类器得到的分类结果的准确性。
基于此，本申请的申请人对所述分类特征向量，例如记为进行流形曲面的高斯概率密度参数二次正则化，具体表示为：以如下优化公式对所述分类特征向量进行特征分布优化以得到所述优化分类特征向量；其中，所述优化公式为：， 其中， />是所述分类特征向量的第/>个位置的特征值，/>和/>是所述分类特征向量的各个位置特征值集合的均值和标准差，且/>是所述优化分类特征向量的第/>个位置的特征值。
具体地，为了解决所述分类特征向量的特征集合的高维特征分布在特征域叠加的高维特征空间内的分布不规则化的问题，通过特征值针对分类器的类概率分布的高斯概率密度参数的似然性进行所述分类特征向量/>的各个特征值的二次正则化，来将基于目标回归概率的高斯概率密度参数的参数空间内的等距离分布进行特征值的平滑约束，以获得高维特征的流形曲面表达的原始概率密度似然函数在参数空间内的规则化重整，从而提升优化后的分类特征向量/>的特征分布的规则性，以提升优化后的所述分类特征向量通过分类器得到的分类结果的准确性。这样，能够准确地对于CTC细胞的类型进行检测，实现了智能化CTC细胞检测系统。
具体地，在本申请实施例中，所述CTC细胞类型检测单元147，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示被观察到的CTC细胞的类型标签。然后，再将所述分类特征向量通过分类器中进行分类处理，以得到用于表示被观察到的CTC细胞的类型标签的分类结果。也就是，在本申请的技术方案中，所述分类器的标签为CTC细胞的类型标签，其中，所述分类器通过软最大值函数来确定所述分类特征向量属于哪个分类标签。因此，在得到所述分类结果后，可基于所述分类结果来对于CTC细胞的类型进行检测。
图5为根据本申请实施例的基于FISH的细胞检测系统中所述CTC细胞类型检测单元的框图，如图5所示，所述CTC细胞类型检测单元147，包括：全连接编码子单元1471，用于使用所述分类器的多个全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类子单元1472，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
综上，基于本申请实施例的基于FISH的细胞检测系统100被阐明，其采集外周血样本，用白细胞去除法富集CTC，以去除大部分的红细胞和白细胞得到CTC；用荧光标记的特异性探针与所述CTC中的目标DNA序列杂交，检测所述CTC中的染色体异常、基因扩增或缺失变异情况；用荧光标记的抗体与所述CTC表面的特定抗原结合，检测所述CTC中的表面EpCAM或HER2标志物；以及，用荧光显微镜观察和分析所述CTC的荧光信号和形态学特征，并根据预定的标准判定CTC的数量和类型。这样，可以准确地对于CTC细胞的类型进行检测，实现了智能化CTC细胞检测系统。
如上所述，根据本申请实施例的基于FISH的细胞检测系统100可以实现在各种终端设备中，例如用于基于FISH的细胞检测的服务器等。在一个示例中，根据本申请实施例的基于FISH的细胞检测系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于FISH的细胞检测系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于FISH的细胞检测系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于FISH的细胞检测系统100与该终端设备也可以是分立的设备，并且该基于FISH的细胞检测系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
在本申请的一个实施例中，图6为根据本申请实施例的基于FISH的细胞检测方法的流程图。如图6所示，根据本申请实施例的基于FISH的细胞检测方法，其包括：210，采集外周血样本，用白细胞去除法富集CTC，以去除大部分的红细胞和白细胞得到CTC；220，用荧光标记的特异性探针与所述CTC中的目标DNA序列杂交，检测所述CTC中的染色体异常、基因扩增或缺失变异情况；230，用荧光标记的抗体与所述CTC表面的特定抗原结合，检测所述CTC中的表面EpCAM或HER2标志物；以及，240，用荧光显微镜观察和分析所述CTC的荧光信号和形态学特征，并根据预定的标准判定CTC的数量和类型。
在一个具体示例中，在上述基于FISH的细胞检测方法中，用荧光显微镜观察和分析所述CTC的荧光信号和形态学特征，并根据预定的标准判定CTC的数量和类型，包括：获取由显微镜观察到的荧光信号图像；对所述荧光信号图像进行图像预处理以得到预处理后荧光信号图像；将所述预处理后荧光信号图像通过使用空间注意力机制的卷积神经网络模型以得到荧光信号空间强化特征矩阵；对所述荧光信号空间强化特征矩阵进行矩阵分块处理以得到局部特征矩阵的序列；将所述局部特征矩阵的序列通过包含嵌入层的ViT模型以得到分类特征向量；对所述分类特征向量进行特征分布优化以得到优化分类特征向量；以及，将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示被观察到的CTC细胞的类型标签。
图7为根据本申请实施例的基于FISH的细胞检测方法的系统架构的示意图。如图7所示，在所述基于FISH的细胞检测方法的系统架构中，首先，获取由显微镜观察到的荧光信号图像；然后，对所述荧光信号图像进行图像预处理以得到预处理后荧光信号图像；接着，将所述预处理后荧光信号图像通过使用空间注意力机制的卷积神经网络模型以得到荧光信号空间强化特征矩阵；然后，对所述荧光信号空间强化特征矩阵进行矩阵分块处理以得到局部特征矩阵的序列；接着，将所述局部特征矩阵的序列通过包含嵌入层的ViT模型以得到分类特征向量；然后，对所述分类特征向量进行特征分布优化以得到优化分类特征向量；以及，最后，将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示被观察到的CTC细胞的类型标签。
在一个具体示例中，在上述基于FISH的细胞检测方法中，将所述预处理后荧光信号图像通过使用空间注意力机制的卷积神经网络模型以得到荧光信号空间强化特征矩阵，包括：所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得特征矩阵；其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述荧光信号空间强化特征矩阵。
在一个具体示例中，在上述基于FISH的细胞检测方法中，将所述局部特征矩阵的序列通过包含嵌入层的ViT模型以得到分类特征向量，包括：使用所述ViT模型的嵌入层对所述局部特征矩阵的序列中的各个图像块进行向量嵌入化以得到局部特征向量的序列；以及，将所述局部特征向量的序列输入所述ViT模型的转换器以得到所述分类特征向量。
在一个具体示例中，在上述基于FISH的细胞检测方法中，对所述分类特征向量进行特征分布优化以得到优化分类特征向量，包括：以如下优化公式对所述分类特征向量进行特征分布优化以得到所述优化分类特征向量；其中，所述优化公式为：， 其中， />是所述分类特征向量的第/>个位置的特征值，/>和/>是所述分类特征向量的各个位置特征值集合的均值和标准差，且/>是所述优化分类特征向量的第/>个位置的特征值。
在一个具体示例中，在上述基于FISH的细胞检测方法中，将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示被观察到的CTC细胞的类型标签，包括：使用所述分类器的多个全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
本领域技术人员可以理解，上述基于FISH的细胞检测方法中的各个步骤的具体操作已经在上面参考图1到图5的基于FISH的细胞检测系统的描述中得到了详细介绍，并因此，将省略其重复描述。
本申请还提供了一种计算机程序产品，所述计算机程序产品包括指令，当所述指令被执行时，以使得装置执行对应于上述方法中的操作。
在本申请的一个实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。
应可以理解，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等) 上实施的计算机程序产品的形式。
本申请实施例的方法、系统、和计算机程序产品的流程图和/或框图来描述的。应理解可由计算机程序指令实现流程图和/或框图中的每一流程和/或方框、以及流程图和/或框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的步骤。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (4)

1.一种基于FISH的细胞检测系统，其特征在于，包括：
血样本预处理模块，用于采集外周血样本，用白细胞去除法富集CTC，以去除大部分的红细胞和白细胞得到CTC；
荧光标记检测模块，用于用荧光标记的特异性探针与所述CTC中的目标DNA序列杂交，检测所述CTC中的染色体异常、基因扩增或缺失变异情况；
标志物检测模块，用于用荧光标记的抗体与所述CTC表面的特定抗原结合，检测所述CTC中的表面EpCAM或HER2标志物；以及
CTC观察分析模块，用于用荧光显微镜观察和分析所述CTC的荧光信号和形态学特征，并根据预定的标准判定CTC的数量和类型；
其中，所述CTC观察分析模块，包括：
荧光信号图像采集单元，用于获取由显微镜观察到的荧光信号图像；
图像预处理单元，用于对所述荧光信号图像进行图像预处理以得到预处理后荧光信号图像；
空间强化特征提取单元，用于将所述预处理后荧光信号图像通过使用空间注意力机制的卷积神经网络模型以得到荧光信号空间强化特征矩阵；
矩阵分块单元，用于对所述荧光信号空间强化特征矩阵进行矩阵分块处理以得到局部特征矩阵的序列；
图像全局语义关联特征编码单元，用于将所述局部特征矩阵的序列通过包含嵌入层的ViT模型以得到分类特征向量；
特征优化单元，用于对所述分类特征向量进行特征分布优化以得到优化分类特征向量；以及
CTC细胞类型检测单元，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示被观察到的CTC细胞的类型标签；
其中，所述特征优化单元，用于：以如下优化公式对所述分类特征向量进行特征分布优化以得到所述优化分类特征向量；
其中，所述优化公式为：
，
其中，是所述分类特征向量的第/>个位置的特征值，/>和/>是所述分类特征向量的各个位置特征值集合的均值和标准差，且/>是所述优化分类特征向量的第/>个位置的特征值。
2.根据权利要求1所述的基于FISH的细胞检测系统，其特征在于，所述空间强化特征提取单元，用于：所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：
对输入数据进行卷积处理以生成卷积特征图；
对所述卷积特征图进行池化处理以生成池化特征图；
对所述池化特征图进行非线性激活以生成激活特征图；
计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；
计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及
计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得特征矩阵；
其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述荧光信号空间强化特征矩阵。
3.根据权利要求2所述的基于FISH的细胞检测系统，其特征在于，所述图像全局语义关联特征编码单元，包括：
嵌入化子单元，用于使用所述ViT模型的嵌入层对所述局部特征矩阵的序列中的各个图像块进行向量嵌入化以得到局部特征向量的序列；以及
编码子单元，用于将所述局部特征向量的序列输入所述ViT模型的转换器以得到所述分类特征向量。
4.根据权利要求3所述的基于FISH的细胞检测系统，其特征在于，所述CTC细胞类型检测单元，包括：
全连接编码子单元，用于使用所述分类器的多个全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及
分类子单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
CN202310581410.9A 2023-05-23 2023-05-23 基于fish的细胞检测系统及其方法 Active CN116287138B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310581410.9A CN116287138B (zh) 2023-05-23 2023-05-23 基于fish的细胞检测系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310581410.9A CN116287138B (zh) 2023-05-23 2023-05-23 基于fish的细胞检测系统及其方法

Publications (2)

Publication Number Publication Date
CN116287138A CN116287138A (zh) 2023-06-23
CN116287138B true CN116287138B (zh) 2023-08-11

Family

ID=86801774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310581410.9A Active CN116287138B (zh) 2023-05-23 2023-05-23 基于fish的细胞检测系统及其方法

Country Status (1)

Country Link
CN (1) CN116287138B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117326557A (zh) * 2023-09-28 2024-01-02 连云港市沃鑫高新材料有限公司 一种反应烧结陶瓷结构件用碳化硅高纯微粉制备方法
CN117169093A (zh) * 2023-10-30 2023-12-05 深圳市明鉴检测专业技术有限公司 基于荧光抗体标记的细胞定量检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748256A (zh) * 2017-10-11 2018-03-02 上海医盈网络科技有限公司 一种循环肿瘤细胞的液体活检检测方法
CN109541214A (zh) * 2018-12-13 2019-03-29 钱军 循环肿瘤细胞表面标志分子her2的检测方法
CN112950587A (zh) * 2021-03-02 2021-06-11 中国科学院自动化研究所 基于深度学习的脑胶质瘤荧光图像分析方法、系统及设备
CN115409844A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 循环肿瘤细胞检测设备及其方法
KR102479817B1 (ko) * 2021-11-25 2022-12-21 인하대학교 산학협력단 소규모 데이터세트를 위한 비전 트랜스포머 장치 및 그 동작 방법
US11580641B1 (en) * 2021-12-24 2023-02-14 GeneSense Technology Inc. Deep learning based methods and systems for nucleic acid sequencing
CN115791640A (zh) * 2023-02-06 2023-03-14 杭州华得森生物技术有限公司 基于分光光谱的肿瘤细胞检测设备及其方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748256A (zh) * 2017-10-11 2018-03-02 上海医盈网络科技有限公司 一种循环肿瘤细胞的液体活检检测方法
CN109541214A (zh) * 2018-12-13 2019-03-29 钱军 循环肿瘤细胞表面标志分子her2的检测方法
CN112950587A (zh) * 2021-03-02 2021-06-11 中国科学院自动化研究所 基于深度学习的脑胶质瘤荧光图像分析方法、系统及设备
KR102479817B1 (ko) * 2021-11-25 2022-12-21 인하대학교 산학협력단 소규모 데이터세트를 위한 비전 트랜스포머 장치 및 그 동작 방법
US11580641B1 (en) * 2021-12-24 2023-02-14 GeneSense Technology Inc. Deep learning based methods and systems for nucleic acid sequencing
CN115409844A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 循环肿瘤细胞检测设备及其方法
CN115791640A (zh) * 2023-02-06 2023-03-14 杭州华得森生物技术有限公司 基于分光光谱的肿瘤细胞检测设备及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
循环肿瘤细胞检测及SE-iFISH技术检测循环肿瘤细胞的临床应用;张静等;华西医学;32(07);1100-1103 *

Also Published As

Publication number Publication date
CN116287138A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN116287138B (zh) 基于fish的细胞检测系统及其方法
Chikontwe et al. Multiple instance learning with center embeddings for histopathology classification
CN116189179B (zh) 循环肿瘤细胞扫描分析设备
CN111126386B (zh) 场景文本识别中基于对抗学习的序列领域适应方法
CN109800761A (zh) 基于深度学习模型创建纸质文档结构化数据的方法和终端
EP4361945A1 (en) Method for classifying species and development stage of parasite and classifying image pixel from bottom to top
CN109785300A (zh) 一种癌症医学图像数据处理方法、系统、装置和存储介质
CN116363123B (zh) 对循环肿瘤细胞检测的荧光显微成像系统及其方法
Khan et al. Gene transformer: Transformers for the gene expression-based classification of lung cancer subtypes
CN116403213A (zh) 基于人工智能的循环肿瘤细胞检测仪及其方法
CN111126401A (zh) 一种基于上下文信息的车牌字符识别方法
CN116612472B (zh) 基于图像的单分子免疫阵列分析仪及其方法
CN116434226B (zh) 循环肿瘤细胞分析仪
Rauf et al. Attention-guided multi-scale deep object detection framework for lymphocyte analysis in IHC histological images
CN116342601B (zh) 基于边缘引导和多层级搜索的图像篡改检测方法
CN117036948A (zh) 一种基于注意力机制的致敏植物识别方法
CN115359264A (zh) 一种密集型分布的粘连细胞深度学习识别方法
Marcuzzo et al. Automated Arabidopsis plant root cell segmentation based on SVM classification and region merging
Gupta et al. Simsearch: A human-in-the-loop learning framework for fast detection of regions of interest in microscopy images
Rajab et al. Classification of grapevine leaves images using VGG-16 and VGG-19 deep learning nets
CN111554384A (zh) 基于先验感知和多任务学习的腺癌病理图像分析方法
CN116258686A (zh) 基于图像卷积特征捕捉的结肠息肉分型检测模型建立方法
CN115511798A (zh) 一种基于人工智能技术的肺炎分类方法及装置
CN110555342B (zh) 一种图像识别方法、装置和图像设备
KR20230063147A (ko) 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 cnn과 앙상블 머신 러닝 분류 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant