CN116189179B - 循环肿瘤细胞扫描分析设备 - Google Patents

循环肿瘤细胞扫描分析设备 Download PDF

Info

Publication number
CN116189179B
CN116189179B CN202310474375.0A CN202310474375A CN116189179B CN 116189179 B CN116189179 B CN 116189179B CN 202310474375 A CN202310474375 A CN 202310474375A CN 116189179 B CN116189179 B CN 116189179B
Authority
CN
China
Prior art keywords
image
fish
feature
training
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310474375.0A
Other languages
English (en)
Other versions
CN116189179A (zh
Inventor
高阳
韩改净
杨尚
李玉霞
赵玉亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Innovation Research Institute of Beihang University
Original Assignee
Hangzhou Innovation Research Institute of Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Innovation Research Institute of Beihang University filed Critical Hangzhou Innovation Research Institute of Beihang University
Priority to CN202310474375.0A priority Critical patent/CN116189179B/zh
Publication of CN116189179A publication Critical patent/CN116189179A/zh
Application granted granted Critical
Publication of CN116189179B publication Critical patent/CN116189179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

公开了一种循环肿瘤细胞扫描分析设备。其首先对由荧光显微镜采集的FISH图像进行图像预处理以得到预处理后FISH图像，接着，将所述预处理后FISH图像通过作为特征提取器的第一卷积神经网络模型以得到浅层特征图，然后，将所述浅层特征图输入与所述第一卷积神经网络模型级联的第二卷积神经网络模型以得到深层特征图，接着，融合所述浅层特征图和所述深层特征图以得到FISH特征图，然后，对所述FISH特征图进行沿通道维度的压缩以得到FISH特征矩阵，最后，对所述FISH特征矩阵进行图像语义分割以得到图像语义分割结果，并基于所述图像语义分割结果确定所述FISH图像中所包含的循环肿瘤细胞的数量。这样，可以实现精准的检测。

Description

循环肿瘤细胞扫描分析设备
技术领域
本申请涉及智能检测领域，且更为具体地，涉及一种循环肿瘤细胞扫描分析设备。
背景技术
循环肿瘤细胞(CTC)是由原发或转移病灶脱落进入外周血的肿瘤细胞，其作为一种实时“液体活检”手段反映了肿瘤是否发生侵袭转移，大量研究结果提示，血液中血环肿瘤细胞与癌症的发生发展都有直接关系，检测和分析外周血中的单个或少量循环肿瘤细胞簇，对肿瘤的早期诊断、肿瘤诊断的分期和分型、手术前评估和手术后辅助性治疗的指导与评价、评估患者对治疗(化疗药物和放疗)反应、预测肿瘤的复发和转移、对肿瘤治疗效果的实施监测、指导肿瘤个体化精准治疗、肿瘤耐药性的监控、预后判断和预测的准确性和有效性的评估非常关键。
但是，相比较外周血中存在的大量白细胞，循环肿瘤细胞仅为外周血中的稀有细胞，检测起来非常困难。目前，CTCs的检测和鉴定方法众多，包括各种荧光原位杂交技术和流式细胞术、聚合酶链反应和逆转录聚合酶链反应及其各种改进的技术等等。
荧光原位杂交技术是利用荧光标记的特异核酸探针与细胞内相应的靶DNA分子或RNA分子杂交，通过在荧光显微镜观察荧光信号，来确定与特异探针杂交后被染色的细胞或细胞器的形态和分布。然而，目前荧光原位杂交技术检测方法需要通过人工观察计数的方式来检测，人工观察的方式不方便，成本高，而且不确定因素多，对人员的要求高，人为误差极大，难以实现临床批量和精准检测、以及标准化检测，极大地限制了其实际临床应用。
因此，期望一种优化的循环肿瘤细胞扫描分析设备。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种循环肿瘤细胞扫描分析设备。其首先对由荧光显微镜采集的FISH图像进行图像预处理以得到预处理后FISH图像，接着，将所述预处理后FISH图像通过作为特征提取器的第一卷积神经网络模型以得到浅层特征图，然后，将所述浅层特征图输入与所述第一卷积神经网络模型级联的第二卷积神经网络模型以得到深层特征图，接着，融合所述浅层特征图和所述深层特征图以得到FISH特征图，然后，对所述FISH特征图进行沿通道维度的压缩以得到FISH特征矩阵，最后，对所述FISH特征矩阵进行图像语义分割以得到图像语义分割结果，并基于所述图像语义分割结果确定所述FISH图像中所包含的循环肿瘤细胞的数量。这样，可以实现精准的检测。
根据本申请的一个方面，提供了一种循环肿瘤细胞扫描分析设备，其包括：
图像采集模块，用于获取由荧光显微镜采集的FISH图像；
图像预处理模块，用于对所述FISH图像进行图像预处理以得到预处理后FISH图像；
图像浅层特征提取模块，用于将所述预处理后FISH图像通过作为特征提取器的第一卷积神经网络模型以得到浅层特征图；
图像深层特征提取模块，用于将所述浅层特征图输入与所述第一卷积神经网络模型级联的第二卷积神经网络模型以得到深层特征图；
特征融合模块，用于融合所述浅层特征图和所述深层特征图以得到FISH特征图；
降维模块，用于对所述FISH特征图进行沿通道维度的压缩以得到FISH特征矩阵；以及
图像语义分割模块，用于对所述FISH特征矩阵进行图像语义分割以得到图像语义分割结果，并基于所述图像语义分割结果确定所述FISH图像中所包含的循环肿瘤细胞的数量。
在上述的循环肿瘤细胞扫描分析设备中，所述图像预处理模块，包括：
编码单元，用于使用图像编码器的卷积层对所述FISH图像进行显式空间编码以得到图像特征；以及
解码单元，用于使用所述图像解码器的反卷积层对所述图像特征进行反卷积处理以得到所述预处理后FISH图像。
在上述的循环肿瘤细胞扫描分析设备中，所述图像浅层特征提取模块，用于：
所述第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：
对输入数据进行卷积处理以得到第一卷积特征图；
对所述第一卷积特征图进行均值池化处理以得到第一池化特征图；以及
对所述第一池化特征图进行非线性激活以得到第一激活特征图；
其中，所述第一卷积神经网络模型的最后一层的输出为所述浅层特征图，所述第一卷积神经网络模型的第一层的输入为所述预处理后FISH图像。
在上述的循环肿瘤细胞扫描分析设备中，所述图像深层特征提取模块，用于：
所述第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：
对输入数据进行卷积处理以得到第二卷积特征图；
对所述第二卷积特征图进行均值池化处理以得到第二池化特征图；以及
对所述第二池化特征图进行非线性激活以得到第二激活特征图；
其中，所述第二卷积神经网络模型的最后一层的输出为所述深层特征图，所述第二卷积神经网络模型的第一层的输入为所述浅层特征图。
在上述的循环肿瘤细胞扫描分析设备中，所述图像语义分割模块，包括：
语义分割单元，用于对所述FISH特征矩阵进行图像语义分割以得到循环肿瘤细胞预测图；
像素全连接编码单元，用于将所述循环肿瘤细胞预测图通过第一全连接层以得到循环肿瘤细胞全连接特征向量；
深度特征全连接编码单元，用于将所述深层特征图通过第二全连接层以得到FISH深度特征向量；
细胞特征融合单元，用于融合所述循环肿瘤细胞全连接特征向量和所述FISH深度特征向量以得到融合特征向量；以及
计数单元，用于将所述融合特征向量通过计数模块以得到所述FISH图像中所包含的循环肿瘤细胞的数量。
在上述的循环肿瘤细胞扫描分析设备中，所述像素全连接编码单元，包括：
图像像素展开子单元，用于将所述循环肿瘤细胞预测图展开为细胞预测一维像素特征向量；以及
全连接关联编码子单元，用于使用所述第一全连接层对所述细胞预测一维像素特征向量进行全连接编码以得到所述循环肿瘤细胞全连接特征向量。
在上述的循环肿瘤细胞扫描分析设备中，所述计数单元，用于：
使用所述计数模块的多个全连接层以如下解码公式对所述融合特征向量进行解码回归以获得所述FISH图像中所包含的循环肿瘤细胞的数量，其中，所述解码公式为：，其中/>是所述融合特征向量，/>是所述FISH图像中所包含的循环肿瘤细胞的数量，/>是权重矩阵，/>是偏置向量，/>表示矩阵乘，/>为激活函数。
在上述的循环肿瘤细胞扫描分析设备中，还包括用于对所述作为特征提取器的第一卷积神经网络模型、与所述第一卷积神经网络模型级联的所述第二卷积神经网络模型和所述计数模块进行训练的训练模块。
在上述的循环肿瘤细胞扫描分析设备中，所述训练模块，包括：
训练数据采集单元，用于获取训练数据，所述训练数据包括训练FISH图像；
训练图像预处理单元，用于对所述训练FISH图像进行图像预处理以得到训练预处理后FISH图像；
训练图像浅层特征提取单元，用于将所述训练预处理后FISH图像通过所述作为特征提取器的第一卷积神经网络模型以得到训练浅层特征图；
训练图像深层特征提取单元，用于将所述训练浅层特征图输入与所述第一卷积神经网络模型级联的所述第二卷积神经网络模型以得到训练深层特征图；
训练特征融合单元，用于融合所述训练浅层特征图和所述训练深层特征图以得到训练FISH特征图；
特征优化单元，用于对所述训练FISH特征图进行类傅里叶尺度域概率修正以得到优化训练FISH特征图；
训练降维单元，用于对所述优化训练FISH特征图进行沿通道维度的压缩以得到训练FISH特征矩阵；
计数损失单元，用于对所述训练FISH特征矩阵进行图像语义分割后通过所述计数模块以得到计数损失函数值；以及
模型训练单元，用于基于所述计数损失函数值并通过梯度下降的反向传播来对所述作为特征提取器的第一卷积神经网络模型、与所述第一卷积神经网络模型级联的所述第二卷积神经网络模型和所述计数模块进行训练。
在上述的循环肿瘤细胞扫描分析设备中，所述特征优化单元，用于：
以如下优化公式对所述训练FISH特征图进行类傅里叶尺度域概率修正以得到所述优化训练FISH特征图；
其中，所述优化公式为：
其中，是所述训练FISH特征图的第/>位置的特征值，/>、/>和/>分别是所述训练FISH特征图的高度、宽度和通道数，且/>、/>和/>为用于尺度调节的超参数，/>表示指数运算，/>是所述优化训练FISH特征图的第/>位置的特征值。
与现有技术相比，本申请提供的循环肿瘤细胞扫描分析设备，其首先对由荧光显微镜采集的FISH图像进行图像预处理以得到预处理后FISH图像，接着，将所述预处理后FISH图像通过作为特征提取器的第一卷积神经网络模型以得到浅层特征图，然后，将所述浅层特征图输入与所述第一卷积神经网络模型级联的第二卷积神经网络模型以得到深层特征图，接着，融合所述浅层特征图和所述深层特征图以得到FISH特征图，然后，对所述FISH特征图进行沿通道维度的压缩以得到FISH特征矩阵，最后，对所述FISH特征矩阵进行图像语义分割以得到图像语义分割结果，并基于所述图像语义分割结果确定所述FISH图像中所包含的循环肿瘤细胞的数量。这样，可以实现精准的检测。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。
图1为根据本申请实施例的循环肿瘤细胞扫描分析设备的应用场景图。
图2为根据本申请实施例的循环肿瘤细胞扫描分析设备的框图示意图。
图3为根据本申请实施例的循环肿瘤细胞扫描分析设备中所述图像预处理模块的框图示意图。
图4为根据本申请实施例的循环肿瘤细胞扫描分析设备中所述图像语义分割模块的框图示意图。
图5为根据本申请实施例的循环肿瘤细胞扫描分析设备中所述像素全连接编码单元的框图示意图。
图6为根据本申请实施例的循环肿瘤细胞扫描分析设备中进一步包括的所述训练模块的框图示意图。
图7为根据本申请实施例的循环肿瘤细胞扫描分析方法的流程图。
图8为根据本申请实施例的循环肿瘤细胞扫描分析方法的系统架构的示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
如上所述，目前荧光原位杂交技术检测方法需要通过人工观察计数的方式来检测，人工观察的方式不方便，成本高，而且不确定因素多，对人员的要求高，人为误差极大，难以实现临床批量和精准检测、以及标准化检测，极大地限制了其实际临床应用。因此，期望一种优化的循环肿瘤细胞扫描分析设备。
相应地，考虑到荧光原位杂交（FISH）是一种常用的细胞分子生物学技术，其通过对目标DNA序列进行荧光标记，可以在细胞内直接观察到该序列的位置和数量。因此，在实际进行循环肿瘤细胞检测的过程中，期望通过荧光显微镜采集的FISH图像作为输入数据，以对输入数据进行分析来实现对循环肿瘤细胞的自动检测。但是，由于所述FISH图像中存在有较多的信息量，而关于循环肿瘤细胞的特征信息在图像中为小尺度的隐含特征，难以通过传统的方式进行捕捉获取。因此，在此过程中，难点在于如何挖掘所述FISH图像中关于循环肿瘤细胞的隐含特征信息，以此来对于循环肿瘤细胞进行自动检测，从而对于肿瘤细胞的数量进行确定。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述FISH图像中关于循环肿瘤细胞的隐含特征信息提供了新的解决思路和方案。
具体地，在本申请的技术方案中，首先，获取由荧光显微镜采集的FISH图像。应可以理解，通过荧光显微镜采集的FISH图像可以直接反映目标细胞中的循环肿瘤细胞数量，具有较高的可靠性和准确性。因此，在本申请的技术方案中，选择所述荧光显微镜采集的FISH图像作为输入数据，以实现对循环肿瘤细胞的自动检测。
接着，考虑到在所述FISH图像采集的过程中，可能会由于环境因素等原因噪声图像中存在噪声干扰，导致所述FISH图像中关于循环肿瘤细胞的隐含特征变得模糊，影响后续对于循环肿瘤细胞的检测以及数量的确定。因此，在本申请的技术方案中，在特征提取前需要对所述FISH图像进行图像预处理，以对于所述FISH图像进行降噪处理，从而得到预处理后FISH图像。特别地，这里，可以使用自动编解码器来对于所述FISH图像进行预处理，其中，所述自动编解码器包括图像编码器和图像解码器，所述图像编码器使用卷积层对所述FISH图像进行显式空间编码以得到图像特征；所述图像解码器使用反卷积层对所述图像特征进行反卷积处理以得到所述预处理后FISH图像。
然后，使用在隐含特征提取方面具有优异表现的卷积神经网络模型来对于所述预处理后FISH图像进行特征挖掘，特别地，考虑到在进行所述预处理后FISH图像的特征提取时，不仅需要关注于所述预处理后FISH图像中关于循环肿瘤细胞的深层语义特征，还应关注于所述循环肿瘤细胞的浅层基本细节特征和边缘特征，这样有利于后续进行循环肿瘤细胞的数量统计。因此，在本申请的技术方案中，将所述预处理后FISH图像通过作为特征提取器的第一卷积神经网络模型中进行处理，以提取出所述预处理后FISH图像中关于循环肿瘤细胞的细节边缘和纹理等浅层特征信息，有利于后续对于循环肿瘤细胞进行边缘区域的框定，从而得到浅层特征图；并将所述浅层特征图输入与所述第一卷积神经网络模型级联的第二卷积神经网络模型中进行处理，以提取出所述预处理后FISH图像中关于循环肿瘤细胞的深层语义特征信息，有利于后续对于循环肿瘤细胞的检测判断，从而得到深层特征图。也就是说，在进行所述预处理后FISH图像的特征挖掘时，在提取出所述预处理后FISH图像中关于循环肿瘤细胞的深层丰富语义特征的同时，保留其在浅层的基础细节边缘特征，进而有利于后续进行循环肿瘤细胞的检测以及对于循环肿瘤细胞的数量统计。接着，融合所述浅层特征图和所述深层特征图，以融合所述循环肿瘤细胞的浅层边缘细节等基础特征和深层语义特征，从而得到FISH特征图。
进一步地，在得到所述FISH特征图后，对所述FISH特征图进行沿通道维度的压缩来进行降维后得到FISH特征矩阵，接着，再对所述FISH特征矩阵进行图像语义分割，以在检测到循环肿瘤细胞位置区域后进行相应地掩码操作，从而得到图像语义分割结果，即循环肿瘤细胞预测图。
然后，基于所述图像语义分割结果确定所述FISH图像中所包含的循环肿瘤细胞的数量。也就是，在得到所述循环肿瘤细胞预测图后，将所述循环肿瘤细胞预测图与所述肿瘤细胞的深层语义特征联合输入到计数模块，得到所述FISH图像中所包含的循环肿瘤细胞的数量。应可以理解，所述深层特征图具有肿瘤细胞的高维语义特征信息，融合此特征能够对数量进行有效的统计。
更具体地，在将所述循环肿瘤细胞预测图中的循环肿瘤细胞特征与所述深度特征图进行特征融合来输入所述计数模块时，考虑到由于所述循环肿瘤细胞预测图中的各个像素之间都具有着关于所述循环肿瘤细胞的像素关联特征信息。因此，在本申请的技术方案中，在将所述循环肿瘤细胞预测图展开为细胞预测一维像素特征向量后，使用全连接层来进行编码，以提取出所述循环肿瘤细胞预测图中的各个像素值之间的关联特征分布信息，从而得到循环肿瘤细胞全连接特征向量。接着，对于所述深层特征图来说，也将其通过全连接层进行编码，以此来提取出所述深层特征图中的各个特征值之间的关联特征信息，从而得到FISH深度特征向量，这样有利于后续对于循环肿瘤细胞数量的检测。然后，融合所述循环肿瘤细胞全连接特征向量和所述FISH深度特征向量以得到融合特征向量，并将所述融合特征向量通过计数模块以得到所述FISH图像中所包含的循环肿瘤细胞的数量。特别地，这里，在将循环肿瘤细胞预测图进行全连接特征提取后与所述FISH图像的高层次特征拼接融合，得到各自的拼接特征，再经过一层全连接和ReLU激活函数确保预测统计的数量大于0。
特别地，在本申请的技术方案中，这里，在融合所述浅层特征图和所述深层特征图得到所述FISH特征图时，为了充分利用浅层特征和深层特征，优选地通过直接在通道维度级联所述浅层特征图和所述深层特征图来得到所述FISH特征图。在这种情况下，就会期望提升所述FISH特征图在通道维度与由作为特征提取器的第一卷积神经网络模型和第二卷积神经网络模型提取到的各个特征矩阵的图像语义表达维度上的一致性。
由此，本申请的申请人考虑到如果能够提升作为特征提取器的所述第一卷积神经网络模型和所述第二卷积神经网络模型在所述FISH特征图的图像语义表达的特征矩阵的宽度和高度维度以及聚合后的通道维度这三个维度上的整体特征学习关联度，则可以通过提升所述FISH特征图在通道维度与其各个特征矩阵的图像语义表达维度上的一致性来提升所述FISH特征图的分类结果的准确性。
基于此，在训练过程中，对于所述FISH特征图进行类傅里叶尺度域概率修正，具体表示为：
其中，是所述FISH特征图/>的第/>位置的特征值，/>、/>和/>分别是FISH特征图/>的高度、宽度和通道数，且/>、/>和/>为用于尺度调节的超参数。
这里，所述类傅里叶尺度域概率修正考虑到高维特征分布与其所在的尺度域的同源性，可以通过尺度空间的类傅里叶稀疏低秩变换，来基于尺度空间的低秩约束捕获同源空间下的潜在分布关联，从而在作为特征提取器的所述第一卷积神经网络模型和所述第二卷积神经网络模型的训练过程中，在进行图像语义的特征提取并进行通道维度的特征聚合分布的同时，实现具有特征图整体的尺度相干性的联合特征学习，以通过提高所述第一和第二卷积神经网络模型在整体特征图表达尺度下的学习关联度，来提升所获得的所述FISH特征图在通道维度与其各个特征矩阵的图像语义表达维度上的一致性，从而提升所述FISH特征图通过分类器得到的分类结果的准确性。这样，能够对于循环肿瘤细胞进行自动检测，从而对于肿瘤细胞的数量进行确定。
图1为根据本申请实施例的循环肿瘤细胞扫描分析设备的应用场景图。如图1所示，在该应用场景中，首先，获取由荧光显微镜（例如，图1中所示意的N）采集的FISH图像（例如，图1中所示意的D），然后，将所述FISH图像输入至部署有循环肿瘤细胞扫描分析算法的服务器中（例如，图1中所示意的S），其中，所述服务器能够使用所述循环肿瘤细胞扫描分析算法对所述FISH图像进行处理以得到所述FISH图像中所包含的循环肿瘤细胞的数量。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
图2为根据本申请实施例的循环肿瘤细胞扫描分析设备的框图示意图。如图2所示，根据本申请实施例的循环肿瘤细胞扫描分析设备100，包括：图像采集模块110，用于获取由荧光显微镜采集的FISH图像；图像预处理模块120，用于对所述FISH图像进行图像预处理以得到预处理后FISH图像；图像浅层特征提取模块130，用于将所述预处理后FISH图像通过作为特征提取器的第一卷积神经网络模型以得到浅层特征图；图像深层特征提取模块140，用于将所述浅层特征图输入与所述第一卷积神经网络模型级联的第二卷积神经网络模型以得到深层特征图；特征融合模块150，用于融合所述浅层特征图和所述深层特征图以得到FISH特征图；降维模块160，用于对所述FISH特征图进行沿通道维度的压缩以得到FISH特征矩阵；以及，图像语义分割模块170，用于对所述FISH特征矩阵进行图像语义分割以得到图像语义分割结果，并基于所述图像语义分割结果确定所述FISH图像中所包含的循环肿瘤细胞的数量。
更具体地，在本申请实施例中，所述图像采集模块110，用于获取由荧光显微镜采集的FISH图像。通过荧光显微镜采集的FISH图像可以直接反映目标细胞中的循环肿瘤细胞数量，具有较高的可靠性和准确性。因此，在本申请的技术方案中，选择所述荧光显微镜采集的FISH图像作为输入数据，以实现对循环肿瘤细胞的自动检测。
更具体地，在本申请实施例中，所述图像预处理模块120，用于对所述FISH图像进行图像预处理以得到预处理后FISH图像。在所述FISH图像采集的过程中，可能会由于环境因素等原因噪声图像中存在噪声干扰，导致所述FISH图像中关于循环肿瘤细胞的隐含特征变得模糊，影响后续对于循环肿瘤细胞的检测以及数量的确定。因此，在本申请的技术方案中，在特征提取前需要对所述FISH图像进行图像预处理，以对于所述FISH图像进行降噪处理，从而得到预处理后FISH图像。特别地，这里，可以使用自动编解码器来对于所述FISH图像进行预处理，其中，所述自动编解码器包括图像编码器和图像解码器，所述图像编码器使用卷积层对所述FISH图像进行显式空间编码以得到图像特征；所述图像解码器使用反卷积层对所述图像特征进行反卷积处理以得到所述预处理后FISH图像。
相应地，在一个具体示例中，如图3所示，所述图像预处理模块120，包括：编码单元121，用于使用图像编码器的卷积层对所述FISH图像进行显式空间编码以得到图像特征；以及，解码单元122，用于使用所述图像解码器的反卷积层对所述图像特征进行反卷积处理以得到所述预处理后FISH图像。
更具体地，在本申请实施例中，所述图像浅层特征提取模块130，用于将所述预处理后FISH图像通过作为特征提取器的第一卷积神经网络模型以得到浅层特征图。使用在隐含特征提取方面具有优异表现的卷积神经网络模型来对于所述预处理后FISH图像进行特征挖掘，特别地，考虑到在进行所述预处理后FISH图像的特征提取时，不仅需要关注于所述预处理后FISH图像中关于循环肿瘤细胞的深层语义特征，还应关注于所述循环肿瘤细胞的浅层基本细节特征和边缘特征，这样有利于后续进行循环肿瘤细胞的数量统计。因此，在本申请的技术方案中，将所述预处理后FISH图像通过作为特征提取器的第一卷积神经网络模型中进行处理，以提取出所述预处理后FISH图像中关于循环肿瘤细胞的细节边缘和纹理等浅层特征信息，有利于后续对于循环肿瘤细胞进行边缘区域的框定，从而得到浅层特征图。
相应地，在一个具体示例中，所述图像浅层特征提取模块130，用于：所述第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：对输入数据进行卷积处理以得到第一卷积特征图；对所述第一卷积特征图进行均值池化处理以得到第一池化特征图；以及，对所述第一池化特征图进行非线性激活以得到第一激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述浅层特征图，所述第一卷积神经网络模型的第一层的输入为所述预处理后FISH图像。
也可以理解，卷积神经网络(Convolutional Neural Network，CNN)是一种人工神经网络，在图像识别等领域有着广泛的应用。卷积神经网络可以包括输入层、隐藏层和输出层，其中，隐藏层可以包括卷积层、池化(pooling)层、激活层和全连接层等，上一层根据输入的数据进行相应的运算，将运算结果输出给下一层，输入的初始数据经过多层的运算之后得到一个最终的结果。
更具体地，在本申请实施例中，所述图像深层特征提取模块140，用于将所述浅层特征图输入与所述第一卷积神经网络模型级联的第二卷积神经网络模型以得到深层特征图。将所述浅层特征图输入与所述第一卷积神经网络模型级联的第二卷积神经网络模型中进行处理，以提取出所述预处理后FISH图像中关于循环肿瘤细胞的深层语义特征信息，有利于后续对于循环肿瘤细胞的检测判断，从而得到深层特征图。也就是说，在进行所述预处理后FISH图像的特征挖掘时，在提取出所述预处理后FISH图像中关于循环肿瘤细胞的深层丰富语义特征的同时，保留其在浅层的基础细节边缘特征，进而有利于后续进行循环肿瘤细胞的检测以及对于循环肿瘤细胞的数量统计。
相应地，在一个具体示例中，所述图像深层特征提取模块140，用于：所述第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：对输入数据进行卷积处理以得到第二卷积特征图；对所述第二卷积特征图进行均值池化处理以得到第二池化特征图；以及，对所述第二池化特征图进行非线性激活以得到第二激活特征图；其中，所述第二卷积神经网络模型的最后一层的输出为所述深层特征图，所述第二卷积神经网络模型的第一层的输入为所述浅层特征图。
更具体地，在本申请实施例中，所述特征融合模块150，用于融合所述浅层特征图和所述深层特征图以得到FISH特征图。以融合所述循环肿瘤细胞的浅层边缘细节等基础特征和深层语义特征，从而得到FISH特征图。
更具体地，在本申请实施例中，所述降维模块160，用于对所述FISH特征图进行沿通道维度的压缩以得到FISH特征矩阵。
更具体地，在本申请实施例中，所述图像语义分割模块170，用于对所述FISH特征矩阵进行图像语义分割以得到图像语义分割结果，并基于所述图像语义分割结果确定所述FISH图像中所包含的循环肿瘤细胞的数量。对所述FISH特征矩阵进行图像语义分割，以在检测到循环肿瘤细胞位置区域后进行相应地掩码操作，从而得到图像语义分割结果，即循环肿瘤细胞预测图。
相应地，在一个具体示例中，如图4所示，所述图像语义分割模块170，包括：语义分割单元171，用于对所述FISH特征矩阵进行图像语义分割以得到循环肿瘤细胞预测图；像素全连接编码单元172，用于将所述循环肿瘤细胞预测图通过第一全连接层以得到循环肿瘤细胞全连接特征向量；深度特征全连接编码单元173，用于将所述深层特征图通过第二全连接层以得到FISH深度特征向量；细胞特征融合单元174，用于融合所述循环肿瘤细胞全连接特征向量和所述FISH深度特征向量以得到融合特征向量；以及，计数单元175，用于将所述融合特征向量通过计数模块以得到所述FISH图像中所包含的循环肿瘤细胞的数量。
相应地，在一个具体示例中，如图5所示，所述像素全连接编码单元172，包括：图像像素展开子单元1721，用于将所述循环肿瘤细胞预测图展开为细胞预测一维像素特征向量；以及，全连接关联编码子单元1722，用于使用所述第一全连接层对所述细胞预测一维像素特征向量进行全连接编码以得到所述循环肿瘤细胞全连接特征向量。
相应地，在一个具体示例中，所述计数单元175，用于：使用所述计数模块的多个全连接层以如下解码公式对所述融合特征向量进行解码回归以获得所述FISH图像中所包含的循环肿瘤细胞的数量，其中，所述解码公式为：，其中/>是所述融合特征向量，/>是所述FISH图像中所包含的循环肿瘤细胞的数量，/>是权重矩阵，/>是偏置向量，/>表示矩阵乘，/>为激活函数。
相应地，在一个具体示例中，所述的循环肿瘤细胞扫描分析设备，还包括用于对所述作为特征提取器的第一卷积神经网络模型、与所述第一卷积神经网络模型级联的所述第二卷积神经网络模型和所述计数模块进行训练的训练模块。其中，如图6所示，所述训练模块200，包括：训练数据采集单元210，用于获取训练数据，所述训练数据包括训练FISH图像；训练图像预处理单元220，用于对所述训练FISH图像进行图像预处理以得到训练预处理后FISH图像；训练图像浅层特征提取单元230，用于将所述训练预处理后FISH图像通过所述作为特征提取器的第一卷积神经网络模型以得到训练浅层特征图；训练图像深层特征提取单元240，用于将所述训练浅层特征图输入与所述第一卷积神经网络模型级联的所述第二卷积神经网络模型以得到训练深层特征图；训练特征融合单元250，用于融合所述训练浅层特征图和所述训练深层特征图以得到训练FISH特征图；特征优化单元260，用于对所述训练FISH特征图进行类傅里叶尺度域概率修正以得到优化训练FISH特征图；训练降维单元270，用于对所述优化训练FISH特征图进行沿通道维度的压缩以得到训练FISH特征矩阵；计数损失单元280，用于对所述训练FISH特征矩阵进行图像语义分割后通过所述计数模块以得到计数损失函数值；以及，模型训练单元290，用于基于所述计数损失函数值并通过梯度下降的反向传播来对所述作为特征提取器的第一卷积神经网络模型、与所述第一卷积神经网络模型级联的所述第二卷积神经网络模型和所述计数模块进行训练。
特别地，在本申请的技术方案中，这里，在融合所述训练浅层特征图和所述训练深层特征图得到所述训练FISH特征图时，为了充分利用浅层特征和深层特征，优选地通过直接在通道维度级联所述训练浅层特征图和所述训练深层特征图来得到所述训练FISH特征图。在这种情况下，就会期望提升所述训练FISH特征图在通道维度与由作为特征提取器的第一卷积神经网络模型和第二卷积神经网络模型提取到的各个特征矩阵的图像语义表达维度上的一致性。由此，考虑到如果能够提升作为特征提取器的所述第一卷积神经网络模型和所述第二卷积神经网络模型在所述训练FISH特征图的图像语义表达的特征矩阵的宽度和高度维度以及聚合后的通道维度这三个维度上的整体特征学习关联度，则可以通过提升所述训练FISH特征图在通道维度与其各个特征矩阵的图像语义表达维度上的一致性来提升所述训练FISH特征图的分类结果的准确性。基于此，在训练过程中，对于所述训练FISH特征图进行类傅里叶尺度域概率修正。
相应地，在一个具体示例中，所述特征优化单元260，用于：以如下优化公式对所述训练FISH特征图进行类傅里叶尺度域概率修正以得到所述优化训练FISH特征图；其中，所述优化公式为：
其中，是所述训练FISH特征图的第/>位置的特征值，/>、/>和/>分别是所述训练FISH特征图的高度、宽度和通道数，且/>、/>和/>为用于尺度调节的超参数，/>表示指数运算，/>是所述优化训练FISH特征图的第/>位置的特征值。
这里，所述类傅里叶尺度域概率修正考虑到高维特征分布与其所在的尺度域的同源性，可以通过尺度空间的类傅里叶稀疏低秩变换，来基于尺度空间的低秩约束捕获同源空间下的潜在分布关联，从而在作为特征提取器的所述第一卷积神经网络模型和所述第二卷积神经网络模型的训练过程中，在进行图像语义的特征提取并进行通道维度的特征聚合分布的同时，实现具有特征图整体的尺度相干性的联合特征学习，以通过提高所述第一和第二卷积神经网络模型在整体特征图表达尺度下的学习关联度，来提升所获得的所述训练FISH特征图在通道维度与其各个特征矩阵的图像语义表达维度上的一致性，从而提升所述训练FISH特征图通过分类器得到的训练分类结果的准确性。这样，能够对于循环肿瘤细胞进行自动检测，从而对于肿瘤细胞的数量进行确定。
综上，基于本申请实施例的循环肿瘤细胞扫描分析设备100被阐明，其首先对由荧光显微镜采集的FISH图像进行图像预处理以得到预处理后FISH图像，接着，将所述预处理后FISH图像通过作为特征提取器的第一卷积神经网络模型以得到浅层特征图，然后，将所述浅层特征图输入与所述第一卷积神经网络模型级联的第二卷积神经网络模型以得到深层特征图，接着，融合所述浅层特征图和所述深层特征图以得到FISH特征图，然后，对所述FISH特征图进行沿通道维度的压缩以得到FISH特征矩阵，最后，对所述FISH特征矩阵进行图像语义分割以得到图像语义分割结果，并基于所述图像语义分割结果确定所述FISH图像中所包含的循环肿瘤细胞的数量。这样，可以实现精准的检测。
如上所述，根据本申请实施例的基于本申请实施例的循环肿瘤细胞扫描分析设备100可以实现在各种终端设备中，例如具有基于本申请实施例的循环肿瘤细胞扫描分析算法的服务器等。在一个示例中，基于本申请实施例的循环肿瘤细胞扫描分析设备100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于本申请实施例的循环肿瘤细胞扫描分析设备100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于本申请实施例的循环肿瘤细胞扫描分析设备100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于本申请实施例的循环肿瘤细胞扫描分析设备100与该终端设备也可以是分立的设备，并且该循环肿瘤细胞扫描分析设备100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图7为根据本申请实施例的循环肿瘤细胞扫描分析方法的流程图。如图7所示，根据本申请实施例的循环肿瘤细胞扫描分析方法，其包括：S110，获取由荧光显微镜采集的FISH图像；S120，对所述FISH图像进行图像预处理以得到预处理后FISH图像；S130，将所述预处理后FISH图像通过作为特征提取器的第一卷积神经网络模型以得到浅层特征图；S140，将所述浅层特征图输入与所述第一卷积神经网络模型级联的第二卷积神经网络模型以得到深层特征图；S150，融合所述浅层特征图和所述深层特征图以得到FISH特征图；S160，对所述FISH特征图进行沿通道维度的压缩以得到FISH特征矩阵；以及，S170，对所述FISH特征矩阵进行图像语义分割以得到图像语义分割结果，并基于所述图像语义分割结果确定所述FISH图像中所包含的循环肿瘤细胞的数量。
图8为根据本申请实施例的循环肿瘤细胞扫描分析方法的系统架构的示意图。如图8所示，在所述循环肿瘤细胞扫描分析方法的系统架构中，首先，获取由荧光显微镜采集的FISH图像；接着，对所述FISH图像进行图像预处理以得到预处理后FISH图像；然后，将所述预处理后FISH图像通过作为特征提取器的第一卷积神经网络模型以得到浅层特征图；接着，将所述浅层特征图输入与所述第一卷积神经网络模型级联的第二卷积神经网络模型以得到深层特征图；然后，融合所述浅层特征图和所述深层特征图以得到FISH特征图；接着，对所述FISH特征图进行沿通道维度的压缩以得到FISH特征矩阵；最后，对所述FISH特征矩阵进行图像语义分割以得到图像语义分割结果，并基于所述图像语义分割结果确定所述FISH图像中所包含的循环肿瘤细胞的数量。
在一个具体示例中，在上述循环肿瘤细胞扫描分析方法中，对所述FISH图像进行图像预处理以得到预处理后FISH图像，包括：使用图像编码器的卷积层对所述FISH图像进行显式空间编码以得到图像特征；以及，使用所述图像解码器的反卷积层对所述图像特征进行反卷积处理以得到所述预处理后FISH图像。
在一个具体示例中，在上述循环肿瘤细胞扫描分析方法中，将所述预处理后FISH图像通过作为特征提取器的第一卷积神经网络模型以得到浅层特征图，包括：所述第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：对输入数据进行卷积处理以得到第一卷积特征图；对所述第一卷积特征图进行均值池化处理以得到第一池化特征图；以及，对所述第一池化特征图进行非线性激活以得到第一激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述浅层特征图，所述第一卷积神经网络模型的第一层的输入为所述预处理后FISH图像。
在一个具体示例中，在上述循环肿瘤细胞扫描分析方法中，将所述浅层特征图输入与所述第一卷积神经网络模型级联的第二卷积神经网络模型以得到深层特征图，包括：所述第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：对输入数据进行卷积处理以得到第二卷积特征图；对所述第二卷积特征图进行均值池化处理以得到第二池化特征图；以及，对所述第二池化特征图进行非线性激活以得到第二激活特征图；其中，所述第二卷积神经网络模型的最后一层的输出为所述深层特征图，所述第二卷积神经网络模型的第一层的输入为所述浅层特征图。
在一个具体示例中，在上述循环肿瘤细胞扫描分析方法中，对所述FISH特征矩阵进行图像语义分割以得到图像语义分割结果，并基于所述图像语义分割结果确定所述FISH图像中所包含的循环肿瘤细胞的数量，包括：对所述FISH特征矩阵进行图像语义分割以得到循环肿瘤细胞预测图；将所述循环肿瘤细胞预测图通过第一全连接层以得到循环肿瘤细胞全连接特征向量；将所述深层特征图通过第二全连接层以得到FISH深度特征向量；融合所述循环肿瘤细胞全连接特征向量和所述FISH深度特征向量以得到融合特征向量；以及，将所述融合特征向量通过计数模块以得到所述FISH图像中所包含的循环肿瘤细胞的数量。
在一个具体示例中，在上述循环肿瘤细胞扫描分析方法中，将所述循环肿瘤细胞预测图通过第一全连接层以得到循环肿瘤细胞全连接特征向量，包括：将所述循环肿瘤细胞预测图展开为细胞预测一维像素特征向量；以及，使用所述第一全连接层对所述细胞预测一维像素特征向量进行全连接编码以得到所述循环肿瘤细胞全连接特征向量。
在一个具体示例中，在上述循环肿瘤细胞扫描分析方法中，将所述融合特征向量通过计数模块以得到所述FISH图像中所包含的循环肿瘤细胞的数量，包括：使用所述计数模块的多个全连接层以如下解码公式对所述融合特征向量进行解码回归以获得所述FISH图像中所包含的循环肿瘤细胞的数量，其中，所述解码公式为：，其中是所述融合特征向量，/>是所述FISH图像中所包含的循环肿瘤细胞的数量，/>是权重矩阵，/>是偏置向量，/>表示矩阵乘，/>为激活函数。
在一个具体示例中，在上述循环肿瘤细胞扫描分析方法中，还包括用于对所述作为特征提取器的第一卷积神经网络模型、与所述第一卷积神经网络模型级联的所述第二卷积神经网络模型和所述计数模块进行训练的训练步骤。其中，所述训练步骤，包括：获取训练数据，所述训练数据包括训练FISH图像；对所述训练FISH图像进行图像预处理以得到训练预处理后FISH图像；将所述训练预处理后FISH图像通过所述作为特征提取器的第一卷积神经网络模型以得到训练浅层特征图；将所述训练浅层特征图输入与所述第一卷积神经网络模型级联的所述第二卷积神经网络模型以得到训练深层特征图；融合所述训练浅层特征图和所述训练深层特征图以得到训练FISH特征图；对所述训练FISH特征图进行类傅里叶尺度域概率修正以得到优化训练FISH特征图；对所述优化训练FISH特征图进行沿通道维度的压缩以得到训练FISH特征矩阵；对所述训练FISH特征矩阵进行图像语义分割后通过所述计数模块以得到计数损失函数值；以及，基于所述计数损失函数值并通过梯度下降的反向传播来对所述作为特征提取器的第一卷积神经网络模型、与所述第一卷积神经网络模型级联的所述第二卷积神经网络模型和所述计数模块进行训练。
在一个具体示例中，在上述循环肿瘤细胞扫描分析方法中，对所述训练FISH特征图进行类傅里叶尺度域概率修正以得到优化训练FISH特征图，包括：以如下优化公式对所述训练FISH特征图进行类傅里叶尺度域概率修正以得到所述优化训练FISH特征图；其中，所述优化公式为：
其中，是所述训练FISH特征图的第/>位置的特征值，/>、/>和/>分别是所述训练FISH特征图的高度、宽度和通道数，且/>、/>和/>为用于尺度调节的超参数，/>表示指数运算，/>是所述优化训练FISH特征图的第/>位置的特征值。
这里，本领域技术人员可以理解，上述循环肿瘤细胞扫描分析方法中的各个步骤的具体操作已经在上面参考图1到图6的循环肿瘤细胞扫描分析设备100的描述中得到了详细介绍，并因此，将省略其重复描述。
根据本申请的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的方法。
技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
所有软件或其中的一部分有时可能会通过网络进行通信，如互联网或其他通信网络。此类通信可以将软件从一个计算机设备或处理器加载到另一个。例如：从视频目标检测设备的一个服务器或主机计算机加载至一个计算机环境的硬件平台，或其他实现系统的计算机环境，或与提供目标检测所需要的信息相关的类似功能的系统。因此，另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接，例如光波、电波、电磁波等，通过电缆、光缆或者空气等实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备，也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质，其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。
本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (8)

1.一种循环肿瘤细胞扫描分析设备，其特征在于，包括：
图像采集模块，用于获取由荧光显微镜采集的FISH图像；
图像预处理模块，用于对所述FISH图像进行图像预处理以得到预处理后FISH图像；
图像浅层特征提取模块，用于将所述预处理后FISH图像通过作为特征提取器的第一卷积神经网络模型以得到浅层特征图；
图像深层特征提取模块，用于将所述浅层特征图输入与所述第一卷积神经网络模型级联的第二卷积神经网络模型以得到深层特征图；
特征融合模块，用于融合所述浅层特征图和所述深层特征图以得到FISH特征图；
降维模块，用于对所述FISH特征图进行沿通道维度的压缩以得到FISH特征矩阵；以及
图像语义分割模块，用于对所述FISH特征矩阵进行图像语义分割以得到图像语义分割结果，并基于所述图像语义分割结果确定所述FISH图像中所包含的循环肿瘤细胞的数量；
其中，所述图像语义分割模块，包括：
语义分割单元，用于对所述FISH特征矩阵进行图像语义分割以得到循环肿瘤细胞预测图；
像素全连接编码单元，用于将所述循环肿瘤细胞预测图通过第一全连接层以得到循环肿瘤细胞全连接特征向量；
深度特征全连接编码单元，用于将所述深层特征图通过第二全连接层以得到FISH深度特征向量；
细胞特征融合单元，用于融合所述循环肿瘤细胞全连接特征向量和所述FISH深度特征向量以得到融合特征向量；以及
计数单元，用于将所述融合特征向量通过计数模块以得到所述FISH图像中所包含的循环肿瘤细胞的数量；
其中，所述像素全连接编码单元，包括：
图像像素展开子单元，用于将所述循环肿瘤细胞预测图展开为细胞预测一维像素特征向量；以及
全连接关联编码子单元，用于使用所述第一全连接层对所述细胞预测一维像素特征向量进行全连接编码以得到所述循环肿瘤细胞全连接特征向量。
2.根据权利要求1所述的循环肿瘤细胞扫描分析设备，其特征在于，所述图像预处理模块，包括：
编码单元，用于使用图像编码器的卷积层对所述FISH图像进行显式空间编码以得到图像特征；以及
解码单元，用于使用所述图像解码器的反卷积层对所述图像特征进行反卷积处理以得到所述预处理后FISH图像。
3.根据权利要求2所述的循环肿瘤细胞扫描分析设备，其特征在于，所述图像浅层特征提取模块，用于：
所述第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：
对输入数据进行卷积处理以得到第一卷积特征图；
对所述第一卷积特征图进行均值池化处理以得到第一池化特征图；以及
对所述第一池化特征图进行非线性激活以得到第一激活特征图；
其中，所述第一卷积神经网络模型的最后一层的输出为所述浅层特征图，所述第一卷积神经网络模型的第一层的输入为所述预处理后FISH图像。
4.根据权利要求3所述的循环肿瘤细胞扫描分析设备，其特征在于，所述图像深层特征提取模块，用于：
所述第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：
对输入数据进行卷积处理以得到第二卷积特征图；
对所述第二卷积特征图进行均值池化处理以得到第二池化特征图；以及
对所述第二池化特征图进行非线性激活以得到第二激活特征图；
其中，所述第二卷积神经网络模型的最后一层的输出为所述深层特征图，所述第二卷积神经网络模型的第一层的输入为所述浅层特征图。
5.根据权利要求4所述的循环肿瘤细胞扫描分析设备，其特征在于，所述计数单元，用于：
使用所述计数模块的多个全连接层以如下解码公式对所述融合特征向量进行解码回归以获得所述FISH图像中所包含的循环肿瘤细胞的数量，其中，所述解码公式为：，其中/>是所述融合特征向量，/>是所述FISH图像中所包含的循环肿瘤细胞的数量，/>是权重矩阵，/>是偏置向量，/>表示矩阵乘，/>为激活函数。
6.根据权利要求5所述的循环肿瘤细胞扫描分析设备，其特征在于，还包括用于对所述作为特征提取器的第一卷积神经网络模型、与所述第一卷积神经网络模型级联的所述第二卷积神经网络模型和所述计数模块进行训练的训练模块。
7.根据权利要求6所述的循环肿瘤细胞扫描分析设备，其特征在于，所述训练模块，包括：
训练数据采集单元，用于获取训练数据，所述训练数据包括训练FISH图像；
训练图像预处理单元，用于对所述训练FISH图像进行图像预处理以得到训练预处理后FISH图像；
训练图像浅层特征提取单元，用于将所述训练预处理后FISH图像通过所述作为特征提取器的第一卷积神经网络模型以得到训练浅层特征图；
训练图像深层特征提取单元，用于将所述训练浅层特征图输入与所述第一卷积神经网络模型级联的所述第二卷积神经网络模型以得到训练深层特征图；
训练特征融合单元，用于融合所述训练浅层特征图和所述训练深层特征图以得到训练FISH特征图；
特征优化单元，用于对所述训练FISH特征图进行类傅里叶尺度域概率修正以得到优化训练FISH特征图；
训练降维单元，用于对所述优化训练FISH特征图进行沿通道维度的压缩以得到训练FISH特征矩阵；
计数损失单元，用于对所述训练FISH特征矩阵进行图像语义分割后通过所述计数模块以得到计数损失函数值；以及
模型训练单元，用于基于所述计数损失函数值并通过梯度下降的反向传播来对所述作为特征提取器的第一卷积神经网络模型、与所述第一卷积神经网络模型级联的所述第二卷积神经网络模型和所述计数模块进行训练。
8.根据权利要求7所述的循环肿瘤细胞扫描分析设备，其特征在于，所述特征优化单元，用于：
以如下优化公式对所述训练FISH特征图进行类傅里叶尺度域概率修正以得到所述优化训练FISH特征图；
其中，所述优化公式为：
其中，是所述训练FISH特征图的第/>位置的特征值，/>、/>和/>分别是所述训练FISH特征图的高度、宽度和通道数，且/>、/>和/>为用于尺度调节的超参数，/>表示指数运算，/>是所述优化训练FISH特征图的第/>位置的特征值。
CN202310474375.0A 2023-04-28 2023-04-28 循环肿瘤细胞扫描分析设备 Active CN116189179B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310474375.0A CN116189179B (zh) 2023-04-28 2023-04-28 循环肿瘤细胞扫描分析设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310474375.0A CN116189179B (zh) 2023-04-28 2023-04-28 循环肿瘤细胞扫描分析设备

Publications (2)

Publication Number Publication Date
CN116189179A CN116189179A (zh) 2023-05-30
CN116189179B true CN116189179B (zh) 2023-08-15

Family

ID=86442617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310474375.0A Active CN116189179B (zh) 2023-04-28 2023-04-28 循环肿瘤细胞扫描分析设备

Country Status (1)

Country Link
CN (1) CN116189179B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116416248A (zh) * 2023-06-08 2023-07-11 杭州华得森生物技术有限公司 基于荧光显微镜的智能分析系统及其方法
CN116402818A (zh) * 2023-06-08 2023-07-07 杭州华得森生物技术有限公司 全自动荧光扫描仪及其方法
CN116434226B (zh) * 2023-06-08 2024-03-19 杭州华得森生物技术有限公司 循环肿瘤细胞分析仪
CN116393188B (zh) * 2023-06-08 2024-02-27 杭州华得森生物技术有限公司 适用于循环肿瘤细胞捕捉的微流控芯片及其方法
CN116403213A (zh) * 2023-06-08 2023-07-07 杭州华得森生物技术有限公司 基于人工智能的循环肿瘤细胞检测仪及其方法
CN116630386B (zh) * 2023-06-12 2024-02-20 新疆生产建设兵团医院 Cta扫描图像处理方法及其系统
CN116862877A (zh) * 2023-07-12 2023-10-10 新疆生产建设兵团医院 基于卷积神经网络的扫描图像分析系统及其方法
CN117218127B (zh) * 2023-11-09 2024-01-26 吉林大学 超声内镜辅助监测系统及方法
CN117292067B (zh) * 2023-11-24 2024-03-05 中影年年(北京)科技有限公司 基于扫描实物获得的虚拟3d模型方法及系统
CN117332179B (zh) * 2023-12-01 2024-02-06 北京金恒博远科技股份有限公司 一种超大量数据曲线的网页展示方法
CN117672463B (zh) * 2024-02-02 2024-04-05 吉林大学 用于放射治疗的数据处理系统及方法
CN117764994B (zh) * 2024-02-22 2024-05-10 浙江首鼎视介科技有限公司 基于人工智能的胆胰成像系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748256A (zh) * 2017-10-11 2018-03-02 上海医盈网络科技有限公司 一种循环肿瘤细胞的液体活检检测方法
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN109886273A (zh) * 2019-02-26 2019-06-14 四川大学华西医院 一种cmr图像分割分类系统
CN114155399A (zh) * 2021-12-02 2022-03-08 上海派影医疗科技有限公司 基于多特征融合递进式判别的乳腺病理全切片分类方法
CN115063796A (zh) * 2022-08-18 2022-09-16 珠海横琴圣澳云智科技有限公司 基于信号点内容约束的细胞分类方法和装置
CN115082494A (zh) * 2022-06-22 2022-09-20 广东工业大学 一种基于多标签与分割网络的冠状动脉图像分割方法
CN115410050A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 基于机器视觉的肿瘤细胞检测设备及其方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112868024A (zh) * 2018-10-15 2021-05-28 文塔纳医疗系统公司 用于细胞分类的系统和方法
CN111178449B (zh) * 2019-12-31 2021-11-05 浙江大学 结合计算机视觉特征和影像组学特征的肝癌图像分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748256A (zh) * 2017-10-11 2018-03-02 上海医盈网络科技有限公司 一种循环肿瘤细胞的液体活检检测方法
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN109886273A (zh) * 2019-02-26 2019-06-14 四川大学华西医院 一种cmr图像分割分类系统
CN114155399A (zh) * 2021-12-02 2022-03-08 上海派影医疗科技有限公司 基于多特征融合递进式判别的乳腺病理全切片分类方法
CN115082494A (zh) * 2022-06-22 2022-09-20 广东工业大学 一种基于多标签与分割网络的冠状动脉图像分割方法
CN115063796A (zh) * 2022-08-18 2022-09-16 珠海横琴圣澳云智科技有限公司 基于信号点内容约束的细胞分类方法和装置
CN115410050A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 基于机器视觉的肿瘤细胞检测设备及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
个性化虚拟手术研究综述;郝爱民;中国科学基金;第36卷(第2期);206-213 *

Also Published As

Publication number Publication date
CN116189179A (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN116189179B (zh) 循环肿瘤细胞扫描分析设备
EP3864577B1 (en) Systems and methods for image preprocessing
Zhang et al. DDTNet: A dense dual-task network for tumor-infiltrating lymphocyte detection and segmentation in histopathological images of breast cancer
CN116363123B (zh) 对循环肿瘤细胞检测的荧光显微成像系统及其方法
CN115410050B (zh) 基于机器视觉的肿瘤细胞检测设备及其方法
CN108510004B (zh) 一种基于深度残差网络的细胞分类方法及系统
CN113239993B (zh) 一种病理图像的分类系统、终端及计算机可读存储介质
CN116287138B (zh) 基于fish的细胞检测系统及其方法
CN110827236A (zh) 基于神经网络的脑组织分层方法、装置、计算机设备
CN116434226B (zh) 循环肿瘤细胞分析仪
CN113593714A (zh) 一种多分类新冠肺炎病例的检测方法、系统、设备及介质
CN117015796A (zh) 处理组织图像的方法和用于处理组织图像的系统
CA3145370A1 (en) Systems and methods for mesothelioma feature detection and enhanced prognosis or response to treatment
CN111680575A (zh) 一种人类上皮细胞染色分类装置、设备及存储介质
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN113705595A (zh) 异常细胞转移程度的预测方法、装置和存储介质
Wang et al. Fast cancer metastasis location based on dual magnification hard example mining network in whole-slide images
Guo et al. Pathological Detection of Micro and Fuzzy Gastric Cancer Cells Based on Deep Learning.
Marini et al. Semi-supervised learning with a teacher-student paradigm for histopathology classification: a resource to face data heterogeneity and lack of local annotations
CN115035339A (zh) 一种基于人工智能的膀胱镜图像分类方法
CN114078137A (zh) 一种基于深度学习的阴道镜图像筛选方法、装置和电子设备
Ren et al. Statistical analysis of survival models using feature quantification on prostate cancer histopathological images
CN116309543B (zh) 基于图像的循环肿瘤细胞检测设备
CN116309595B (zh) Ctc智能全自动检测一体机及其方法
Villareal et al. Patch-Based Convolutional Neural Networks for TCGA-BRCA Breast Cancer Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant