CN116309595A - Ctc智能全自动检测一体机及其方法 - Google Patents

Ctc智能全自动检测一体机及其方法 Download PDF

Info

Publication number
CN116309595A
CN116309595A CN202310581392.4A CN202310581392A CN116309595A CN 116309595 A CN116309595 A CN 116309595A CN 202310581392 A CN202310581392 A CN 202310581392A CN 116309595 A CN116309595 A CN 116309595A
Authority
CN
China
Prior art keywords
full
region
interest
shallow
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310581392.4A
Other languages
English (en)
Other versions
CN116309595B (zh
Inventor
张开山
李超
郭志敏
饶浪晴
于磊
马宁
刘艳省
田华
赵丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HANGZHOU WATSON BIOTECH Inc
Original Assignee
HANGZHOU WATSON BIOTECH Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HANGZHOU WATSON BIOTECH Inc filed Critical HANGZHOU WATSON BIOTECH Inc
Priority to CN202310581392.4A priority Critical patent/CN116309595B/zh
Publication of CN116309595A publication Critical patent/CN116309595A/zh
Application granted granted Critical
Publication of CN116309595B publication Critical patent/CN116309595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种CTC智能全自动检测一体机及其方法。其首先将显微图像通过感兴趣区域生成器以得到感兴趣区域图像，接着，将所述感兴趣区域图像通过第一卷积神经网络模型以得到浅层特征图，然后，将所述浅层特征图通过第一全连接层以得到浅层全连接特征向量，接着，将所述感兴趣区域图像通过第二全连接层以得到感兴趣区域源域全连接特征向量，然后，融合所述浅层全连接特征向量和所述感兴趣区域源域全连接特征向量以得到解码特征向量，最后，将所述解码特征向量通过基于解码器的计数模块以得到用于表示CTC细胞数量的解码值。这样，提升计数的准确率。

Description

CTC智能全自动检测一体机及其方法
技术领域
本申请涉及智能检测领域，且更为具体地，涉及一种CTC智能全自动检测一体机及其方法。
背景技术
CTC检测流程是一种用于检测循环肿瘤细胞（CTC）的方法，CTC是从原发肿瘤或转移灶脱落进入血液循环的肿瘤细胞，它们可以反映肿瘤的生物学特征和治疗反应。
CTC检测流程包括以下几个步骤：1、样本采集：从患者静脉采集5-10毫升的全血样本，保存在含有抗凝剂的试管中，尽快进行后续处理。2、PBMC分离：利用密度梯度离心法，将全血样本分离为红细胞、白细胞和血浆三层，收集白细胞层，即外周血单个核细胞（PBMC），其中可能含有CTC。3、CTC富集和捕获：利用免疫磁珠法或微流控芯片法，根据CTC表面的特异性标志物（如表皮生长因子受体（EGFR）或上皮细胞黏附分子（EpCAM）），与相应的抗体结合，从PBMC中富集和捕获CTC。4、免疫荧光染色：利用荧光标记的抗体，对捕获的CTC进行染色，通常使用上皮细胞特异性标志物（如CK）、白细胞特异性标志物（如CD45）和核染料（如DAPI）进行双重或三重染色，以区分CTC和其他细胞。5、荧光显微镜检测：利用荧光显微镜，对染色后的CTC进行观察和计数，根据不同的荧光信号和形态特征，判断CTC的数量和类型。6、CTCFISH技术：利用荧光原位杂交（FISH）技术，对CTC进行基因水平的分析，检测CTC中某些基因的扩增或缺失情况，如HER2、EGFR等，为肿瘤的靶向治疗提供指导。
在荧光显微镜检测过程中，会存在诸多问题，例如，染色会引入背景噪声和自发荧光；由于肿瘤细胞的不同来源和生物学特征，CTC在形态上也表现出一定的异质性，如大小、形状。传统的人工计数，由于不同的操作者和评估者之间存在主观差异，如视野角度、观察时间、判断标准等不同，计数结果会产生偏差。因此，期待一种CTC自动检测方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种CTC智能全自动检测一体机及其方法。其首先将显微图像通过感兴趣区域生成器以得到感兴趣区域图像，接着，将所述感兴趣区域图像通过第一卷积神经网络模型以得到浅层特征图，然后，将所述浅层特征图通过第一全连接层以得到浅层全连接特征向量，接着，将所述感兴趣区域图像通过第二全连接层以得到感兴趣区域源域全连接特征向量，然后，融合所述浅层全连接特征向量和所述感兴趣区域源域全连接特征向量以得到解码特征向量，最后，将所述解码特征向量通过基于解码器的计数模块以得到用于表示CTC细胞数量的解码值。这样，提升计数的准确率。
根据本申请的一个方面，提供了一种CTC智能全自动检测一体机，其包括：显微数据获取模块，用于获取由荧光显示镜观察到的显微图像；感兴趣区域生成模块，用于将所述显微图像通过基于编码器-解码器结构的感兴趣区域生成器以得到感兴趣区域图像；浅层特征提取模块，用于将所述感兴趣区域图像通过作为浅层特征提取器的第一卷积神经网络模型以得到浅层特征图；浅层特征全连接模块，用于将所述浅层特征图通过第一全连接层以得到浅层全连接特征向量；图像全连接模块，用于将所述感兴趣区域图像通过第二全连接层以得到感兴趣区域源域全连接特征向量；特征融合模块，用于融合所述浅层全连接特征向量和所述感兴趣区域源域全连接特征向量以得到解码特征向量；以及解码回归模块，用于将所述解码特征向量通过基于解码器的计数模块以得到用于表示CTC细胞数量的解码值。
在上述的CTC智能全自动检测一体机中，所述感兴趣区域生成模块，包括：编码单元，用于通过所述感兴趣区域生成器的编码器使用卷积层对所述显微图像进行显式空间编码以得到图像特征；以及解码单元，用于通过所述感兴趣区域生成器的解码器使用反卷积层对所述图像特征进行反卷积处理以得到所述感兴趣区域图像。
在上述的CTC智能全自动检测一体机中，所述浅层特征提取模块，用于：使用所述第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行卷积处理、池化处理和非线性激活处理以从所述第一卷积神经网络模型的浅层提取所述浅层特征图。
在上述的CTC智能全自动检测一体机中，所述浅层特征全连接模块，用于：所述第一全连接层对输入数据进行卷积处理以得到第一卷积特征图；对所述第一卷积特征图进行基于局部特征矩阵的均值池化以得到第一池化特征图；以及对所述第一池化特征图进行非线性激活以得到第一激活特征图；其中，所述第一全连接层的输出为所述浅层全连接特征向量，所述第一全连接层的输入为所述浅层特征图。
在上述的CTC智能全自动检测一体机中，所述图像全连接模块，用于：所述第二全连接层对输入数据进行卷积处理以得到第二卷积特征图；对所述第二卷积特征图进行基于局部特征矩阵的均值池化以得到第二池化特征图；以及对所述第二池化特征图进行非线性激活以得到第二激活特征图；其中，所述第二全连接层的输出为所述感兴趣区域源域全连接特征向量，所述第二全连接层的输入为所述感兴趣区域图像。
在上述的CTC智能全自动检测一体机中，特征融合模块，用于：以如下融公式来融合所述浅层全连接特征向量和所述感兴趣区域源域全连接特征向量以得到所述解码特征向量；其中，所述融公式为：
Figure SMS_1
，其中，/>
Figure SMS_2
表示所述浅层全连接特征向量,
Figure SMS_3
表示所述感兴趣区域源域全连接特征向量，/>
Figure SMS_4
表示级联函数，/>
Figure SMS_5
表示所述解码特征向量。
在上述的CTC智能全自动检测一体机中，所述解码回归模块，用于：使用所述计数模块的解码器的多个全连接层以如下解码公式对所述解码特征向量进行解码回归以获得所述解码值，其中，所述解码公式为：
Figure SMS_6
，其中，/>
Figure SMS_7
是所述解码特征向量，/>
Figure SMS_8
是所述解码值，/>
Figure SMS_9
是权重矩阵，/>
Figure SMS_10
是偏置向量，/>
Figure SMS_11
表示矩阵乘， />
Figure SMS_12
为激活函数。
在上述的CTC智能全自动检测一体机中，还包括用于对所述基于编码器-解码器结构的感兴趣区域生成器、所述作为浅层特征提取器的第一卷积神经网络模型、所述第一全连接层、所述第二全连接层和所述解码器进行训练的训练模块；其中，所述训练模块，包括：训练数据获取单元，用于获取训练数据，所述训练数据包括由荧光显示镜观察到的训练显微图像，以及，CTC细胞数量的真实值；训练感兴趣区域生成单元，用于将所述训练显微图像通过所述基于编码器-解码器结构的感兴趣区域生成器以得到训练感兴趣区域图像；训练浅层特征提取单元，用于将所述训练感兴趣区域图像通过所述作为浅层特征提取器的第一卷积神经网络模型以得到训练浅层特征图；训练浅层特征全连接单元，用于将所述训练浅层特征图通过所述第一全连接层以得到训练浅层全连接特征向量；训练图像全连接单元，用于将所述训练感兴趣区域图像通过所述第二全连接层以得到训练感兴趣区域源域全连接特征向量；训练特征融合单元，用于融合所述训练浅层全连接特征向量和所述训练感兴趣区域源域全连接特征向量以得到训练解码特征向量；解码损失单元，用于将所述训练解码特征向量通过所述基于解码器的计数模块以得到解码损失函数值；流式精细化损失单元，用于计算基于所述训练浅层全连接特征向量和所述训练感兴趣区域源域全连接特征向量的流式精细化损失函数值；以及训练单元，用于计算所述解码损失函数值和所述流式精细化损失函数值的加权和作为损失函数值，并基于梯度下降的传播方向来对所述基于编码器-解码器结构的感兴趣区域生成器、所述作为浅层特征提取器的第一卷积神经网络模型、所述第一全连接层、所述第二全连接层和所述解码器进行训练。
在上述的CTC智能全自动检测一体机中，所述流式精细化损失单元，用于：以如下损失函数公式计算基于所述训练浅层全连接特征向量和所述训练感兴趣区域源域全连接特征向量的流式精细化损失函数值；其中，所述损失函数公式为：
Figure SMS_15
，其中，/>
Figure SMS_17
表示所述训练浅层全连接特征向量，/>
Figure SMS_19
表示所述训练感兴趣区域源域全连接特征向量，/>
Figure SMS_14
表示向量的二范数的平方，且/>
Figure SMS_16
和/>
Figure SMS_18
分别表示向量的逐位置减法和乘法，/>
Figure SMS_20
表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，/>
Figure SMS_13
表示所述流式精细化损失函数值。
根据本申请的一个方面，提供了一种CTC智能全自动检测一体机的检测方法，其包括：获取由荧光显示镜观察到的显微图像；将所述显微图像通过基于编码器-解码器结构的感兴趣区域生成器以得到感兴趣区域图像；将所述感兴趣区域图像通过作为浅层特征提取器的第一卷积神经网络模型以得到浅层特征图；将所述浅层特征图通过第一全连接层以得到浅层全连接特征向量；将所述感兴趣区域图像通过第二全连接层以得到感兴趣区域源域全连接特征向量；融合所述浅层全连接特征向量和所述感兴趣区域源域全连接特征向量以得到解码特征向量；以及
将所述解码特征向量通过基于解码器的计数模块以得到用于表示CTC细胞数量的解码值。
与现有技术相比，本申请提供的CTC智能全自动检测一体机及其方法，其首先将显微图像通过感兴趣区域生成器以得到感兴趣区域图像，接着，将所述感兴趣区域图像通过第一卷积神经网络模型以得到浅层特征图，然后，将所述浅层特征图通过第一全连接层以得到浅层全连接特征向量，接着，将所述感兴趣区域图像通过第二全连接层以得到感兴趣区域源域全连接特征向量，然后，融合所述浅层全连接特征向量和所述感兴趣区域源域全连接特征向量以得到解码特征向量，最后，将所述解码特征向量通过基于解码器的计数模块以得到用于表示CTC细胞数量的解码值。这样，提升计数的准确率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。
图1为根据本申请实施例的CTC智能全自动检测一体机的应用场景图。
图2为根据本申请实施例的CTC智能全自动检测一体机的框图示意图。
图3为根据本申请实施例的CTC智能全自动检测一体机中所述感兴趣区域生成模块的框图示意图。
图4为根据本申请实施例的CTC智能全自动检测一体机中进一步包括的训练模块的框图示意图。
图5为根据本申请实施例的CTC智能全自动检测一体机的检测方法的流程图。
图6为根据本申请实施例的CTC智能全自动检测一体机的检测方法的系统架构的示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
针对上述技术问题，本申请的技术构思为：利用基于深度学习的图像处理技术，从由荧光显示镜观察到的显微图像中提取图像特征并进行解码回归处理，实现对CTC细胞数量的自动化分析和计数。
具体地，在本申请的技术方案中，首先，获取由荧光显示镜观察到的显微图像。这里，荧光显微镜利用紫外线或其他波长的光激发被检物体发出荧光，这样可以揭示被检物体的结构、功能和相互作用。
由于荧光显微镜拍摄到的所述显微图像通常包含很多不同种类的细胞和噪声等干扰信息，在本申请的技术方案中，将所述显微图像通过基于编码器-解码器结构的感兴趣区域生成器以得到感兴趣区域图像。这里，基于编码器-解码器结构的感兴趣区域生成器可以实现自动化的感兴趣区域提取。具体而言，它可以对原始图像进行处理和分析，将包含CTC细胞的区域自动筛选出来，并生成相应的感兴趣区域图像。通过这样的方式，可以有效降低后续模型的计算复杂度，且更聚焦于感兴趣区域的识别和特征提取。
接着，将所述感兴趣区域图像通过作为浅层特征提取器的第一卷积神经网络模型以得到浅层特征图。这里，卷积神经网络（Convolutional Neural Network，CNN）是一种深度学习模型，它可以有效地从图像中提取有关CTC细胞的高维特征信息。具体而言，卷积神经网络会对感兴趣区域图像进行多次卷积、池化等操作，从而提取感兴趣区域图像中的浅层特征，如边缘、纹理、颜色等，形成浅层特征图。这样可以捕捉CTC的基本形态特征。
然后，将所述浅层特征图通过第一全连接层以得到浅层全连接特征向量。这里，利用全连接层（FC）来将浅层特征图转化为一维的浅层全连接特征向量，可以降低数据的维度，减少计算量，同时保留CTC的形态信息。
如前所述，浅层全连接特征向量是从第一卷积神经网络模型中提取的，它包含了感兴趣区域图像的低层次的视觉信息，如边缘、纹理、颜色等，这些信息对于区分CTC和其他细胞是有用的，但是不足以捕捉CTC的高层次的形态特征，如大小、形状、核分裂等。同时，由于不同的CTC可能有不同的形态、大小、位置，而这些差异会影响CTC在显微图像中的可见性和可分辨性。例如，一个较大、较明显、位于中心位置的CTC比一个较小、较模糊、位于边缘位置的CTC更容易被检测到。在本申请的技术方案中，将所述感兴趣区域图像通过第二全连接层以得到感兴趣区域源域全连接特征向量。也就是说，通过所述第二全连接层可以提取感兴趣区域图像的高层特征，即反映CTC的形态、大小、位置等信息的特征，以提高模型对于感兴趣区域图像中CTC特征的表达能力和判别能力。
为了更加全面地描述CTC细胞的特征，在本申请的技术方案中融合所述浅层全连接特征向量和所述感兴趣区域源域全连接特征向量以实现对CTC的综合表征，既利用了低层次的视觉信息，又保留了全连接的形态特征，从而得到解码特征向量。
继而，将所述解码特征向量通过基于解码器的计数模块以得到用于表示CTC细胞数量的解码值。这里，基于解码器的计数模块是一个回归模型，它将解码特征向量作为输入，输出一个实数值，表示CTC细胞的数量。也就是，使用回归模型可以更灵活地适应不同的CTC细胞数量，并避免人工干预和主观差异带来的计数不准确。
这里，在融合所述浅层全连接特征向量和所述感兴趣区域源域全连接特征向量得到所述解码特征向量时，考虑到所述浅层全连接特征向量是所述感兴趣区域图像的浅层图像管理特征语义的序列化表达，而所述感兴趣区域源域全连接特征向量是所述感兴趣区域图像的源域全关联特征序列化表达，如果能够提升所述浅层全连接特征向量和所述感兴趣区域源域全连接特征向量的序列化表达在所述解码特征向量的融合特征空间内的相关性，则可以提升所述解码特征向量对于所述浅层全连接特征向量和所述感兴趣区域源域全连接特征向量的融合效果，从而提高所述解码特征向量通过基于解码器的计数模块得到的解码值的准确性。
基于此，本申请的申请人在针对解码值的真值误差损失函数之外，进一步引入针对所述浅层全连接特征向量
Figure SMS_21
和所述感兴趣区域源域全连接特征向量/>
Figure SMS_22
的流式精细化损失函数，表示为：/>
Figure SMS_23
，其中/>
Figure SMS_24
表示向量的二范数的平方。
这里，所述流式精细化损失函数基于所述浅层全连接特征向量
Figure SMS_25
和所述感兴趣区域源域全连接特征向量/>
Figure SMS_26
在特征的序列化流式分布到融合后的高维特征空间内的空间分布的转化，通过同步进行向量的序列分布下的插值来实现高维特征空间内的空间分布的超分辨率提升，从而通过平衡序列下的互类概率式关系对高维特征空间内的分布差异提供更精细化的对准，以在序列化特征维度和高维融合特征空间的空间维度上联合地呈现交叉的维度间上下文关联，从而提升所述浅层全连接特征向量和所述感兴趣区域源域全连接特征向量各自的序列化表达在所述解码特征向量的融合特征空间内的相关性，以提升所述解码特征向量对于所述浅层全连接特征向量和所述感兴趣区域源域全连接特征向量的融合效果，提高所述解码特征向量通过基于解码器的计数模块得到的解码值的准确性。
本申请的技术效果有如下几点：1、提供了一种智能化的CTC自动检测方案。
2、该方案能够实现对CTC细胞数量的自动化分析和计数，有效减少人为干预和误差，减少漏检率和误检率，提高检测的可靠性。
图1为根据本申请实施例的CTC智能全自动检测一体机的应用场景图。如图1所示，在该应用场景中，首先，获取由荧光显示镜观察到的显微图像（例如，图1中所示意的D），然后，将所述显微图像输入至部署有CTC智能全自动检测一体机的检测算法的服务器中（例如，图1中所示意的S），其中，所述服务器能够使用所述CTC智能全自动检测一体机的检测算法对所述显微图像进行处理以得到用于表示CTC细胞数量的解码值。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
图2为根据本申请实施例的CTC智能全自动检测一体机的框图示意图。如图2所示，根据本申请实施例的CTC智能全自动检测一体机100，包括：显微数据获取模块110，用于获取由荧光显示镜观察到的显微图像；感兴趣区域生成模块120，用于将所述显微图像通过基于编码器-解码器结构的感兴趣区域生成器以得到感兴趣区域图像；浅层特征提取模块130，用于将所述感兴趣区域图像通过作为浅层特征提取器的第一卷积神经网络模型以得到浅层特征图；浅层特征全连接模块140，用于将所述浅层特征图通过第一全连接层以得到浅层全连接特征向量；图像全连接模块150，用于将所述感兴趣区域图像通过第二全连接层以得到感兴趣区域源域全连接特征向量；特征融合模块160，用于融合所述浅层全连接特征向量和所述感兴趣区域源域全连接特征向量以得到解码特征向量；以及，解码回归模块170，用于将所述解码特征向量通过基于解码器的计数模块以得到用于表示CTC细胞数量的解码值。
更具体地，在本申请实施例中，所述显微数据获取模块110，用于获取由荧光显示镜观察到的显微图像。荧光显微镜利用紫外线或其他波长的光激发被检物体发出荧光，这样可以揭示被检物体的结构、功能和相互作用。
更具体地，在本申请实施例中，所述感兴趣区域生成模块120，用于将所述显微图像通过基于编码器-解码器结构的感兴趣区域生成器以得到感兴趣区域图像。由于荧光显微镜拍摄到的所述显微图像通常包含很多不同种类的细胞和噪声等干扰信息，在本申请的技术方案中，将所述显微图像通过基于编码器-解码器结构的感兴趣区域生成器以得到感兴趣区域图像。这里，基于编码器-解码器结构的感兴趣区域生成器可以实现自动化的感兴趣区域提取。具体而言，它可以对原始图像进行处理和分析，将包含CTC细胞的区域自动筛选出来，并生成相应的感兴趣区域图像。通过这样的方式，可以有效降低后续模型的计算复杂度，且更聚焦于感兴趣区域的识别和特征提取。
相应地，在一个具体示例中，如图3所示，所述感兴趣区域生成模块120，包括：编码单元121，用于通过所述感兴趣区域生成器的编码器使用卷积层对所述显微图像进行显式空间编码以得到图像特征；以及，解码单元122，用于通过所述感兴趣区域生成器的解码器使用反卷积层对所述图像特征进行反卷积处理以得到所述感兴趣区域图像。
更具体地，在本申请实施例中，所述浅层特征提取模块130，用于将所述感兴趣区域图像通过作为浅层特征提取器的第一卷积神经网络模型以得到浅层特征图。将所述感兴趣区域图像通过作为浅层特征提取器的第一卷积神经网络模型以得到浅层特征图。这里，卷积神经网络（Convolutional Neural Network，CNN）是一种深度学习模型，它可以有效地从图像中提取有关CTC细胞的高维特征信息。具体而言，卷积神经网络会对感兴趣区域图像进行多次卷积、池化等操作，从而提取感兴趣区域图像中的浅层特征，如边缘、纹理、颜色等，形成浅层特征图。这样可以捕捉CTC的基本形态特征。
相应地，在一个具体示例中，所述浅层特征提取模块130，用于：使用所述第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行卷积处理、池化处理和非线性激活处理以从所述第一卷积神经网络模型的浅层提取所述浅层特征图。
更具体地，在本申请实施例中，所述浅层特征全连接模块140，用于将所述浅层特征图通过第一全连接层以得到浅层全连接特征向量。这里，利用全连接层（FC）来将浅层特征图转化为一维的浅层全连接特征向量，可以降低数据的维度，减少计算量，同时保留CTC的形态信息。
相应地，在一个具体示例中，所述浅层特征全连接模块140，用于：所述第一全连接层对输入数据进行卷积处理以得到第一卷积特征图；对所述第一卷积特征图进行基于局部特征矩阵的均值池化以得到第一池化特征图；以及，对所述第一池化特征图进行非线性激活以得到第一激活特征图；其中，所述第一全连接层的输出为所述浅层全连接特征向量，所述第一全连接层的输入为所述浅层特征图。
如前所述，浅层全连接特征向量是从第一卷积神经网络模型中提取的，它包含了感兴趣区域图像的低层次的视觉信息，如边缘、纹理、颜色等，这些信息对于区分CTC和其他细胞是有用的，但是不足以捕捉CTC的高层次的形态特征，如大小、形状、核分裂等。同时，由于不同的CTC可能有不同的形态、大小、位置，而这些差异会影响CTC在显微图像中的可见性和可分辨性。例如，一个较大、较明显、位于中心位置的CTC比一个较小、较模糊、位于边缘位置的CTC更容易被检测到。
更具体地，在本申请实施例中，所述图像全连接模块150，用于将所述感兴趣区域图像通过第二全连接层以得到感兴趣区域源域全连接特征向量。也就是说，通过所述第二全连接层可以提取感兴趣区域图像的高层特征，即反映CTC的形态、大小、位置等信息的特征，以提高模型对于感兴趣区域图像中CTC特征的表达能力和判别能力。
相应地，在一个具体示例中，所述图像全连接模块150，用于：所述第二全连接层对输入数据进行卷积处理以得到第二卷积特征图；对所述第二卷积特征图进行基于局部特征矩阵的均值池化以得到第二池化特征图；以及，对所述第二池化特征图进行非线性激活以得到第二激活特征图；其中，所述第二全连接层的输出为所述感兴趣区域源域全连接特征向量，所述第二全连接层的输入为所述感兴趣区域图像。
更具体地，在本申请实施例中，所述特征融合模块160，用于融合所述浅层全连接特征向量和所述感兴趣区域源域全连接特征向量以得到解码特征向量。融合所述浅层全连接特征向量和所述感兴趣区域源域全连接特征向量以实现对CTC的综合表征，既利用了低层次的视觉信息，又保留了全连接的形态特征，从而得到解码特征向量。
相应地，在一个具体示例中，所述特征融合模块160，用于：以如下融公式来融合所述浅层全连接特征向量和所述感兴趣区域源域全连接特征向量以得到所述解码特征向量；其中，所述融公式为：
Figure SMS_27
，其中，/>
Figure SMS_28
表示所述浅层全连接特征向量, />
Figure SMS_29
表示所述感兴趣区域源域全连接特征向量，/>
Figure SMS_30
表示级联函数，/>
Figure SMS_31
表示所述解码特征向量。
更具体地，在本申请实施例中，所述解码回归模块170，用于将所述解码特征向量通过基于解码器的计数模块以得到用于表示CTC细胞数量的解码值。这里，基于解码器的计数模块是一个回归模型，它将解码特征向量作为输入，输出一个实数值，表示CTC细胞的数量。也就是，使用回归模型可以更灵活地适应不同的CTC细胞数量，并避免人工干预和主观差异带来的计数不准确。
相应地，在一个具体示例中，所述解码回归模块170，用于：使用所述计数模块的解码器的多个全连接层以如下解码公式对所述解码特征向量进行解码回归以获得所述解码值，其中，所述解码公式为：
Figure SMS_32
，其中，/>
Figure SMS_33
是所述解码特征向量，/>
Figure SMS_34
是所述解码值，/>
Figure SMS_35
是权重矩阵，/>
Figure SMS_36
是偏置向量，/>
Figure SMS_37
表示矩阵乘， />
Figure SMS_38
为激活函数。
相应地，在一个具体示例中，所述的CTC智能全自动检测一体机，还包括用于对所述基于编码器-解码器结构的感兴趣区域生成器、所述作为浅层特征提取器的第一卷积神经网络模型、所述第一全连接层、所述第二全连接层和所述解码器进行训练的训练模块；其中，如图4所示，所述训练模块200，包括：训练数据获取单元210，用于获取训练数据，所述训练数据包括由荧光显示镜观察到的训练显微图像，以及，CTC细胞数量的真实值；训练感兴趣区域生成单元220，用于将所述训练显微图像通过所述基于编码器-解码器结构的感兴趣区域生成器以得到训练感兴趣区域图像；训练浅层特征提取单元230，用于将所述训练感兴趣区域图像通过所述作为浅层特征提取器的第一卷积神经网络模型以得到训练浅层特征图；训练浅层特征全连接单元240，用于将所述训练浅层特征图通过所述第一全连接层以得到训练浅层全连接特征向量；训练图像全连接单元250，用于将所述训练感兴趣区域图像通过所述第二全连接层以得到训练感兴趣区域源域全连接特征向量；训练特征融合单元260，用于融合所述训练浅层全连接特征向量和所述训练感兴趣区域源域全连接特征向量以得到训练解码特征向量；解码损失单元270，用于将所述训练解码特征向量通过所述基于解码器的计数模块以得到解码损失函数值；流式精细化损失单元280，用于计算基于所述训练浅层全连接特征向量和所述训练感兴趣区域源域全连接特征向量的流式精细化损失函数值；以及，训练单元290，用于计算所述解码损失函数值和所述流式精细化损失函数值的加权和作为损失函数值，并基于梯度下降的传播方向来对所述基于编码器-解码器结构的感兴趣区域生成器、所述作为浅层特征提取器的第一卷积神经网络模型、所述第一全连接层、所述第二全连接层和所述解码器进行训练。
这里，在融合所述流式浅层全连接特征向量和所述流式感兴趣区域源域全连接特征向量得到所述解码特征向量时，考虑到所述流式浅层全连接特征向量是所述流式感兴趣区域图像的浅层图像管理特征语义的序列化表达，而所述流式感兴趣区域源域全连接特征向量是所述流式感兴趣区域图像的源域全关联特征序列化表达，如果能够提升所述流式浅层全连接特征向量和所述流式感兴趣区域源域全连接特征向量的序列化表达在所述流式解码特征向量的融合特征空间内的相关性，则可以提升所述流式解码特征向量对于所述流式浅层全连接特征向量和所述流式感兴趣区域源域全连接特征向量的融合效果，从而提高所述流式解码特征向量通过基于解码器的计数模块得到的解码值的准确性。基于此，本申请的申请人在针对解码值的真值误差损失函数之外，进一步引入针对所述流式浅层全连接特征向量和所述流式感兴趣区域源域全连接特征向量的流式精细化损失函数。
相应地，在一个具体示例中，所述流式精细化损失单元280，用于：以如下损失函数公式计算基于所述训练浅层全连接特征向量和所述训练感兴趣区域源域全连接特征向量的流式精细化损失函数值；其中，所述损失函数公式为：
Figure SMS_41
，其中，/>
Figure SMS_43
表示所述训练浅层全连接特征向量，/>
Figure SMS_44
表示所述训练感兴趣区域源域全连接特征向量，/>
Figure SMS_40
表示向量的二范数的平方，且/>
Figure SMS_42
和/>
Figure SMS_45
分别表示向量的逐位置减法和乘法，/>
Figure SMS_46
表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，/>
Figure SMS_39
表示所述流式精细化损失函数值。
综上，基于本申请实施例的CTC智能全自动检测一体机100被阐明，其首先将显微图像通过感兴趣区域生成器以得到感兴趣区域图像，接着，将所述感兴趣区域图像通过第一卷积神经网络模型以得到浅层特征图，然后，将所述浅层特征图通过第一全连接层以得到浅层全连接特征向量，接着，将所述感兴趣区域图像通过第二全连接层以得到感兴趣区域源域全连接特征向量，然后，融合所述浅层全连接特征向量和所述感兴趣区域源域全连接特征向量以得到解码特征向量，最后，将所述解码特征向量通过基于解码器的计数模块以得到用于表示CTC细胞数量的解码值。这样，提升计数的准确率。
如上所述，根据本申请实施例的基于本申请实施例的CTC智能全自动检测一体机100可以实现在各种终端设备中，例如具有基于本申请实施例的CTC智能全自动检测一体机的检测算法的服务器等。在一个示例中，基于本申请实施例的CTC智能全自动检测一体机100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于本申请实施例的CTC智能全自动检测一体机100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于本申请实施例的CTC智能全自动检测一体机100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于本申请实施例的CTC智能全自动检测一体机100与该终端设备也可以是分立的设备，并且该CTC智能全自动检测一体机100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图5为根据本申请实施例的CTC智能全自动检测一体机的检测方法的流程图。如图5所示，根据本申请实施例的CTC智能全自动检测一体机的检测方法，其包括：S110，获取由荧光显示镜观察到的显微图像；S120，将所述显微图像通过基于编码器-解码器结构的感兴趣区域生成器以得到感兴趣区域图像；S130，将所述感兴趣区域图像通过作为浅层特征提取器的第一卷积神经网络模型以得到浅层特征图；S140，将所述浅层特征图通过第一全连接层以得到浅层全连接特征向量；S150，将所述感兴趣区域图像通过第二全连接层以得到感兴趣区域源域全连接特征向量；S160，融合所述浅层全连接特征向量和所述感兴趣区域源域全连接特征向量以得到解码特征向量；以及，S170，将所述解码特征向量通过基于解码器的计数模块以得到用于表示CTC细胞数量的解码值。
图6为根据本申请实施例的CTC智能全自动检测一体机的检测方法的系统架构的示意图。如图6所示，在所述CTC智能全自动检测一体机的检测方法的系统架构中，首先，获取由荧光显示镜观察到的显微图像；接着，将所述显微图像通过基于编码器-解码器结构的感兴趣区域生成器以得到感兴趣区域图像；然后，将所述感兴趣区域图像通过作为浅层特征提取器的第一卷积神经网络模型以得到浅层特征图；接着，将所述浅层特征图通过第一全连接层以得到浅层全连接特征向量；然后，将所述感兴趣区域图像通过第二全连接层以得到感兴趣区域源域全连接特征向量；接着，融合所述浅层全连接特征向量和所述感兴趣区域源域全连接特征向量以得到解码特征向量；最后，将所述解码特征向量通过基于解码器的计数模块以得到用于表示CTC细胞数量的解码值。
在一个具体示例中，在上述CTC智能全自动检测一体机的检测方法中，将所述显微图像通过基于编码器-解码器结构的感兴趣区域生成器以得到感兴趣区域图像，包括：通过所述感兴趣区域生成器的编码器使用卷积层对所述显微图像进行显式空间编码以得到图像特征；以及，通过所述感兴趣区域生成器的解码器使用反卷积层对所述图像特征进行反卷积处理以得到所述感兴趣区域图像。
在一个具体示例中，在上述CTC智能全自动检测一体机的检测方法中，将所述感兴趣区域图像通过作为浅层特征提取器的第一卷积神经网络模型以得到浅层特征图，包括：使用所述第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行卷积处理、池化处理和非线性激活处理以从所述第一卷积神经网络模型的浅层提取所述浅层特征图。
在一个具体示例中，在上述CTC智能全自动检测一体机的检测方法中，将所述浅层特征图通过第一全连接层以得到浅层全连接特征向量，包括：所述第一全连接层对输入数据进行卷积处理以得到第一卷积特征图；对所述第一卷积特征图进行基于局部特征矩阵的均值池化以得到第一池化特征图；以及，对所述第一池化特征图进行非线性激活以得到第一激活特征图；其中，所述第一全连接层的输出为所述浅层全连接特征向量，所述第一全连接层的输入为所述浅层特征图。
在一个具体示例中，在上述CTC智能全自动检测一体机的检测方法中，将所述感兴趣区域图像通过第二全连接层以得到感兴趣区域源域全连接特征向量，包括：所述第二全连接层对输入数据进行卷积处理以得到第二卷积特征图；对所述第二卷积特征图进行基于局部特征矩阵的均值池化以得到第二池化特征图；以及，对所述第二池化特征图进行非线性激活以得到第二激活特征图；其中，所述第二全连接层的输出为所述感兴趣区域源域全连接特征向量，所述第二全连接层的输入为所述感兴趣区域图像。
在一个具体示例中，在上述CTC智能全自动检测一体机的检测方法中，融合所述浅层全连接特征向量和所述感兴趣区域源域全连接特征向量以得到解码特征向量，包括：以如下融公式来融合所述浅层全连接特征向量和所述感兴趣区域源域全连接特征向量以得到所述解码特征向量；其中，所述融公式为：
Figure SMS_47
，其中，/>
Figure SMS_48
表示所述浅层全连接特征向量, />
Figure SMS_49
表示所述感兴趣区域源域全连接特征向量，/>
Figure SMS_50
表示级联函数，
Figure SMS_51
表示所述解码特征向量。
在一个具体示例中，在上述CTC智能全自动检测一体机的检测方法中，将所述解码特征向量通过基于解码器的计数模块以得到用于表示CTC细胞数量的解码值，包括：使用所述计数模块的解码器的多个全连接层以如下解码公式对所述解码特征向量进行解码回归以获得所述解码值，其中，所述解码公式为：
Figure SMS_52
，其中，/>
Figure SMS_53
是所述解码特征向量，/>
Figure SMS_54
是所述解码值，/>
Figure SMS_55
是权重矩阵，/>
Figure SMS_56
是偏置向量，/>
Figure SMS_57
表示矩阵乘， />
Figure SMS_58
为激活函数。
在一个具体示例中，在上述CTC智能全自动检测一体机的检测方法中，还包括用于对所述基于编码器-解码器结构的感兴趣区域生成器、所述作为浅层特征提取器的第一卷积神经网络模型、所述第一全连接层、所述第二全连接层和所述解码器进行训练的训练步骤；其中，所述训练步骤，包括：获取训练数据，所述训练数据包括由荧光显示镜观察到的训练显微图像，以及，CTC细胞数量的真实值；将所述训练显微图像通过所述基于编码器-解码器结构的感兴趣区域生成器以得到训练感兴趣区域图像；将所述训练感兴趣区域图像通过所述作为浅层特征提取器的第一卷积神经网络模型以得到训练浅层特征图；将所述训练浅层特征图通过所述第一全连接层以得到训练浅层全连接特征向量；将所述训练感兴趣区域图像通过所述第二全连接层以得到训练感兴趣区域源域全连接特征向量；融合所述训练浅层全连接特征向量和所述训练感兴趣区域源域全连接特征向量以得到训练解码特征向量；将所述训练解码特征向量通过所述基于解码器的计数模块以得到解码损失函数值；计算基于所述训练浅层全连接特征向量和所述训练感兴趣区域源域全连接特征向量的流式精细化损失函数值；以及，计算所述解码损失函数值和所述流式精细化损失函数值的加权和作为损失函数值，并基于梯度下降的传播方向来对所述基于编码器-解码器结构的感兴趣区域生成器、所述作为浅层特征提取器的第一卷积神经网络模型、所述第一全连接层、所述第二全连接层和所述解码器进行训练。
在一个具体示例中，在上述CTC智能全自动检测一体机的检测方法中，计算基于所述训练浅层全连接特征向量和所述训练感兴趣区域源域全连接特征向量的流式精细化损失函数值，包括：以如下损失函数公式计算基于所述训练浅层全连接特征向量和所述训练感兴趣区域源域全连接特征向量的流式精细化损失函数值；其中，所述损失函数公式为：
Figure SMS_61
，其中，/>
Figure SMS_62
表示所述训练浅层全连接特征向量，/>
Figure SMS_65
表示所述训练感兴趣区域源域全连接特征向量，/>
Figure SMS_60
表示向量的二范数的平方，且/>
Figure SMS_63
和/>
Figure SMS_64
分别表示向量的逐位置减法和乘法，/>
Figure SMS_66
表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，/>
Figure SMS_59
表示所述流式精细化损失函数值。
这里，本领域技术人员可以理解，上述CTC智能全自动检测一体机的检测方法中的各个步骤的具体操作已经在上面参考图1到图4的CTC智能全自动检测一体机100的描述中得到了详细介绍，并因此，将省略其重复描述。
根据本申请的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的方法。
技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
所有软件或其中的一部分有时可能会通过网络进行通信，如互联网或其他通信网络。此类通信可以将软件从一个计算机设备或处理器加载到另一个。例如：从视频目标检测设备的一个服务器或主机计算机加载至一个计算机环境的硬件平台，或其他实现系统的计算机环境，或与提供目标检测所需要的信息相关的类似功能的系统。因此，另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接，例如光波、电波、电磁波等，通过电缆、光缆或者空气等实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备，也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质，其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。
本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (10)

1.一种CTC智能全自动检测一体机，其特征在于，包括：显微数据获取模块，用于获取由荧光显示镜观察到的显微图像；感兴趣区域生成模块，用于将所述显微图像通过基于编码器-解码器结构的感兴趣区域生成器以得到感兴趣区域图像；浅层特征提取模块，用于将所述感兴趣区域图像通过作为浅层特征提取器的第一卷积神经网络模型以得到浅层特征图；浅层特征全连接模块，用于将所述浅层特征图通过第一全连接层以得到浅层全连接特征向量；图像全连接模块，用于将所述感兴趣区域图像通过第二全连接层以得到感兴趣区域源域全连接特征向量；特征融合模块，用于融合所述浅层全连接特征向量和所述感兴趣区域源域全连接特征向量以得到解码特征向量；以及解码回归模块，用于将所述解码特征向量通过基于解码器的计数模块以得到用于表示CTC细胞数量的解码值。
2.根据权利要求1所述的CTC智能全自动检测一体机，其特征在于，所述感兴趣区域生成模块，包括：编码单元，用于通过所述感兴趣区域生成器的编码器使用卷积层对所述显微图像进行显式空间编码以得到图像特征；以及解码单元，用于通过所述感兴趣区域生成器的解码器使用反卷积层对所述图像特征进行反卷积处理以得到所述感兴趣区域图像。
3.根据权利要求2所述的CTC智能全自动检测一体机，其特征在于，所述浅层特征提取模块，用于：使用所述第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行卷积处理、池化处理和非线性激活处理以从所述第一卷积神经网络模型的浅层提取所述浅层特征图。
4.根据权利要求3所述的CTC智能全自动检测一体机，其特征在于，所述浅层特征全连接模块，用于：所述第一全连接层对输入数据进行卷积处理以得到第一卷积特征图；对所述第一卷积特征图进行基于局部特征矩阵的均值池化以得到第一池化特征图；以及对所述第一池化特征图进行非线性激活以得到第一激活特征图；其中，所述第一全连接层的输出为所述浅层全连接特征向量，所述第一全连接层的输入为所述浅层特征图。
5.根据权利要求4所述的CTC智能全自动检测一体机，其特征在于，所述图像全连接模块，用于：所述第二全连接层对输入数据进行卷积处理以得到第二卷积特征图；对所述第二卷积特征图进行基于局部特征矩阵的均值池化以得到第二池化特征图；以及对所述第二池化特征图进行非线性激活以得到第二激活特征图；其中，所述第二全连接层的输出为所述感兴趣区域源域全连接特征向量，所述第二全连接层的输入为所述感兴趣区域图像。
6.根据权利要求5所述的CTC智能全自动检测一体机，其特征在于，所述特征融合模块，用于：以如下融公式来融合所述浅层全连接特征向量和所述感兴趣区域源域全连接特征向量以得到所述解码特征向量；其中，所述融公式为：
Figure QLYQS_1
，其中，/>
Figure QLYQS_2
表示所述浅层全连接特征向量, />
Figure QLYQS_3
表示所述感兴趣区域源域全连接特征向量，/>
Figure QLYQS_4
表示级联函数，/>
Figure QLYQS_5
表示所述解码特征向量。
7.根据权利要求6所述的CTC智能全自动检测一体机，其特征在于，所述解码回归模块，用于：使用所述计数模块的解码器的多个全连接层以如下解码公式对所述解码特征向量进行解码回归以获得所述解码值，其中，所述解码公式为：
Figure QLYQS_6
，其中，/>
Figure QLYQS_7
是所述解码特征向量，/>
Figure QLYQS_8
是所述解码值，/>
Figure QLYQS_9
是权重矩阵，/>
Figure QLYQS_10
是偏置向量，/>
Figure QLYQS_11
表示矩阵乘， />
Figure QLYQS_12
为激活函数。
8.根据权利要求7所述的CTC智能全自动检测一体机，其特征在于，还包括用于对所述基于编码器-解码器结构的感兴趣区域生成器、所述作为浅层特征提取器的第一卷积神经网络模型、所述第一全连接层、所述第二全连接层和所述解码器进行训练的训练模块；其中，所述训练模块，包括：训练数据获取单元，用于获取训练数据，所述训练数据包括由荧光显示镜观察到的训练显微图像，以及，CTC细胞数量的真实值；训练感兴趣区域生成单元，用于将所述训练显微图像通过所述基于编码器-解码器结构的感兴趣区域生成器以得到训练感兴趣区域图像；训练浅层特征提取单元，用于将所述训练感兴趣区域图像通过所述作为浅层特征提取器的第一卷积神经网络模型以得到训练浅层特征图；训练浅层特征全连接单元，用于将所述训练浅层特征图通过所述第一全连接层以得到训练浅层全连接特征向量；训练图像全连接单元，用于将所述训练感兴趣区域图像通过所述第二全连接层以得到训练感兴趣区域源域全连接特征向量；训练特征融合单元，用于融合所述训练浅层全连接特征向量和所述训练感兴趣区域源域全连接特征向量以得到训练解码特征向量；解码损失单元，用于将所述训练解码特征向量通过所述基于解码器的计数模块以得到解码损失函数值；流式精细化损失单元，用于计算基于所述训练浅层全连接特征向量和所述训练感兴趣区域源域全连接特征向量的流式精细化损失函数值；以及训练单元，用于计算所述解码损失函数值和所述流式精细化损失函数值的加权和作为损失函数值，并基于梯度下降的传播方向来对所述基于编码器-解码器结构的感兴趣区域生成器、所述作为浅层特征提取器的第一卷积神经网络模型、所述第一全连接层、所述第二全连接层和所述解码器进行训练。
9.根据权利要求8所述的CTC智能全自动检测一体机，其特征在于，所述流式精细化损失单元，用于：以如下损失函数公式计算基于所述训练浅层全连接特征向量和所述训练感兴趣区域源域全连接特征向量的流式精细化损失函数值；其中，所述损失函数公式为：
Figure QLYQS_15
，其中，/>
Figure QLYQS_17
表示所述训练浅层全连接特征向量，/>
Figure QLYQS_19
表示所述训练感兴趣区域源域全连接特征向量，/>
Figure QLYQS_14
表示向量的二范数的平方，且/>
Figure QLYQS_16
和/>
Figure QLYQS_18
分别表示向量的逐位置减法和乘法，/>
Figure QLYQS_20
表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，/>
Figure QLYQS_13
表示所述流式精细化损失函数值。
10.一种CTC智能全自动检测一体机的检测方法，其特征在于，包括：获取由荧光显示镜观察到的显微图像；将所述显微图像通过基于编码器-解码器结构的感兴趣区域生成器以得到感兴趣区域图像；将所述感兴趣区域图像通过作为浅层特征提取器的第一卷积神经网络模型以得到浅层特征图；将所述浅层特征图通过第一全连接层以得到浅层全连接特征向量；将所述感兴趣区域图像通过第二全连接层以得到感兴趣区域源域全连接特征向量；融合所述浅层全连接特征向量和所述感兴趣区域源域全连接特征向量以得到解码特征向量；以及将所述解码特征向量通过基于解码器的计数模块以得到用于表示CTC细胞数量的解码值。
CN202310581392.4A 2023-05-23 2023-05-23 Ctc智能全自动检测一体机及其方法 Active CN116309595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310581392.4A CN116309595B (zh) 2023-05-23 2023-05-23 Ctc智能全自动检测一体机及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310581392.4A CN116309595B (zh) 2023-05-23 2023-05-23 Ctc智能全自动检测一体机及其方法

Publications (2)

Publication Number Publication Date
CN116309595A true CN116309595A (zh) 2023-06-23
CN116309595B CN116309595B (zh) 2023-08-01

Family

ID=86829079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310581392.4A Active CN116309595B (zh) 2023-05-23 2023-05-23 Ctc智能全自动检测一体机及其方法

Country Status (1)

Country Link
CN (1) CN116309595B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886273A (zh) * 2019-02-26 2019-06-14 四川大学华西医院 一种cmr图像分割分类系统
CN110033440A (zh) * 2019-03-21 2019-07-19 中南大学 基于卷积神经网络与特征融合的生物细胞计数方法
CN110188685A (zh) * 2019-05-30 2019-08-30 燕山大学 一种基于双注意力多尺度级联网络的目标计数方法及系统
CN111696094A (zh) * 2020-06-12 2020-09-22 杭州迪英加科技有限公司 免疫组化pd-l1膜染色病理切片图像处理方法、装置和设备
CN112070772A (zh) * 2020-08-27 2020-12-11 闽江学院 基于UNet++和ResNet的血液白细胞图像分割方法
CN114332122A (zh) * 2021-12-30 2022-04-12 福州大学 基于注意力机制分割并回归的细胞计数方法
CN114882501A (zh) * 2022-05-12 2022-08-09 上海大学 一种基于可解释深度学习算法的循环肿瘤细胞检测系统
CN115099285A (zh) * 2022-07-12 2022-09-23 绍兴九樱纺织品有限公司 基于神经网络模型的智能检测方法及其系统
US20220309674A1 (en) * 2021-03-26 2022-09-29 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on u-net
CN115409844A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 循环肿瘤细胞检测设备及其方法
CN115410050A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 基于机器视觉的肿瘤细胞检测设备及其方法
CN115406815A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 基于多源数据融合的肿瘤细胞检测设备及其方法
CN115424204A (zh) * 2022-08-26 2022-12-02 温州旦光文具有限公司 基于信息融合的行人检测方法及其系统
CN115526834A (zh) * 2022-08-26 2022-12-27 北京知见生命科技有限公司 免疫荧光图像检测方法及装置、设备、存储介质
CN115690109A (zh) * 2023-01-04 2023-02-03 杭州华得森生物技术有限公司 基于计算生物的肿瘤细胞检测设备及其方法
CN115791640A (zh) * 2023-02-06 2023-03-14 杭州华得森生物技术有限公司 基于分光光谱的肿瘤细胞检测设备及其方法
CN115937158A (zh) * 2022-12-16 2023-04-07 浙江大学 一种基于分层注意力机制的胃癌病灶区域分割方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886273A (zh) * 2019-02-26 2019-06-14 四川大学华西医院 一种cmr图像分割分类系统
CN110033440A (zh) * 2019-03-21 2019-07-19 中南大学 基于卷积神经网络与特征融合的生物细胞计数方法
CN110188685A (zh) * 2019-05-30 2019-08-30 燕山大学 一种基于双注意力多尺度级联网络的目标计数方法及系统
CN111696094A (zh) * 2020-06-12 2020-09-22 杭州迪英加科技有限公司 免疫组化pd-l1膜染色病理切片图像处理方法、装置和设备
CN112070772A (zh) * 2020-08-27 2020-12-11 闽江学院 基于UNet++和ResNet的血液白细胞图像分割方法
US20220309674A1 (en) * 2021-03-26 2022-09-29 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on u-net
CN114332122A (zh) * 2021-12-30 2022-04-12 福州大学 基于注意力机制分割并回归的细胞计数方法
CN114882501A (zh) * 2022-05-12 2022-08-09 上海大学 一种基于可解释深度学习算法的循环肿瘤细胞检测系统
CN115099285A (zh) * 2022-07-12 2022-09-23 绍兴九樱纺织品有限公司 基于神经网络模型的智能检测方法及其系统
CN115424204A (zh) * 2022-08-26 2022-12-02 温州旦光文具有限公司 基于信息融合的行人检测方法及其系统
CN115526834A (zh) * 2022-08-26 2022-12-27 北京知见生命科技有限公司 免疫荧光图像检测方法及装置、设备、存储介质
CN115409844A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 循环肿瘤细胞检测设备及其方法
CN115410050A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 基于机器视觉的肿瘤细胞检测设备及其方法
CN115406815A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 基于多源数据融合的肿瘤细胞检测设备及其方法
CN115937158A (zh) * 2022-12-16 2023-04-07 浙江大学 一种基于分层注意力机制的胃癌病灶区域分割方法
CN115690109A (zh) * 2023-01-04 2023-02-03 杭州华得森生物技术有限公司 基于计算生物的肿瘤细胞检测设备及其方法
CN115791640A (zh) * 2023-02-06 2023-03-14 杭州华得森生物技术有限公司 基于分光光谱的肿瘤细胞检测设备及其方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JIENENG CHEN ET AL.: "TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation", 《ARXIV》, pages 1 - 13 *
YUNXIA LIU ET AL.: "Faster R-CNN based Robust Circulating Tumor Cells Detection with Improved Sensitivity", 《ICBDT 2019》, pages 252 - 256 *
张安杰: "基于卷积神经网络的循环肿瘤细胞检测算法研究", 《中国优秀硕士学位论文全文数据库》, pages 1 - 65 *
马宁: "基于深度学习的药物作用下的癌细胞分割与分类", 《中国优秀硕士学位论文全文数据库》, pages 1 - 74 *
黎斌: "基于卷积神经网络的循环肿瘤细胞智能辨识平台的研制", 《中国优秀硕士学位论文全文数据库》, pages 1 - 107 *

Also Published As

Publication number Publication date
CN116309595B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
US11842483B2 (en) Systems for cell shape estimation
US11526984B2 (en) Method of computing tumor spatial and inter-marker heterogeneity
CN116189179B (zh) 循环肿瘤细胞扫描分析设备
US10083340B2 (en) Automated cell segmentation quality control
JP6503382B2 (ja) 血液学用デジタルホログラフィ顕微鏡検査データ分析
JP5870851B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US11972859B2 (en) Computational pathology approach for retrospective analysis of tissue-based companion diagnostic driven clinical trial studies
JP2021506022A (ja) 生体画像における連帯的細胞および領域分類のための深層学習システムならびに方法
JP2021506003A (ja) デジタル病理学分析結果の格納および読み出し方法
JP2009115599A (ja) 評価システム、評価方法および評価プログラム
CN116363123B (zh) 对循环肿瘤细胞检测的荧光显微成像系统及其方法
US20230186659A1 (en) Machine learning models for cell localization and classification learned using repel coding
JP6392476B1 (ja) 生体組織解析装置および生体組織解析プログラム
JP2018501581A (ja) 多重化画像における血管解析
CN116434226B (zh) 循环肿瘤细胞分析仪
CN116309595B (zh) Ctc智能全自动检测一体机及其方法
DeWard et al. Systems biology approaches in cancer pathology
WO2023107844A1 (en) Label-free virtual immunohistochemical staining of tissue using deep learning
Lau et al. Advances in imaging modalities, artificial intelligence, and single cell biomarker analysis, and their applications in cytopathology
CN117529750A (zh) 使用多重免疫荧光成像的组织学染色的数字合成
Ahmed et al. State of the art in information extraction and quantitative analysis for multimodality biomolecular imaging
Kanwal et al. Equipping Computational Pathology Systems with Artifact Processing Pipelines: A Showcase for Computation and Performance Trade-offs
Mannam et al. Improving fluorescence lifetime imaging microscopy phasor accuracy using convolutional neural networks
Stokes et al. Quality Control and Analysis Algorithms for Tissue Microarrays as Biomarker Validation Tools
Ornob et al. Towards Smartphone Based Complete Blood Cell Estimation from Blood Smear Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant