CN116309596B - 基于微流控芯片的ctc细胞检测方法及其系统 - Google Patents

基于微流控芯片的ctc细胞检测方法及其系统 Download PDF

Info

Publication number
CN116309596B
CN116309596B CN202310581431.0A CN202310581431A CN116309596B CN 116309596 B CN116309596 B CN 116309596B CN 202310581431 A CN202310581431 A CN 202310581431A CN 116309596 B CN116309596 B CN 116309596B
Authority
CN
China
Prior art keywords
feature
ctc
ctc cell
sub
microscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310581431.0A
Other languages
English (en)
Other versions
CN116309596A (zh
Inventor
张开山
李超
郭志敏
饶浪晴
马宁
田华
吴乐中
刘艳省
赵丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HANGZHOU WATSON BIOTECH Inc
Original Assignee
HANGZHOU WATSON BIOTECH Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HANGZHOU WATSON BIOTECH Inc filed Critical HANGZHOU WATSON BIOTECH Inc
Priority to CN202310581431.0A priority Critical patent/CN116309596B/zh
Publication of CN116309596A publication Critical patent/CN116309596A/zh
Application granted granted Critical
Publication of CN116309596B publication Critical patent/CN116309596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

公开了一种基于微流控芯片的CTC细胞检测方法及其系统。其首先通过微流控芯片捕捉并分离待识别CTC细胞，接着，通过显微镜来采集所述待识别CTC细胞的显微图像，然后，将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵，接着，对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列，然后，将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量，最后，将所述分类特征向量通过多标签分类器以得到用于表示待识别CTC细胞的类型标签的分类结果。这样，可以获取更准确和有效的信息。

Description

基于微流控芯片的CTC细胞检测方法及其系统
技术领域
本申请涉及智能检测领域，且更为具体地，涉及一种基于微流控芯片的CTC细胞检测方法及其系统。
背景技术
微流控芯片是一种能够在微米尺度上操纵液体的器件，它可以用于检测血液中的循环肿瘤细胞（CTC）。CTC是从原发肿瘤或转移灶脱落的癌细胞，它们可以反映肿瘤的生物学特征和治疗反应。微流控芯片能够利用CTC的物理或生化性质来实现对CTC的捕获和分离。
然而，微流控芯片无法分辨CTC细胞的类型，对肿瘤的诊断和个体化治疗的作用非常有限，因此，期待一种解决方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于微流控芯片的CTC细胞检测方法及其系统。其首先通过微流控芯片捕捉并分离待识别CTC细胞，接着，通过显微镜来采集所述待识别CTC细胞的显微图像，然后，将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵，接着，对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列，然后，将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量，最后，将所述分类特征向量通过多标签分类器以得到用于表示待识别CTC细胞的类型标签的分类结果。这样，可以获取更准确和有效的信息。
根据本申请的一个方面，提供了一种基于微流控芯片的CTC细胞检测方法，其包括：通过微流控芯片捕捉并分离待识别CTC细胞；通过显微镜来采集所述待识别CTC细胞的显微图像；将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵；对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列；将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量；以及将所述分类特征向量通过多标签分类器以得到分类结果，所述分类结果用于表示待识别CTC细胞的类型标签。
在上述的基于微流控芯片的CTC细胞检测方法中，将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵，包括：将所述待识别CTC细胞的显微图像输入所述卷积神经网络模型以从所述卷积神经网络模型的浅层提取浅层特征图以及从所述卷积神经网络模型的深层提取深层特征图；使用所述卷积神经网络模型的所述深浅特征融合模块来将所述浅层特征图和所述深层特征图进行级联以得到所述CTC细胞显微特征图；以及将所述CTC细胞显微特征图沿着通道维度进行全局均值池化以得到所述CTC细胞显微特征矩阵。
在上述的基于微流控芯片的CTC细胞检测方法中，将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量，包括：将所述CTC细胞显微子特征向量的序列通过嵌入层以将所述CTC细胞显微子特征向量的序列中各个CTC细胞显微子特征向量转化为CTC细胞显微嵌入向量以得到CTC细胞显微嵌入向量的序列，其中，所述嵌入层使用可学习的嵌入矩阵对所述各个CTC细胞显微子特征向量进行嵌入编码；将所述CTC细胞显微嵌入向量的序列输入所述基于转换器的全特征域感受器以得到多个上下文CTC细胞显微子特征向量；对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到多个优化上下文CTC细胞显微子特征向量；以及将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量。
在上述的基于微流控芯片的CTC细胞检测方法中，将所述CTC细胞显微嵌入向量的序列输入所述基于转换器的全特征域感受器以得到多个上下文CTC细胞显微子特征向量，包括：将所述CTC细胞显微嵌入向量的序列进行一维排列以得到全局特征向量；计算所述全局特征向量与所述CTC细胞显微嵌入向量的序列中各个CTC细胞显微嵌入向量的转置向量之间的乘积以得到多个自注意力关联矩阵；分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；以及分别以所述多个概率值中各个概率值作为权重对所述CTC细胞显微嵌入向量的序列中各个CTC细胞显微嵌入向量进行加权以得到所述多个上下文CTC细胞显微子特征向量。
在上述的基于微流控芯片的CTC细胞检测方法中，对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到多个优化上下文CTC细胞显微子特征向量，包括：以如下优化公式对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到所述多个优化上下文CTC细胞显微子特征向量；其中，所述优化公式为：，其中，/>表示每个所述CTC细胞显微子特征向量，/>表示所述每个上下文CTC细胞显微子特征向量，/>和/>分别表示向量的一范数和二范数，/>和/>分别为权重和偏置超参数，/> 表示每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量之间的按位置距离矩阵，且 />为单位矩阵，/>表示按位置加法，/>表示乘法，/>表示按位置点乘，/>表示按位置减法。
在上述的基于微流控芯片的CTC细胞检测方法中，将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量，包括：以如下级联公式将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量；其中，所述级联公式为：，其中，/>表示所述多个优化上下文CTC细胞显微子特征向量，/>表示级联函数，/>表示所述分类特征向量。
在上述的基于微流控芯片的CTC细胞检测方法中，将所述分类特征向量通过多标签分类器以得到分类结果，所述分类结果用于表示待识别CTC细胞的类型标签，包括：使用所述多标签分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
根据本申请的另一个方面，提供了一种基于微流控芯片的CTC细胞检测系统，其包括：CTC细胞分离模块，用于通过微流控芯片捕捉并分离待识别CTC细胞；图像采集模块，用于通过显微镜来采集所述待识别CTC细胞的显微图像；卷积编码模块，用于将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵；特征矩阵分块模块，用于对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列；嵌入编码模块，用于将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量；以及分类模块，用于将所述分类特征向量通过多标签分类器以得到分类结果，所述分类结果用于表示待识别CTC细胞的类型标签。
在上述的基于微流控芯片的CTC细胞检测系统中，所述卷积编码模块，用于：将所述待识别CTC细胞的显微图像输入所述卷积神经网络模型以从所述卷积神经网络模型的浅层提取浅层特征图以及从所述卷积神经网络模型的深层提取深层特征图；使用所述卷积神经网络模型的所述深浅特征融合模块来将所述浅层特征图和所述深层特征图进行级联以得到所述CTC细胞显微特征图；以及将所述CTC细胞显微特征图沿着通道维度进行全局均值池化以得到所述CTC细胞显微特征矩阵。
在上述的基于微流控芯片的CTC细胞检测系统中，所述嵌入编码模块，用于：将所述CTC细胞显微子特征向量的序列通过嵌入层以将所述CTC细胞显微子特征向量的序列中各个CTC细胞显微子特征向量转化为CTC细胞显微嵌入向量以得到CTC细胞显微嵌入向量的序列，其中，所述嵌入层使用可学习的嵌入矩阵对所述各个CTC细胞显微子特征向量进行嵌入编码；将所述CTC细胞显微嵌入向量的序列输入所述基于转换器的全特征域感受器以得到多个上下文CTC细胞显微子特征向量；对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到多个优化上下文CTC细胞显微子特征向量；以及将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量。
与现有技术相比，本申请提供的基于微流控芯片的CTC细胞检测方法及其系统，其首先通过微流控芯片捕捉并分离待识别CTC细胞，接着，通过显微镜来采集所述待识别CTC细胞的显微图像，然后，将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵，接着，对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列，然后，将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量，最后，将所述分类特征向量通过多标签分类器以得到用于表示待识别CTC细胞的类型标签的分类结果。这样，可以获取更准确和有效的信息。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。
图1为根据本申请实施例的基于微流控芯片的CTC细胞检测方法的应用场景图。
图2为根据本申请实施例的基于微流控芯片的CTC细胞检测方法的流程图。
图3为根据本申请实施例的基于微流控芯片的CTC细胞检测方法的架构示意图。
图4为根据本申请实施例的基于微流控芯片的CTC细胞检测方法的子步骤S130的流程图。
图5为根据本申请实施例的基于微流控芯片的CTC细胞检测方法的子步骤S150的流程图。
图6为根据本申请实施例的基于微流控芯片的CTC细胞检测方法的子步骤S152的流程图。
图7为根据本申请实施例的基于微流控芯片的CTC细胞检测方法的子步骤S160的流程图。
图8为根据本申请实施例的基于微流控芯片的CTC细胞检测系统的框图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
针对上述技术问题，本申请的技术构思是基于微流控芯片和深度学习技术，根据CTC细胞的显微图像，自动地识别出CTC细胞的类型，从而为肿瘤的诊断和个体化治疗提供更准确和有效的信息。
具体地，在本申请的技术方案中，首先，通过微流控芯片捕捉并分离待识别CTC细胞。更具体地，微流控芯片可以通过亲和性富集法分离CTC细胞，即在芯片内部的微通道或微结构上修饰能够与CTC或白细胞表面抗原结合的特异性抗体或适配体，当血液流经芯片时，特异性抗体或适配体可与目的细胞表面抗原结合，随后将CTC或白细胞粘附在芯片上，实现CTC的阳性捕获或阴性富集。
接着，通过显微镜来采集所述待识别CTC细胞的显微图像。这里，显微图像可以直接显示CTC细胞的形态和结构，有利于提取CTC细胞的显微特征，如大小、形状、边缘、纹理等，这些特征对于CTC细胞的识别和分类是非常重要的。
由于CTC细胞的显微图像是一种复杂的图像，存在于图像中的CTC细胞可能存在不同尺寸、不同形态，在本申请的技术方案中，将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵。这里，深浅特征融合模块能够结合卷积神经网络模型，从图像中提取不同层次的特征，保留浅层特征信息的同时，又增强了深层特征的语义信息。
然后，对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列。其中，特征矩阵分块处理是指所述CTC细胞显微特征矩阵阵划分为若干小的子特征矩阵，并对各个子特征矩阵进行展开，从而得到所述CTC细胞显微子特征向量的序列。这样，可以保留CTC细胞显微图像的局部信息，使得每个子特征矩阵都包含了CTC细胞的某一部分的特征。
进一步地，将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量。其中，嵌入层可以将CTC细胞显微子特征矩阵的序列转换为低维的向量表示。而基于转换器的全特征域感受器可以利用自注意力机制，捕捉CTC细胞显微子特征矩阵之间的长距离依赖关系，提高了分类特征向量的表达能力。
继而，将所述分类特征向量通过多标签分类器以得到分类结果，所述分类结果用于表示待识别CTC细胞的类型标签。也就是，在本申请的技术方案中，所述多标签分类器能够通过软最大值函数来计算所述分类特征向量归属于各个分类标签的概率，并将概率最大的分类标签作为分类结果进行输出。其中，CTC细胞的类型标签可以根据实际情况进行修改和确定，例如，可以是表皮生长因子受体（EGFR）阳性的CTC细胞、甲状腺转录因子1（TTF-1）阳性的CTC细胞、表皮转化因子（EMT）相关的CTC细胞、干细胞样的CTC细胞和微环境适应性的CTC细胞。通过这样的方式，对CTC细胞的类型进行划分，从而为肿瘤的诊断和个体化治疗提供更多的信息和依据。
在本申请的技术方案中，在将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型得到所述CTC细胞显微特征矩阵时，可以提取出所述待识别CTC细胞的显微图像的深层和浅层图像特征语义，而在将所述CTC细胞显微子特征矩阵的序列通过包含嵌入层的基于转换器的全特征域感受器得到所述分类特征向量时，由于所述基于转换器的全特征域感受器是对每个所述CTC细胞显微子特征矩阵进行部分图像特征语义的上下文关联编码，其可能会改变所述CTC细胞显微子特征矩阵的序列所表达的初始图像特征语义，因此，本申请的申请人考虑将所述基于转换器的全特征域感受器得到的上下文CTC细胞显微子特征向量与输入的CTC细胞显微子特征向量进行特征语义层面上的融合。
具体地，对每个所述CTC细胞显微子特征向量，例如记为和所述每个上下文CTC细胞显微子特征向量，例如记为/>进行深层空间封装语义匹配融合，以优化所述上下文CTC细胞显微子特征向量，例如记为/>，其中，所述优化的上下文CTC细胞显微子特征向量/>具体表示为：/>，和/>分别表示向量的一范数和二范数，/>和/>分别为权重和偏置超参数，表示所述CTC细胞显微子特征向量/>和所述上下文CTC细胞显微子特征向量之间的按位置距离矩阵，即/>，且/>为单位矩阵。
这里，对于深度特征空间中的所述CTC细胞显微子特征向量和所述上下文CTC细胞显微子特征向量/>，其语义表达被封装到了深层空间内，这使得特征向量的整体分布中的细粒度特征中同时包含低层级语义分布和高层级语义分布，由此，通过所述深层空间封装语义匹配融合，可以通过平衡低层级语义分布和高层级语义分布来进行分类模式层面的语义级别的匹配，以实现特征在特征空间内的语义受控的编译融合，从而获得所述CTC细胞显微子特征向量/>和所述上下文CTC细胞显微子特征向量/>在特征融合空间内的语义协同，提升了优化后的上下文CTC细胞显微子特征向量/>对所述CTC细胞显微子特征向量/>和所述上下文CTC细胞显微子特征向量/>的语义融合效果，也就提升了上下文CTC细胞显微子特征向量/>级联得到所述分类特征向量的表达效果，从而提升了所述分类特征向量通过分类器获得的分类结果的准确性。
本申请具有如下几点技术效果：1、提供了一种基于微流控芯片的CTC细胞检测方案，更具体地，是一种智能化的识别CTC细胞的类型的方案。
2、该方案利用微流控芯片捕捉并分离待识别CTC细胞，然后基于深度学习技术对CTC细胞的显微图像进行处理，自动地识别出CTC细胞的类型，从而为肿瘤的诊断和个体化治疗提供更准确和有效的信息。
图1为根据本申请实施例的基于微流控芯片的CTC细胞检测方法的应用场景图。如图1所示，在该应用场景中，首先，通过显微镜（例如，图1中所示意的C）来采集通过微流控芯片捕捉并分离待识别CTC细胞的显微图像（例如，图1中所示意的D），然后，将所述待识别CTC细胞的显微图像输入至部署有基于微流控芯片的CTC细胞检测算法的服务器中（例如，图1中所示意的S），其中，所述服务器能够使用所述基于微流控芯片的CTC细胞检测算法对所述待识别CTC细胞的显微图像进行处理以得到用于表示待识别CTC细胞的类型标签的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
图2为根据本申请实施例的基于微流控芯片的CTC细胞检测方法的流程图。如图2所示，根据本申请实施例的基于微流控芯片的CTC细胞检测方法，包括步骤：S110，通过微流控芯片捕捉并分离待识别CTC细胞；S120，通过显微镜来采集所述待识别CTC细胞的显微图像；S130，将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵；S140，对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列；S150，将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量；以及，S160，将所述分类特征向量通过多标签分类器以得到分类结果，所述分类结果用于表示待识别CTC细胞的类型标签。
图3为根据本申请实施例的基于微流控芯片的CTC细胞检测方法的架构示意图。如图3所示，在该网络架构中，首先，通过微流控芯片捕捉并分离待识别CTC细胞；接着，通过显微镜来采集所述待识别CTC细胞的显微图像；然后，将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵；接着，对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列；然后，将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量；最后，将所述分类特征向量通过多标签分类器以得到分类结果，所述分类结果用于表示待识别CTC细胞的类型标签。
更具体地，在步骤S110中，通过微流控芯片捕捉并分离待识别CTC细胞。微流控芯片可以通过亲和性富集法分离CTC细胞，即在芯片内部的微通道或微结构上修饰能够与CTC或白细胞表面抗原结合的特异性抗体或适配体，当血液流经芯片时，特异性抗体或适配体可与目的细胞表面抗原结合，随后将CTC或白细胞粘附在芯片上，实现CTC的阳性捕获或阴性富集。
更具体地，在步骤S120中，通过显微镜来采集所述待识别CTC细胞的显微图像。显微图像可以直接显示CTC细胞的形态和结构，有利于提取CTC细胞的显微特征，如大小、形状、边缘、纹理等，这些特征对于CTC细胞的识别和分类是非常重要的。
更具体地，在步骤S130中，将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵。由于CTC细胞的显微图像是一种复杂的图像，存在于图像中的CTC细胞可能存在不同尺寸、不同形态，在本申请的技术方案中，将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵。这里，深浅特征融合模块能够结合卷积神经网络模型，从图像中提取不同层次的特征，保留浅层特征信息的同时，又增强了深层特征的语义信息。
应可以理解，卷积神经网络(Convolutional Neural Network，CNN)是一种人工神经网络，在图像识别等领域有着广泛的应用。卷积神经网络可以包括输入层、隐藏层和输出层，其中，隐藏层可以包括卷积层、池化(pooling)层、激活层和全连接层等，上一层根据输入的数据进行相应的运算，将运算结果输出给下一层，输入的初始数据经过多层的运算之后得到一个最终的结果。
相应地，在一个具体示例中，如图4所示，将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵，包括：S131，将所述待识别CTC细胞的显微图像输入所述卷积神经网络模型以从所述卷积神经网络模型的浅层提取浅层特征图以及从所述卷积神经网络模型的深层提取深层特征图；S132，使用所述卷积神经网络模型的所述深浅特征融合模块来将所述浅层特征图和所述深层特征图进行级联以得到所述CTC细胞显微特征图；以及，S133，将所述CTC细胞显微特征图沿着通道维度进行全局均值池化以得到所述CTC细胞显微特征矩阵。
更具体地，在步骤S140中，对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列。特征矩阵分块处理是指所述CTC细胞显微特征矩阵阵划分为若干小的子特征矩阵，并对各个子特征矩阵进行展开，从而得到所述CTC细胞显微子特征向量的序列。这样，可以保留CTC细胞显微图像的局部信息，使得每个子特征矩阵都包含了CTC细胞的某一部分的特征。
更具体地，在步骤S150中，将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量。嵌入层可以将CTC细胞显微子特征矩阵的序列转换为低维的向量表示。而基于转换器的全特征域感受器可以利用自注意力机制，捕捉CTC细胞显微子特征矩阵之间的长距离依赖关系，提高了分类特征向量的表达能力。
相应地，在一个具体示例中，如图5所示，将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量，包括：S151，将所述CTC细胞显微子特征向量的序列通过嵌入层以将所述CTC细胞显微子特征向量的序列中各个CTC细胞显微子特征向量转化为CTC细胞显微嵌入向量以得到CTC细胞显微嵌入向量的序列，其中，所述嵌入层使用可学习的嵌入矩阵对所述各个CTC细胞显微子特征向量进行嵌入编码；S152，将所述CTC细胞显微嵌入向量的序列输入所述基于转换器的全特征域感受器以得到多个上下文CTC细胞显微子特征向量；S153，对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到多个优化上下文CTC细胞显微子特征向量；以及，S154，将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量。
相应地，在一个具体示例中，如图6所示，将所述CTC细胞显微嵌入向量的序列输入所述基于转换器的全特征域感受器以得到多个上下文CTC细胞显微子特征向量，包括：S1521，将所述CTC细胞显微嵌入向量的序列进行一维排列以得到全局特征向量；S1522，计算所述全局特征向量与所述CTC细胞显微嵌入向量的序列中各个CTC细胞显微嵌入向量的转置向量之间的乘积以得到多个自注意力关联矩阵；S1523，分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；S1524，将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；以及，S1525，分别以所述多个概率值中各个概率值作为权重对所述CTC细胞显微嵌入向量的序列中各个CTC细胞显微嵌入向量进行加权以得到所述多个上下文CTC细胞显微子特征向量。
在本申请的技术方案中，在将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型得到所述CTC细胞显微特征矩阵时，可以提取出所述待识别CTC细胞的显微图像的深层和浅层图像特征语义，而在将所述CTC细胞显微子特征矩阵的序列通过包含嵌入层的基于转换器的全特征域感受器得到所述分类特征向量时，由于所述基于转换器的全特征域感受器是对每个所述CTC细胞显微子特征矩阵进行部分图像特征语义的上下文关联编码，其可能会改变所述CTC细胞显微子特征矩阵的序列所表达的初始图像特征语义，因此，本申请的申请人考虑将所述基于转换器的全特征域感受器得到的上下文CTC细胞显微子特征向量与输入的CTC细胞显微子特征向量进行特征语义层面上的融合。具体地，对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合，以优化所述上下文CTC细胞显微子特征向量。
相应地，在一个具体示例中，对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到多个优化上下文CTC细胞显微子特征向量，包括：以如下优化公式对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到所述多个优化上下文CTC细胞显微子特征向量；其中，所述优化公式为：，其中，/>表示每个所述CTC细胞显微子特征向量，/>表示所述每个上下文CTC细胞显微子特征向量，/>和/>分别表示向量的一范数和二范数，/>和/>分别为权重和偏置超参数，/> 表示每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量之间的按位置距离矩阵，且 />为单位矩阵，/>表示按位置加法，/>表示乘法，/>表示按位置点乘，/>表示按位置减法。
这里，对于深度特征空间中的所述CTC细胞显微子特征向量和所述上下文CTC细胞显微子特征向量，其语义表达被封装到了深层空间内，这使得特征向量的整体分布中的细粒度特征中同时包含低层级语义分布和高层级语义分布，由此，通过所述深层空间封装语义匹配融合，可以通过平衡低层级语义分布和高层级语义分布来进行分类模式层面的语义级别的匹配，以实现特征在特征空间内的语义受控的编译融合，从而获得所述CTC细胞显微子特征向量和所述上下文CTC细胞显微子特征向量在特征融合空间内的语义协同，提升了优化后的上下文CTC细胞显微子特征向量对所述CTC细胞显微子特征向量和所述上下文CTC细胞显微子特征向量的语义融合效果，也就提升了上下文CTC细胞显微子特征向量级联得到所述分类特征向量的表达效果，从而提升了所述分类特征向量通过分类器获得的分类结果的准确性。
相应地，在一个具体示例中，将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量，包括：以如下级联公式将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量；其中，所述级联公式为：，其中，/>表示所述多个优化上下文CTC细胞显微子特征向量，/>表示级联函数，/>表示所述分类特征向量。
更具体地，在步骤S160中，将所述分类特征向量通过多标签分类器以得到分类结果，所述分类结果用于表示待识别CTC细胞的类型标签。通过这样的方式，对CTC细胞的类型进行划分，从而为肿瘤的诊断和个体化治疗提供更多的信息和依据。
应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类（或预测）。逻辑回归（logistics）、SVM等常用于解决二分类问题，对于多分类问题（multi-class classification），同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有Softmax分类函数。
相应地，在一个具体示例中，如图7所示，将所述分类特征向量通过多标签分类器以得到分类结果，所述分类结果用于表示待识别CTC细胞的类型标签，包括：S161，使用所述多标签分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，S162，将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
综上，基于本申请实施例的基于微流控芯片的CTC细胞检测方法，其首先通过微流控芯片捕捉并分离待识别CTC细胞，接着，通过显微镜来采集所述待识别CTC细胞的显微图像，然后，将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵，接着，对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列，然后，将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量，最后，将所述分类特征向量通过多标签分类器以得到用于表示待识别CTC细胞的类型标签的分类结果。这样，可以获取更准确和有效的信息。
图8为根据本申请实施例的基于微流控芯片的CTC细胞检测系统100的框图。如图8所示，根据本申请实施例的基于微流控芯片的CTC细胞检测系统100，包括：CTC细胞分离模块110，用于通过微流控芯片捕捉并分离待识别CTC细胞；图像采集模块120，用于通过显微镜来采集所述待识别CTC细胞的显微图像；卷积编码模块130，用于将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵；特征矩阵分块模块140，用于对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列；嵌入编码模块150，用于将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量；以及，分类模块160，用于将所述分类特征向量通过多标签分类器以得到分类结果，所述分类结果用于表示待识别CTC细胞的类型标签。
在一个示例中，在上述基于微流控芯片的CTC细胞检测系统100中，所述卷积编码模块130，用于：将所述待识别CTC细胞的显微图像输入所述卷积神经网络模型以从所述卷积神经网络模型的浅层提取浅层特征图以及从所述卷积神经网络模型的深层提取深层特征图；使用所述卷积神经网络模型的所述深浅特征融合模块来将所述浅层特征图和所述深层特征图进行级联以得到所述CTC细胞显微特征图；以及，将所述CTC细胞显微特征图沿着通道维度进行全局均值池化以得到所述CTC细胞显微特征矩阵。
在一个示例中，在上述基于微流控芯片的CTC细胞检测系统100中，所述嵌入编码模块150，用于：将所述CTC细胞显微子特征向量的序列通过嵌入层以将所述CTC细胞显微子特征向量的序列中各个CTC细胞显微子特征向量转化为CTC细胞显微嵌入向量以得到CTC细胞显微嵌入向量的序列，其中，所述嵌入层使用可学习的嵌入矩阵对所述各个CTC细胞显微子特征向量进行嵌入编码；将所述CTC细胞显微嵌入向量的序列输入所述基于转换器的全特征域感受器以得到多个上下文CTC细胞显微子特征向量；对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到多个优化上下文CTC细胞显微子特征向量；以及，将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量。
在一个示例中，在上述基于微流控芯片的CTC细胞检测系统100中，将所述CTC细胞显微嵌入向量的序列输入所述基于转换器的全特征域感受器以得到多个上下文CTC细胞显微子特征向量，包括：将所述CTC细胞显微嵌入向量的序列进行一维排列以得到全局特征向量；计算所述全局特征向量与所述CTC细胞显微嵌入向量的序列中各个CTC细胞显微嵌入向量的转置向量之间的乘积以得到多个自注意力关联矩阵；分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；以及，分别以所述多个概率值中各个概率值作为权重对所述CTC细胞显微嵌入向量的序列中各个CTC细胞显微嵌入向量进行加权以得到所述多个上下文CTC细胞显微子特征向量。
在一个示例中，在上述基于微流控芯片的CTC细胞检测系统100中，对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到多个优化上下文CTC细胞显微子特征向量，包括：以如下优化公式对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到所述多个优化上下文CTC细胞显微子特征向量；其中，所述优化公式为：
，其中，/>表示每个所述CTC细胞显微子特征向量，/>表示所述每个上下文CTC细胞显微子特征向量，和/>分别表示向量的一范数和二范数，/>和/>分别为权重和偏置超参数， 表示每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量之间的按位置距离矩阵，且 />为单位矩阵，/>表示按位置加法，/>表示乘法，/>表示按位置点乘，/>表示按位置减法。
在一个示例中，在上述基于微流控芯片的CTC细胞检测系统100中，将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量，包括：以如下级联公式将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量；其中，所述级联公式为：，其中，/>表示所述多个优化上下文CTC细胞显微子特征向量，/>表示级联函数，/>表示所述分类特征向量。
在一个示例中，在上述基于微流控芯片的CTC细胞检测系统100中，所述分类模块160，用于：使用所述多标签分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
这里，本领域技术人员可以理解，上述基于微流控芯片的CTC细胞检测系统100中的各个模块的具体功能和操作已经在上面参考图1到图7的基于微流控芯片的CTC细胞检测方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的基于微流控芯片的CTC细胞检测系统100可以实现在各种无线终端中，例如具有基于微流控芯片的CTC细胞检测算法的服务器等。在一个示例中，根据本申请实施例的基于微流控芯片的CTC细胞检测系统100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该基于微流控芯片的CTC细胞检测系统100可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该基于微流控芯片的CTC细胞检测系统100同样可以是该无线终端的众多硬件模块之一。
替换地，在另一示例中，该基于微流控芯片的CTC细胞检测系统100与该无线终端也可以是分立的设备，并且该基于微流控芯片的CTC细胞检测系统100可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。
根据本申请的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的方法。
技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
所有软件或其中的一部分有时可能会通过网络进行通信，如互联网或其他通信网络。此类通信可以将软件从一个计算机设备或处理器加载到另一个。例如：从视频目标检测设备的一个服务器或主机计算机加载至一个计算机环境的硬件平台，或其他实现系统的计算机环境，或与提供目标检测所需要的信息相关的类似功能的系统。因此，另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接，例如光波、电波、电磁波等，通过电缆、光缆或者空气等实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备，也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质，其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。
本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (7)

1.一种基于微流控芯片的CTC细胞检测方法，其特征在于，包括：
通过微流控芯片捕捉并分离待识别CTC细胞；
通过显微镜来采集所述待识别CTC细胞的显微图像；
将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵；
对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列；
将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量；以及
将所述分类特征向量通过多标签分类器以得到分类结果，所述分类结果用于表示待识别CTC细胞的类型标签；
其中，将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量，包括：
将所述CTC细胞显微子特征向量的序列通过嵌入层以将所述CTC细胞显微子特征向量的序列中各个CTC细胞显微子特征向量转化为CTC细胞显微嵌入向量以得到CTC细胞显微嵌入向量的序列，其中，所述嵌入层使用可学习的嵌入矩阵对所述各个CTC细胞显微子特征向量进行嵌入编码；
将所述CTC细胞显微嵌入向量的序列输入所述基于转换器的全特征域感受器以得到多个上下文CTC细胞显微子特征向量；
对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到多个优化上下文CTC细胞显微子特征向量；以及
将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量；
其中，对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到多个优化上下文CTC细胞显微子特征向量，包括：
以如下优化公式对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到所述多个优化上下文CTC细胞显微子特征向量；
其中，所述优化公式为：
，
其中，表示每个所述CTC细胞显微子特征向量，/>表示所述每个上下文CTC细胞显微子特征向量，/>和/>分别表示向量的一范数和二范数，/>和/>分别为权重和偏置超参数，/>表示每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量之间的按位置距离矩阵，且/>为单位矩阵，/>表示按位置加法，/>表示乘法，/>表示按位置点乘，/>表示按位置减法。
2.根据权利要求1所述的基于微流控芯片的CTC细胞检测方法，其特征在于，将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵，包括：
将所述待识别CTC细胞的显微图像输入所述卷积神经网络模型以从所述卷积神经网络模型的浅层提取浅层特征图以及从所述卷积神经网络模型的深层提取深层特征图；
使用所述卷积神经网络模型的所述深浅特征融合模块来将所述浅层特征图和所述深层特征图进行级联以得到所述CTC细胞显微特征图；以及
将所述CTC细胞显微特征图沿着通道维度进行全局均值池化以得到所述CTC细胞显微特征矩阵。
3.根据权利要求2所述的基于微流控芯片的CTC细胞检测方法，其特征在于，将所述CTC细胞显微嵌入向量的序列输入所述基于转换器的全特征域感受器以得到多个上下文CTC细胞显微子特征向量，包括：
将所述CTC细胞显微嵌入向量的序列进行一维排列以得到全局特征向量；
计算所述全局特征向量与所述CTC细胞显微嵌入向量的序列中各个CTC细胞显微嵌入向量的转置向量之间的乘积以得到多个自注意力关联矩阵；
分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；
将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；以及
分别以所述多个概率值中各个概率值作为权重对所述CTC细胞显微嵌入向量的序列中各个CTC细胞显微嵌入向量进行加权以得到所述多个上下文CTC细胞显微子特征向量。
4.根据权利要求3所述的基于微流控芯片的CTC细胞检测方法，其特征在于，将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量，包括：
以如下级联公式将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量；
其中，所述级联公式为：
，
其中，表示所述多个优化上下文CTC细胞显微子特征向量，表示级联函数，/>表示所述分类特征向量。
5.根据权利要求4所述的基于微流控芯片的CTC细胞检测方法，其特征在于，将所述分类特征向量通过多标签分类器以得到分类结果，所述分类结果用于表示待识别CTC细胞的类型标签，包括：
使用所述多标签分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
6.一种基于微流控芯片的CTC细胞检测系统，其特征在于，包括：
CTC细胞分离模块，用于通过微流控芯片捕捉并分离待识别CTC细胞；
图像采集模块，用于通过显微镜来采集所述待识别CTC细胞的显微图像；
卷积编码模块，用于将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵；
特征矩阵分块模块，用于对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列；
嵌入编码模块，用于将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量；以及
分类模块，用于将所述分类特征向量通过多标签分类器以得到分类结果，所述分类结果用于表示待识别CTC细胞的类型标签；
其中，所述嵌入编码模块，用于：
将所述CTC细胞显微子特征向量的序列通过嵌入层以将所述CTC细胞显微子特征向量的序列中各个CTC细胞显微子特征向量转化为CTC细胞显微嵌入向量以得到CTC细胞显微嵌入向量的序列，其中，所述嵌入层使用可学习的嵌入矩阵对所述各个CTC细胞显微子特征向量进行嵌入编码；
将所述CTC细胞显微嵌入向量的序列输入所述基于转换器的全特征域感受器以得到多个上下文CTC细胞显微子特征向量；
对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到多个优化上下文CTC细胞显微子特征向量；以及
将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量；
对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到多个优化上下文CTC细胞显微子特征向量，包括：以如下优化公式对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到所述多个优化上下文CTC细胞显微子特征向量；其中，所述优化公式为：
，
其中，表示每个所述CTC细胞显微子特征向量，/>表示所述每个上下文CTC细胞显微子特征向量，/>和/>分别表示向量的一范数和二范数，/>和/>分别为权重和偏置超参数，/>表示每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量之间的按位置距离矩阵，且/>为单位矩阵，/>表示按位置加法，/>表示乘法，/>表示按位置点乘，/>表示按位置减法。
7.根据权利要求6所述的基于微流控芯片的CTC细胞检测系统，其特征在于，所述卷积编码模块，用于：
将所述待识别CTC细胞的显微图像输入所述卷积神经网络模型以从所述卷积神经网络模型的浅层提取浅层特征图以及从所述卷积神经网络模型的深层提取深层特征图；
使用所述卷积神经网络模型的所述深浅特征融合模块来将所述浅层特征图和所述深层特征图进行级联以得到所述CTC细胞显微特征图；以及
将所述CTC细胞显微特征图沿着通道维度进行全局均值池化以得到所述CTC细胞显微特征矩阵。
CN202310581431.0A 2023-05-23 2023-05-23 基于微流控芯片的ctc细胞检测方法及其系统 Active CN116309596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310581431.0A CN116309596B (zh) 2023-05-23 2023-05-23 基于微流控芯片的ctc细胞检测方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310581431.0A CN116309596B (zh) 2023-05-23 2023-05-23 基于微流控芯片的ctc细胞检测方法及其系统

Publications (2)

Publication Number Publication Date
CN116309596A CN116309596A (zh) 2023-06-23
CN116309596B true CN116309596B (zh) 2023-08-04

Family

ID=86826214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310581431.0A Active CN116309596B (zh) 2023-05-23 2023-05-23 基于微流控芯片的ctc细胞检测方法及其系统

Country Status (1)

Country Link
CN (1) CN116309596B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117210403B (zh) * 2023-08-23 2024-05-28 翔鹏(北京)生物科技有限公司 一种用于抗衰老的干细胞和免疫细胞组合物的制备方法及应用

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113533171A (zh) * 2021-07-01 2021-10-22 芯峰科技(广州)有限公司 基于深度学习和微流控芯片的细胞形变检测方法及系统
CN114066902A (zh) * 2021-11-22 2022-02-18 安徽大学 一种基于卷积和transformer融合的医学图像分割方法、系统、装置
CN114372531A (zh) * 2022-01-11 2022-04-19 北京航空航天大学 一种基于自注意力特征融合的胰腺癌病理图像分类方法
CN115410050A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 基于机器视觉的肿瘤细胞检测设备及其方法
CN115409844A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 循环肿瘤细胞检测设备及其方法
CN115406815A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 基于多源数据融合的肿瘤细胞检测设备及其方法
CN115690783A (zh) * 2022-09-07 2023-02-03 北京理工大学 一种基于深度学习的医学高光谱图像微流控单细胞识别方法
CN115791640A (zh) * 2023-02-06 2023-03-14 杭州华得森生物技术有限公司 基于分光光谱的肿瘤细胞检测设备及其方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019018693A2 (en) * 2017-07-19 2019-01-24 Altius Institute For Biomedical Sciences METHODS OF ANALYZING MICROSCOPIC IMAGES USING AUTOMATIC LEARNING
BR112023000827A2 (pt) * 2020-07-17 2023-02-07 Genentech Inc Métodos, vacina, métodos para fabricar uma vacina, para tratar um indivíduo e para fabricar um tratamento para um indivíduo, composição farmacêutica, peptídeo imunogênico, sequência de ácido nucleico, sistema e produto de programa de computador
US20220028068A1 (en) * 2020-07-23 2022-01-27 Nec Laboratories America, Inc. Multi-scale tumor cell detection and classification

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113533171A (zh) * 2021-07-01 2021-10-22 芯峰科技(广州)有限公司 基于深度学习和微流控芯片的细胞形变检测方法及系统
CN114066902A (zh) * 2021-11-22 2022-02-18 安徽大学 一种基于卷积和transformer融合的医学图像分割方法、系统、装置
CN114372531A (zh) * 2022-01-11 2022-04-19 北京航空航天大学 一种基于自注意力特征融合的胰腺癌病理图像分类方法
CN115690783A (zh) * 2022-09-07 2023-02-03 北京理工大学 一种基于深度学习的医学高光谱图像微流控单细胞识别方法
CN115410050A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 基于机器视觉的肿瘤细胞检测设备及其方法
CN115409844A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 循环肿瘤细胞检测设备及其方法
CN115406815A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 基于多源数据融合的肿瘤细胞检测设备及其方法
CN115791640A (zh) * 2023-02-06 2023-03-14 杭州华得森生物技术有限公司 基于分光光谱的肿瘤细胞检测设备及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Automatic Detection of Tumor Cells in Microscopic Images of Unstained Blood using Convolutional Neural Networks;Ioana Mocan;2018 IEEE 14th International Conference on Intelligent Computer Communication and Processing (ICCP);全文 *

Also Published As

Publication number Publication date
CN116309596A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
EP3864577B1 (en) Systems and methods for image preprocessing
Vo et al. Classification of breast cancer histology images using incremental boosting convolution networks
CN109564618B (zh) 用于面部图像分析的方法和系统
US11836603B2 (en) Neural network method and apparatus with parameter quantization
Mishra et al. Convolutional neural network for histopathological analysis of osteosarcoma
US10275719B2 (en) Hyper-parameter selection for deep convolutional networks
CN116189179B (zh) 循环肿瘤细胞扫描分析设备
CN116010713A (zh) 基于云计算的创新创业平台服务数据处理方法及系统
US20080063264A1 (en) Method for classifying data using an analytic manifold
CN116309596B (zh) 基于微流控芯片的ctc细胞检测方法及其系统
Ersoy et al. HEp-2 cell classification in IIF images using shareboost
US11558810B2 (en) Artificial intelligence radio classifier and identifier
Yasmeen et al. Citrus diseases recognition using deep improved genetic algorithm
CN116287138B (zh) 基于fish的细胞检测系统及其方法
Rauf et al. Attention-guided multi-scale deep object detection framework for lymphocyte analysis in IHC histological images
Tahir et al. Subcellular localization using fluorescence imagery: utilizing ensemble classification with diverse feature extraction strategies and data balancing
Murugaiyan et al. Fish species recognition using transfer learning techniques
Su et al. Clustering and recognition of spatiotemporal features through interpretable embedding of sequence to sequence recurrent neural networks
Rao et al. An effective WBC segmentation and classification using MobilenetV3–ShufflenetV2 based deep learning framework
Maurya et al. Computer-aided diagnosis of auto-immune disease using capsule neural network
Tymchenko et al. Classifying mixed patterns of proteins in microscopic images with deep neural networks
CN103268494A (zh) 基于稀疏表示的寄生虫虫卵识别方法
CN114077666A (zh) 对话意图分类方法、装置和非易失性计算机存储介质
CN116863250A (zh) 一种涉及多模态未知类识别的开放场景目标检测方法
Thorat et al. Towards designing the best model for classification of fish species using deep neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant