CN116309596A - 基于微流控芯片的ctc细胞检测方法及其系统 - Google Patents
基于微流控芯片的ctc细胞检测方法及其系统 Download PDFInfo
- Publication number
- CN116309596A CN116309596A CN202310581431.0A CN202310581431A CN116309596A CN 116309596 A CN116309596 A CN 116309596A CN 202310581431 A CN202310581431 A CN 202310581431A CN 116309596 A CN116309596 A CN 116309596A
- Authority
- CN
- China
- Prior art keywords
- feature
- ctc
- ctc cell
- sub
- microscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 239000013598 vector Substances 0.000 claims abstract description 307
- 239000011159 matrix material Substances 0.000 claims abstract description 87
- 230000004927 fusion Effects 0.000 claims abstract description 53
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 47
- 230000000903 blocking effect Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000005457 optimization Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 17
- 238000005538 encapsulation Methods 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 7
- 238000000926 separation method Methods 0.000 claims description 4
- 238000000386 microscopy Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 2
- 238000004806 packaging method and process Methods 0.000 claims description 2
- 238000009826 distribution Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 206010028980 Neoplasm Diseases 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 208000005443 Circulating Neoplastic Cells Diseases 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 108020003175 receptors Proteins 0.000 description 5
- 102000005962 receptors Human genes 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 108091023037 Aptamer Proteins 0.000 description 4
- 210000000265 leukocyte Anatomy 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 102000001301 EGF receptor Human genes 0.000 description 2
- 108060006698 EGF receptor Proteins 0.000 description 2
- 101710160107 Outer membrane protein A Proteins 0.000 description 2
- 239000000427 antigen Substances 0.000 description 2
- 108091007433 antigens Proteins 0.000 description 2
- 102000036639 antigens Human genes 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 108010020382 Hepatocyte Nuclear Factor 1-alpha Proteins 0.000 description 1
- 102100022057 Hepatocyte nuclear factor 1-alpha Human genes 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 102000002658 Thyroid Nuclear Factor 1 Human genes 0.000 description 1
- 108010057966 Thyroid Nuclear Factor 1 Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000000130 stem cell Anatomy 0.000 description 1
- 230000004797 therapeutic response Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
公开了一种基于微流控芯片的CTC细胞检测方法及其系统。其首先通过微流控芯片捕捉并分离待识别CTC细胞,接着,通过显微镜来采集所述待识别CTC细胞的显微图像,然后,将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵,接着,对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列,然后,将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量,最后,将所述分类特征向量通过多标签分类器以得到用于表示待识别CTC细胞的类型标签的分类结果。这样,可以获取更准确和有效的信息。
Description
技术领域
本申请涉及智能检测领域,且更为具体地,涉及一种基于微流控芯片的CTC细胞检测方法及其系统。
背景技术
微流控芯片是一种能够在微米尺度上操纵液体的器件,它可以用于检测血液中的循环肿瘤细胞(CTC)。CTC是从原发肿瘤或转移灶脱落的癌细胞,它们可以反映肿瘤的生物学特征和治疗反应。微流控芯片能够利用CTC的物理或生化性质来实现对CTC的捕获和分离。
然而,微流控芯片无法分辨CTC细胞的类型,对肿瘤的诊断和个体化治疗的作用非常有限,因此,期待一种解决方案。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种基于微流控芯片的CTC细胞检测方法及其系统。其首先通过微流控芯片捕捉并分离待识别CTC细胞,接着,通过显微镜来采集所述待识别CTC细胞的显微图像,然后,将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵,接着,对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列,然后,将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量,最后,将所述分类特征向量通过多标签分类器以得到用于表示待识别CTC细胞的类型标签的分类结果。这样,可以获取更准确和有效的信息。
根据本申请的一个方面,提供了一种基于微流控芯片的CTC细胞检测方法,其包括:通过微流控芯片捕捉并分离待识别CTC细胞;通过显微镜来采集所述待识别CTC细胞的显微图像;将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵;对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列;将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量;以及将所述分类特征向量通过多标签分类器以得到分类结果,所述分类结果用于表示待识别CTC细胞的类型标签。
在上述的基于微流控芯片的CTC细胞检测方法中,将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵,包括:将所述待识别CTC细胞的显微图像输入所述卷积神经网络模型以从所述卷积神经网络模型的浅层提取浅层特征图以及从所述卷积神经网络模型的深层提取深层特征图;使用所述卷积神经网络模型的所述深浅特征融合模块来将所述浅层特征图和所述深层特征图进行级联以得到所述CTC细胞显微特征图;以及将所述CTC细胞显微特征图沿着通道维度进行全局均值池化以得到所述CTC细胞显微特征矩阵。
在上述的基于微流控芯片的CTC细胞检测方法中,将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量,包括:将所述CTC细胞显微子特征向量的序列通过嵌入层以将所述CTC细胞显微子特征向量的序列中各个CTC细胞显微子特征向量转化为CTC细胞显微嵌入向量以得到CTC细胞显微嵌入向量的序列,其中,所述嵌入层使用可学习的嵌入矩阵对所述各个CTC细胞显微子特征向量进行嵌入编码;将所述CTC细胞显微嵌入向量的序列输入所述基于转换器的全特征域感受器以得到多个上下文CTC细胞显微子特征向量;对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到多个优化上下文CTC细胞显微子特征向量;以及将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量。
在上述的基于微流控芯片的CTC细胞检测方法中,将所述CTC细胞显微嵌入向量的序列输入所述基于转换器的全特征域感受器以得到多个上下文CTC细胞显微子特征向量,包括:将所述CTC细胞显微嵌入向量的序列进行一维排列以得到全局特征向量;计算所述全局特征向量与所述CTC细胞显微嵌入向量的序列中各个CTC细胞显微嵌入向量的转置向量之间的乘积以得到多个自注意力关联矩阵;分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵;将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值;以及分别以所述多个概率值中各个概率值作为权重对所述CTC细胞显微嵌入向量的序列中各个CTC细胞显微嵌入向量进行加权以得到所述多个上下文CTC细胞显微子特征向量。
在上述的基于微流控芯片的CTC细胞检测方法中,对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到多个优化上下文CTC细胞显微子特征向量,包括:以如下优化公式对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到所述多个优化上下文CTC细胞显微子特征向量;其中,所述优化公式为:,其中,/>表示每个所述CTC细胞显微子特征向量,/>表示所述每个上下文CTC细胞显微子特征向量,/>和分别表示向量的一范数和二范数,/>和/>分别为权重和偏置超参数,/>表示每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量之间的按位置距离矩阵,且 />为单位矩阵,/>表示按位置加法,/>表示乘法,/>表示按位置点乘,/>表示按位置减法。
在上述的基于微流控芯片的CTC细胞检测方法中,将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量,包括:以如下级联公式将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量;其中,所述级联公式为:,其中,/>表示所述多个优化上下文CTC细胞显微子特征向量,/>表示级联函数,/>表示所述分类特征向量。
在上述的基于微流控芯片的CTC细胞检测方法中,将所述分类特征向量通过多标签分类器以得到分类结果,所述分类结果用于表示待识别CTC细胞的类型标签,包括:使用所述多标签分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;以及将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
根据本申请的另一个方面,提供了一种基于微流控芯片的CTC细胞检测系统,其包括:CTC细胞分离模块,用于通过微流控芯片捕捉并分离待识别CTC细胞;图像采集模块,用于通过显微镜来采集所述待识别CTC细胞的显微图像;卷积编码模块,用于将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵;特征矩阵分块模块,用于对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列;嵌入编码模块,用于将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量;以及分类模块,用于将所述分类特征向量通过多标签分类器以得到分类结果,所述分类结果用于表示待识别CTC细胞的类型标签。
在上述的基于微流控芯片的CTC细胞检测系统中,所述卷积编码模块,用于:将所述待识别CTC细胞的显微图像输入所述卷积神经网络模型以从所述卷积神经网络模型的浅层提取浅层特征图以及从所述卷积神经网络模型的深层提取深层特征图;使用所述卷积神经网络模型的所述深浅特征融合模块来将所述浅层特征图和所述深层特征图进行级联以得到所述CTC细胞显微特征图;以及将所述CTC细胞显微特征图沿着通道维度进行全局均值池化以得到所述CTC细胞显微特征矩阵。
在上述的基于微流控芯片的CTC细胞检测系统中,所述嵌入编码模块,用于:将所述CTC细胞显微子特征向量的序列通过嵌入层以将所述CTC细胞显微子特征向量的序列中各个CTC细胞显微子特征向量转化为CTC细胞显微嵌入向量以得到CTC细胞显微嵌入向量的序列,其中,所述嵌入层使用可学习的嵌入矩阵对所述各个CTC细胞显微子特征向量进行嵌入编码;将所述CTC细胞显微嵌入向量的序列输入所述基于转换器的全特征域感受器以得到多个上下文CTC细胞显微子特征向量;对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到多个优化上下文CTC细胞显微子特征向量;以及将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量。
与现有技术相比,本申请提供的基于微流控芯片的CTC细胞检测方法及其系统,其首先通过微流控芯片捕捉并分离待识别CTC细胞,接着,通过显微镜来采集所述待识别CTC细胞的显微图像,然后,将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵,接着,对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列,然后,将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量,最后,将所述分类特征向量通过多标签分类器以得到用于表示待识别CTC细胞的类型标签的分类结果。这样,可以获取更准确和有效的信息。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员而言,在没有做出创造性劳动的前提下,还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制,重点在于示出本申请的主旨。
图1为根据本申请实施例的基于微流控芯片的CTC细胞检测方法的应用场景图。
图2为根据本申请实施例的基于微流控芯片的CTC细胞检测方法的流程图。
图3为根据本申请实施例的基于微流控芯片的CTC细胞检测方法的架构示意图。
图4为根据本申请实施例的基于微流控芯片的CTC细胞检测方法的子步骤S130的流程图。
图5为根据本申请实施例的基于微流控芯片的CTC细胞检测方法的子步骤S150的流程图。
图6为根据本申请实施例的基于微流控芯片的CTC细胞检测方法的子步骤S152的流程图。
图7为根据本申请实施例的基于微流控芯片的CTC细胞检测方法的子步骤S160的流程图。
图8为根据本申请实施例的基于微流控芯片的CTC细胞检测系统的框图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述,显而易见地,所描述的实施例仅仅是本申请的部分实施例,而不是全部的实施例。基于本申请实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,也属于本申请保护的范围。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用,然而,任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的,并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,根据需要,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
针对上述技术问题,本申请的技术构思是基于微流控芯片和深度学习技术,根据CTC细胞的显微图像,自动地识别出CTC细胞的类型,从而为肿瘤的诊断和个体化治疗提供更准确和有效的信息。
具体地,在本申请的技术方案中,首先,通过微流控芯片捕捉并分离待识别CTC细胞。更具体地,微流控芯片可以通过亲和性富集法分离CTC细胞,即在芯片内部的微通道或微结构上修饰能够与CTC或白细胞表面抗原结合的特异性抗体或适配体,当血液流经芯片时,特异性抗体或适配体可与目的细胞表面抗原结合,随后将CTC或白细胞粘附在芯片上,实现CTC的阳性捕获或阴性富集。
接着,通过显微镜来采集所述待识别CTC细胞的显微图像。这里,显微图像可以直接显示CTC细胞的形态和结构,有利于提取CTC细胞的显微特征,如大小、形状、边缘、纹理等,这些特征对于CTC细胞的识别和分类是非常重要的。
由于CTC细胞的显微图像是一种复杂的图像,存在于图像中的CTC细胞可能存在不同尺寸、不同形态,在本申请的技术方案中,将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵。这里,深浅特征融合模块能够结合卷积神经网络模型,从图像中提取不同层次的特征,保留浅层特征信息的同时,又增强了深层特征的语义信息。
然后,对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列。其中,特征矩阵分块处理是指所述CTC细胞显微特征矩阵阵划分为若干小的子特征矩阵,并对各个子特征矩阵进行展开,从而得到所述CTC细胞显微子特征向量的序列。这样,可以保留CTC细胞显微图像的局部信息,使得每个子特征矩阵都包含了CTC细胞的某一部分的特征。
进一步地,将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量。其中,嵌入层可以将CTC细胞显微子特征矩阵的序列转换为低维的向量表示。而基于转换器的全特征域感受器可以利用自注意力机制,捕捉CTC细胞显微子特征矩阵之间的长距离依赖关系,提高了分类特征向量的表达能力。
继而,将所述分类特征向量通过多标签分类器以得到分类结果,所述分类结果用于表示待识别CTC细胞的类型标签。也就是,在本申请的技术方案中,所述多标签分类器能够通过软最大值函数来计算所述分类特征向量归属于各个分类标签的概率,并将概率最大的分类标签作为分类结果进行输出。其中,CTC细胞的类型标签可以根据实际情况进行修改和确定,例如,可以是表皮生长因子受体(EGFR)阳性的CTC细胞、甲状腺转录因子1(TTF-1)阳性的CTC细胞、表皮转化因子(EMT)相关的CTC细胞、干细胞样的CTC细胞和微环境适应性的CTC细胞。通过这样的方式,对CTC细胞的类型进行划分,从而为肿瘤的诊断和个体化治疗提供更多的信息和依据。
在本申请的技术方案中,在将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型得到所述CTC细胞显微特征矩阵时,可以提取出所述待识别CTC细胞的显微图像的深层和浅层图像特征语义,而在将所述CTC细胞显微子特征矩阵的序列通过包含嵌入层的基于转换器的全特征域感受器得到所述分类特征向量时,由于所述基于转换器的全特征域感受器是对每个所述CTC细胞显微子特征矩阵进行部分图像特征语义的上下文关联编码,其可能会改变所述CTC细胞显微子特征矩阵的序列所表达的初始图像特征语义,因此,本申请的申请人考虑将所述基于转换器的全特征域感受器得到的上下文CTC细胞显微子特征向量与输入的CTC细胞显微子特征向量进行特征语义层面上的融合。
具体地,对每个所述CTC细胞显微子特征向量,例如记为和所述每个上下文CTC细胞显微子特征向量,例如记为/>进行深层空间封装语义匹配融合,以优化所述上下文CTC细胞显微子特征向量,例如记为/>,其中,所述优化的上下文CTC细胞显微子特征向量/>具体表示为:/>,和/>分别表示向量的一范数和二范数,/>和/>分别为权重和偏置超参数,表示所述CTC细胞显微子特征向量/>和所述上下文CTC细胞显微子特征向量之间的按位置距离矩阵,即/>,且/>为单位矩阵。
这里,对于深度特征空间中的所述CTC细胞显微子特征向量和所述上下文CTC细胞显微子特征向量/>,其语义表达被封装到了深层空间内,这使得特征向量的整体分布中的细粒度特征中同时包含低层级语义分布和高层级语义分布,由此,通过所述深层空间封装语义匹配融合,可以通过平衡低层级语义分布和高层级语义分布来进行分类模式层面的语义级别的匹配,以实现特征在特征空间内的语义受控的编译融合,从而获得所述CTC细胞显微子特征向量/>和所述上下文CTC细胞显微子特征向量/>在特征融合空间内的语义协同,提升了优化后的上下文CTC细胞显微子特征向量/>对所述CTC细胞显微子特征向量/>和所述上下文CTC细胞显微子特征向量/>的语义融合效果,也就提升了上下文CTC细胞显微子特征向量/>级联得到所述分类特征向量的表达效果,从而提升了所述分类特征向量通过分类器获得的分类结果的准确性。
本申请具有如下几点技术效果:1、提供了一种基于微流控芯片的CTC细胞检测方案,更具体地,是一种智能化的识别CTC细胞的类型的方案。
2、该方案利用微流控芯片捕捉并分离待识别CTC细胞,然后基于深度学习技术对CTC细胞的显微图像进行处理,自动地识别出CTC细胞的类型,从而为肿瘤的诊断和个体化治疗提供更准确和有效的信息。
图1为根据本申请实施例的基于微流控芯片的CTC细胞检测方法的应用场景图。如图1所示,在该应用场景中,首先,通过显微镜(例如,图1中所示意的C)来采集通过微流控芯片捕捉并分离待识别CTC细胞的显微图像(例如,图1中所示意的D),然后,将所述待识别CTC细胞的显微图像输入至部署有基于微流控芯片的CTC细胞检测算法的服务器中(例如,图1中所示意的S),其中,所述服务器能够使用所述基于微流控芯片的CTC细胞检测算法对所述待识别CTC细胞的显微图像进行处理以得到用于表示待识别CTC细胞的类型标签的分类结果。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
图2为根据本申请实施例的基于微流控芯片的CTC细胞检测方法的流程图。如图2所示,根据本申请实施例的基于微流控芯片的CTC细胞检测方法,包括步骤:S110,通过微流控芯片捕捉并分离待识别CTC细胞;S120,通过显微镜来采集所述待识别CTC细胞的显微图像;S130,将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵;S140,对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列;S150,将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量;以及,S160,将所述分类特征向量通过多标签分类器以得到分类结果,所述分类结果用于表示待识别CTC细胞的类型标签。
图3为根据本申请实施例的基于微流控芯片的CTC细胞检测方法的架构示意图。如图3所示,在该网络架构中,首先,通过微流控芯片捕捉并分离待识别CTC细胞;接着,通过显微镜来采集所述待识别CTC细胞的显微图像;然后,将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵;接着,对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列;然后,将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量;最后,将所述分类特征向量通过多标签分类器以得到分类结果,所述分类结果用于表示待识别CTC细胞的类型标签。
更具体地,在步骤S110中,通过微流控芯片捕捉并分离待识别CTC细胞。微流控芯片可以通过亲和性富集法分离CTC细胞,即在芯片内部的微通道或微结构上修饰能够与CTC或白细胞表面抗原结合的特异性抗体或适配体,当血液流经芯片时,特异性抗体或适配体可与目的细胞表面抗原结合,随后将CTC或白细胞粘附在芯片上,实现CTC的阳性捕获或阴性富集。
更具体地,在步骤S120中,通过显微镜来采集所述待识别CTC细胞的显微图像。显微图像可以直接显示CTC细胞的形态和结构,有利于提取CTC细胞的显微特征,如大小、形状、边缘、纹理等,这些特征对于CTC细胞的识别和分类是非常重要的。
更具体地,在步骤S130中,将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵。由于CTC细胞的显微图像是一种复杂的图像,存在于图像中的CTC细胞可能存在不同尺寸、不同形态,在本申请的技术方案中,将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵。这里,深浅特征融合模块能够结合卷积神经网络模型,从图像中提取不同层次的特征,保留浅层特征信息的同时,又增强了深层特征的语义信息。
应可以理解,卷积神经网络(Convolutional Neural Network,CNN)是一种人工神经网络,在图像识别等领域有着广泛的应用。卷积神经网络可以包括输入层、隐藏层和输出层,其中,隐藏层可以包括卷积层、池化(pooling)层、激活层和全连接层等,上一层根据输入的数据进行相应的运算,将运算结果输出给下一层,输入的初始数据经过多层的运算之后得到一个最终的结果。
相应地,在一个具体示例中,如图4所示,将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵,包括:S131,将所述待识别CTC细胞的显微图像输入所述卷积神经网络模型以从所述卷积神经网络模型的浅层提取浅层特征图以及从所述卷积神经网络模型的深层提取深层特征图;S132,使用所述卷积神经网络模型的所述深浅特征融合模块来将所述浅层特征图和所述深层特征图进行级联以得到所述CTC细胞显微特征图;以及,S133,将所述CTC细胞显微特征图沿着通道维度进行全局均值池化以得到所述CTC细胞显微特征矩阵。
更具体地,在步骤S140中,对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列。特征矩阵分块处理是指所述CTC细胞显微特征矩阵阵划分为若干小的子特征矩阵,并对各个子特征矩阵进行展开,从而得到所述CTC细胞显微子特征向量的序列。这样,可以保留CTC细胞显微图像的局部信息,使得每个子特征矩阵都包含了CTC细胞的某一部分的特征。
更具体地,在步骤S150中,将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量。嵌入层可以将CTC细胞显微子特征矩阵的序列转换为低维的向量表示。而基于转换器的全特征域感受器可以利用自注意力机制,捕捉CTC细胞显微子特征矩阵之间的长距离依赖关系,提高了分类特征向量的表达能力。
相应地,在一个具体示例中,如图5所示,将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量,包括:S151,将所述CTC细胞显微子特征向量的序列通过嵌入层以将所述CTC细胞显微子特征向量的序列中各个CTC细胞显微子特征向量转化为CTC细胞显微嵌入向量以得到CTC细胞显微嵌入向量的序列,其中,所述嵌入层使用可学习的嵌入矩阵对所述各个CTC细胞显微子特征向量进行嵌入编码;S152,将所述CTC细胞显微嵌入向量的序列输入所述基于转换器的全特征域感受器以得到多个上下文CTC细胞显微子特征向量;S153,对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到多个优化上下文CTC细胞显微子特征向量;以及,S154,将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量。
相应地,在一个具体示例中,如图6所示,将所述CTC细胞显微嵌入向量的序列输入所述基于转换器的全特征域感受器以得到多个上下文CTC细胞显微子特征向量,包括:S1521,将所述CTC细胞显微嵌入向量的序列进行一维排列以得到全局特征向量;S1522,计算所述全局特征向量与所述CTC细胞显微嵌入向量的序列中各个CTC细胞显微嵌入向量的转置向量之间的乘积以得到多个自注意力关联矩阵;S1523,分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵;S1524,将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值;以及,S1525,分别以所述多个概率值中各个概率值作为权重对所述CTC细胞显微嵌入向量的序列中各个CTC细胞显微嵌入向量进行加权以得到所述多个上下文CTC细胞显微子特征向量。
在本申请的技术方案中,在将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型得到所述CTC细胞显微特征矩阵时,可以提取出所述待识别CTC细胞的显微图像的深层和浅层图像特征语义,而在将所述CTC细胞显微子特征矩阵的序列通过包含嵌入层的基于转换器的全特征域感受器得到所述分类特征向量时,由于所述基于转换器的全特征域感受器是对每个所述CTC细胞显微子特征矩阵进行部分图像特征语义的上下文关联编码,其可能会改变所述CTC细胞显微子特征矩阵的序列所表达的初始图像特征语义,因此,本申请的申请人考虑将所述基于转换器的全特征域感受器得到的上下文CTC细胞显微子特征向量与输入的CTC细胞显微子特征向量进行特征语义层面上的融合。具体地,对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合,以优化所述上下文CTC细胞显微子特征向量。
相应地,在一个具体示例中,对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到多个优化上下文CTC细胞显微子特征向量,包括:以如下优化公式对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到所述多个优化上下文CTC细胞显微子特征向量;其中,所述优化公式为:
,其中,/>表示每个所述CTC细胞显微子特征向量,/>表示所述每个上下文CTC细胞显微子特征向量,/>和/>分别表示向量的一范数和二范数,/>和/>分别为权重和偏置超参数, 表示每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量之间的按位置距离矩阵,且 />为单位矩阵,/>表示按位置加法,/>表示乘法,/>表示按位置点乘,/>表示按位置减法。
这里,对于深度特征空间中的所述CTC细胞显微子特征向量和所述上下文CTC细胞显微子特征向量,其语义表达被封装到了深层空间内,这使得特征向量的整体分布中的细粒度特征中同时包含低层级语义分布和高层级语义分布,由此,通过所述深层空间封装语义匹配融合,可以通过平衡低层级语义分布和高层级语义分布来进行分类模式层面的语义级别的匹配,以实现特征在特征空间内的语义受控的编译融合,从而获得所述CTC细胞显微子特征向量和所述上下文CTC细胞显微子特征向量在特征融合空间内的语义协同,提升了优化后的上下文CTC细胞显微子特征向量对所述CTC细胞显微子特征向量和所述上下文CTC细胞显微子特征向量的语义融合效果,也就提升了上下文CTC细胞显微子特征向量级联得到所述分类特征向量的表达效果,从而提升了所述分类特征向量通过分类器获得的分类结果的准确性。
相应地,在一个具体示例中,将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量,包括:以如下级联公式将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量;其中,所述级联公式为:,其中,/>表示所述多个优化上下文CTC细胞显微子特征向量,/>表示级联函数,/>表示所述分类特征向量。
更具体地,在步骤S160中,将所述分类特征向量通过多标签分类器以得到分类结果,所述分类结果用于表示待识别CTC细胞的类型标签。通过这样的方式,对CTC细胞的类型进行划分,从而为肿瘤的诊断和个体化治疗提供更多的信息和依据。
应可以理解,分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器,然后对未知数据进行分类(或预测)。逻辑回归(logistics)、SVM等常用于解决二分类问题,对于多分类问题(multi-class classification),同样也可以用逻辑回归或SVM,只是需要多个二分类来组成多分类,但这样容易出错且效率不高,常用的多分类方法有Softmax分类函数。
相应地,在一个具体示例中,如图7所示,将所述分类特征向量通过多标签分类器以得到分类结果,所述分类结果用于表示待识别CTC细胞的类型标签,包括:S161,使用所述多标签分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;以及,S162,将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
综上,基于本申请实施例的基于微流控芯片的CTC细胞检测方法,其首先通过微流控芯片捕捉并分离待识别CTC细胞,接着,通过显微镜来采集所述待识别CTC细胞的显微图像,然后,将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵,接着,对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列,然后,将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量,最后,将所述分类特征向量通过多标签分类器以得到用于表示待识别CTC细胞的类型标签的分类结果。这样,可以获取更准确和有效的信息。
图8为根据本申请实施例的基于微流控芯片的CTC细胞检测系统100的框图。如图8所示,根据本申请实施例的基于微流控芯片的CTC细胞检测系统100,包括:CTC细胞分离模块110,用于通过微流控芯片捕捉并分离待识别CTC细胞;图像采集模块120,用于通过显微镜来采集所述待识别CTC细胞的显微图像;卷积编码模块130,用于将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵;特征矩阵分块模块140,用于对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列;嵌入编码模块150,用于将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量;以及,分类模块160,用于将所述分类特征向量通过多标签分类器以得到分类结果,所述分类结果用于表示待识别CTC细胞的类型标签。
在一个示例中,在上述基于微流控芯片的CTC细胞检测系统100中,所述卷积编码模块130,用于:将所述待识别CTC细胞的显微图像输入所述卷积神经网络模型以从所述卷积神经网络模型的浅层提取浅层特征图以及从所述卷积神经网络模型的深层提取深层特征图;使用所述卷积神经网络模型的所述深浅特征融合模块来将所述浅层特征图和所述深层特征图进行级联以得到所述CTC细胞显微特征图;以及,将所述CTC细胞显微特征图沿着通道维度进行全局均值池化以得到所述CTC细胞显微特征矩阵。
在一个示例中,在上述基于微流控芯片的CTC细胞检测系统100中,所述嵌入编码模块150,用于:将所述CTC细胞显微子特征向量的序列通过嵌入层以将所述CTC细胞显微子特征向量的序列中各个CTC细胞显微子特征向量转化为CTC细胞显微嵌入向量以得到CTC细胞显微嵌入向量的序列,其中,所述嵌入层使用可学习的嵌入矩阵对所述各个CTC细胞显微子特征向量进行嵌入编码;将所述CTC细胞显微嵌入向量的序列输入所述基于转换器的全特征域感受器以得到多个上下文CTC细胞显微子特征向量;对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到多个优化上下文CTC细胞显微子特征向量;以及,将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量。
在一个示例中,在上述基于微流控芯片的CTC细胞检测系统100中,将所述CTC细胞显微嵌入向量的序列输入所述基于转换器的全特征域感受器以得到多个上下文CTC细胞显微子特征向量,包括:将所述CTC细胞显微嵌入向量的序列进行一维排列以得到全局特征向量;计算所述全局特征向量与所述CTC细胞显微嵌入向量的序列中各个CTC细胞显微嵌入向量的转置向量之间的乘积以得到多个自注意力关联矩阵;分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵;将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值;以及,分别以所述多个概率值中各个概率值作为权重对所述CTC细胞显微嵌入向量的序列中各个CTC细胞显微嵌入向量进行加权以得到所述多个上下文CTC细胞显微子特征向量。
在一个示例中,在上述基于微流控芯片的CTC细胞检测系统100中,对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到多个优化上下文CTC细胞显微子特征向量,包括:以如下优化公式对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到所述多个优化上下文CTC细胞显微子特征向量;其中,所述优化公式为:
,其中,/>表示每个所述CTC细胞显微子特征向量,/>表示所述每个上下文CTC细胞显微子特征向量,/>和/>分别表示向量的一范数和二范数,/>和/>分别为权重和偏置超参数, 表示每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量之间的按位置距离矩阵,且 />为单位矩阵,/>表示按位置加法,/>表示乘法,/>表示按位置点乘,/>表示按位置减法。
在一个示例中,在上述基于微流控芯片的CTC细胞检测系统100中,将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量,包括:以如下级联公式将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量;其中,所述级联公式为:,其中,/>表示所述多个优化上下文CTC细胞显微子特征向量,/>表示级联函数,/>表示所述分类特征向量。
在一个示例中,在上述基于微流控芯片的CTC细胞检测系统100中,所述分类模块160,用于:使用所述多标签分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;以及,将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
这里,本领域技术人员可以理解,上述基于微流控芯片的CTC细胞检测系统100中的各个模块的具体功能和操作已经在上面参考图1到图7的基于微流控芯片的CTC细胞检测方法的描述中得到了详细介绍,并因此,将省略其重复描述。
如上所述,根据本申请实施例的基于微流控芯片的CTC细胞检测系统100可以实现在各种无线终端中,例如具有基于微流控芯片的CTC细胞检测算法的服务器等。在一个示例中,根据本申请实施例的基于微流控芯片的CTC细胞检测系统100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如,该基于微流控芯片的CTC细胞检测系统100可以是该无线终端的操作系统中的一个软件模块,或者可以是针对于该无线终端所开发的一个应用程序;当然,该基于微流控芯片的CTC细胞检测系统100同样可以是该无线终端的众多硬件模块之一。
替换地,在另一示例中,该基于微流控芯片的CTC细胞检测系统100与该无线终端也可以是分立的设备,并且该基于微流控芯片的CTC细胞检测系统100可以通过有线和/或无线网络连接到该无线终端,并且按照约定的数据格式来传输交互信息。
根据本申请的另一方面,还提供了一种非易失性的计算机可读存储介质,其上存储有计算机可读的指令,当利用计算机执行所述指令时可以执行如前所述的方法。
技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”,通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如,各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
所有软件或其中的一部分有时可能会通过网络进行通信,如互联网或其他通信网络。此类通信可以将软件从一个计算机设备或处理器加载到另一个。例如:从视频目标检测设备的一个服务器或主机计算机加载至一个计算机环境的硬件平台,或其他实现系统的计算机环境,或与提供目标检测所需要的信息相关的类似功能的系统。因此,另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接,例如光波、电波、电磁波等,通过电缆、光缆或者空气等实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备,也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质,其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。
本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外,本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,本领域技术人员可以理解,本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们的任何新的和有用的改进。相应地,本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外,本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。
除非另有定义,这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解,诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义,而不应用理想化或极度形式化的意义来解释,除非这里明确地这样定义。
上面是对本发明的说明,而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例,但本领域技术人员将容易地理解,在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此,所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解,上面是对本发明的说明,而不应被认为是限于所公开的特定实施例,并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。
Claims (10)
1.一种基于微流控芯片的CTC细胞检测方法,其特征在于,包括:通过微流控芯片捕捉并分离待识别CTC细胞;通过显微镜来采集所述待识别CTC细胞的显微图像;将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵;对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列;将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量;以及将所述分类特征向量通过多标签分类器以得到分类结果,所述分类结果用于表示待识别CTC细胞的类型标签。
2.根据权利要求1所述的基于微流控芯片的CTC细胞检测方法,其特征在于,将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵,包括:将所述待识别CTC细胞的显微图像输入所述卷积神经网络模型以从所述卷积神经网络模型的浅层提取浅层特征图以及从所述卷积神经网络模型的深层提取深层特征图;使用所述卷积神经网络模型的所述深浅特征融合模块来将所述浅层特征图和所述深层特征图进行级联以得到所述CTC细胞显微特征图;以及将所述CTC细胞显微特征图沿着通道维度进行全局均值池化以得到所述CTC细胞显微特征矩阵。
3.根据权利要求2所述的基于微流控芯片的CTC细胞检测方法,其特征在于,将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量,包括:将所述CTC细胞显微子特征向量的序列通过嵌入层以将所述CTC细胞显微子特征向量的序列中各个CTC细胞显微子特征向量转化为CTC细胞显微嵌入向量以得到CTC细胞显微嵌入向量的序列,其中,所述嵌入层使用可学习的嵌入矩阵对所述各个CTC细胞显微子特征向量进行嵌入编码;将所述CTC细胞显微嵌入向量的序列输入所述基于转换器的全特征域感受器以得到多个上下文CTC细胞显微子特征向量;对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到多个优化上下文CTC细胞显微子特征向量;以及将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量。
4.根据权利要求3所述的基于微流控芯片的CTC细胞检测方法,其特征在于,将所述CTC细胞显微嵌入向量的序列输入所述基于转换器的全特征域感受器以得到多个上下文CTC细胞显微子特征向量,包括:将所述CTC细胞显微嵌入向量的序列进行一维排列以得到全局特征向量;计算所述全局特征向量与所述CTC细胞显微嵌入向量的序列中各个CTC细胞显微嵌入向量的转置向量之间的乘积以得到多个自注意力关联矩阵;分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵;将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值;以及分别以所述多个概率值中各个概率值作为权重对所述CTC细胞显微嵌入向量的序列中各个CTC细胞显微嵌入向量进行加权以得到所述多个上下文CTC细胞显微子特征向量。
5.根据权利要求4所述的基于微流控芯片的CTC细胞检测方法,其特征在于,对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到多个优化上下文CTC细胞显微子特征向量,包括:以如下优化公式对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到所述多个优化上下文CTC细胞显微子特征向量;其中,所述优化公式为:,其中,/>表示每个所述CTC细胞显微子特征向量,/>表示所述每个上下文CTC细胞显微子特征向量,和/>分别表示向量的一范数和二范数,/>和/>分别为权重和偏置超参数, 表示每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量之间的按位置距离矩阵,且 />为单位矩阵,/>表示按位置加法,/>表示乘法,/>表示按位置点乘,/>表示按位置减法。
7.根据权利要求6所述的基于微流控芯片的CTC细胞检测方法,其特征在于,将所述分类特征向量通过多标签分类器以得到分类结果,所述分类结果用于表示待识别CTC细胞的类型标签,包括:使用所述多标签分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;以及将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
8.一种基于微流控芯片的CTC细胞检测系统,其特征在于,包括:CTC细胞分离模块,用于通过微流控芯片捕捉并分离待识别CTC细胞;图像采集模块,用于通过显微镜来采集所述待识别CTC细胞的显微图像;卷积编码模块,用于将所述待识别CTC细胞的显微图像通过包含深浅特征融合模块的卷积神经网络模型以得到CTC细胞显微特征矩阵;特征矩阵分块模块,用于对所述CTC细胞显微特征矩阵进行特征矩阵分块处理以得到CTC细胞显微子特征向量的序列;嵌入编码模块,用于将所述CTC细胞显微子特征向量的序列通过包含嵌入层的基于转换器的全特征域感受器以得到分类特征向量;以及分类模块,用于将所述分类特征向量通过多标签分类器以得到分类结果,所述分类结果用于表示待识别CTC细胞的类型标签。
9.根据权利要求8所述的基于微流控芯片的CTC细胞检测系统,其特征在于,所述卷积编码模块,用于:将所述待识别CTC细胞的显微图像输入所述卷积神经网络模型以从所述卷积神经网络模型的浅层提取浅层特征图以及从所述卷积神经网络模型的深层提取深层特征图;使用所述卷积神经网络模型的所述深浅特征融合模块来将所述浅层特征图和所述深层特征图进行级联以得到所述CTC细胞显微特征图;以及将所述CTC细胞显微特征图沿着通道维度进行全局均值池化以得到所述CTC细胞显微特征矩阵。
10.根据权利要求9所述的基于微流控芯片的CTC细胞检测系统,其特征在于,所述嵌入编码模块,用于:将所述CTC细胞显微子特征向量的序列通过嵌入层以将所述CTC细胞显微子特征向量的序列中各个CTC细胞显微子特征向量转化为CTC细胞显微嵌入向量以得到CTC细胞显微嵌入向量的序列,其中,所述嵌入层使用可学习的嵌入矩阵对所述各个CTC细胞显微子特征向量进行嵌入编码;将所述CTC细胞显微嵌入向量的序列输入所述基于转换器的全特征域感受器以得到多个上下文CTC细胞显微子特征向量;对每个所述CTC细胞显微子特征向量和所述每个上下文CTC细胞显微子特征向量进行深层空间封装语义匹配融合以得到多个优化上下文CTC细胞显微子特征向量;以及将所述多个优化上下文CTC细胞显微子特征向量进行级联以得到所述分类特征向量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310581431.0A CN116309596B (zh) | 2023-05-23 | 2023-05-23 | 基于微流控芯片的ctc细胞检测方法及其系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310581431.0A CN116309596B (zh) | 2023-05-23 | 2023-05-23 | 基于微流控芯片的ctc细胞检测方法及其系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116309596A true CN116309596A (zh) | 2023-06-23 |
CN116309596B CN116309596B (zh) | 2023-08-04 |
Family
ID=86826214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310581431.0A Active CN116309596B (zh) | 2023-05-23 | 2023-05-23 | 基于微流控芯片的ctc细胞检测方法及其系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116309596B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117210403A (zh) * | 2023-08-23 | 2023-12-12 | 翔鹏佑康(北京)科技有限公司 | 一种用于抗衰老的干细胞和免疫细胞组合物的制备方法及应用 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200167914A1 (en) * | 2017-07-19 | 2020-05-28 | Altius Institute For Biomedical Sciences | Methods of analyzing microscopy images using machine learning |
CN113533171A (zh) * | 2021-07-01 | 2021-10-22 | 芯峰科技(广州)有限公司 | 基于深度学习和微流控芯片的细胞形变检测方法及系统 |
US20220028068A1 (en) * | 2020-07-23 | 2022-01-27 | Nec Laboratories America, Inc. | Multi-scale tumor cell detection and classification |
CN114066902A (zh) * | 2021-11-22 | 2022-02-18 | 安徽大学 | 一种基于卷积和transformer融合的医学图像分割方法、系统、装置 |
CN114372531A (zh) * | 2022-01-11 | 2022-04-19 | 北京航空航天大学 | 一种基于自注意力特征融合的胰腺癌病理图像分类方法 |
US20220122690A1 (en) * | 2020-07-17 | 2022-04-21 | Genentech, Inc. | Attention-based neural network to predict peptide binding, presentation, and immunogenicity |
CN115409844A (zh) * | 2022-11-02 | 2022-11-29 | 杭州华得森生物技术有限公司 | 循环肿瘤细胞检测设备及其方法 |
CN115406815A (zh) * | 2022-11-02 | 2022-11-29 | 杭州华得森生物技术有限公司 | 基于多源数据融合的肿瘤细胞检测设备及其方法 |
CN115410050A (zh) * | 2022-11-02 | 2022-11-29 | 杭州华得森生物技术有限公司 | 基于机器视觉的肿瘤细胞检测设备及其方法 |
CN115690783A (zh) * | 2022-09-07 | 2023-02-03 | 北京理工大学 | 一种基于深度学习的医学高光谱图像微流控单细胞识别方法 |
CN115791640A (zh) * | 2023-02-06 | 2023-03-14 | 杭州华得森生物技术有限公司 | 基于分光光谱的肿瘤细胞检测设备及其方法 |
-
2023
- 2023-05-23 CN CN202310581431.0A patent/CN116309596B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200167914A1 (en) * | 2017-07-19 | 2020-05-28 | Altius Institute For Biomedical Sciences | Methods of analyzing microscopy images using machine learning |
US20220122690A1 (en) * | 2020-07-17 | 2022-04-21 | Genentech, Inc. | Attention-based neural network to predict peptide binding, presentation, and immunogenicity |
US20220028068A1 (en) * | 2020-07-23 | 2022-01-27 | Nec Laboratories America, Inc. | Multi-scale tumor cell detection and classification |
CN113533171A (zh) * | 2021-07-01 | 2021-10-22 | 芯峰科技(广州)有限公司 | 基于深度学习和微流控芯片的细胞形变检测方法及系统 |
CN114066902A (zh) * | 2021-11-22 | 2022-02-18 | 安徽大学 | 一种基于卷积和transformer融合的医学图像分割方法、系统、装置 |
CN114372531A (zh) * | 2022-01-11 | 2022-04-19 | 北京航空航天大学 | 一种基于自注意力特征融合的胰腺癌病理图像分类方法 |
CN115690783A (zh) * | 2022-09-07 | 2023-02-03 | 北京理工大学 | 一种基于深度学习的医学高光谱图像微流控单细胞识别方法 |
CN115409844A (zh) * | 2022-11-02 | 2022-11-29 | 杭州华得森生物技术有限公司 | 循环肿瘤细胞检测设备及其方法 |
CN115406815A (zh) * | 2022-11-02 | 2022-11-29 | 杭州华得森生物技术有限公司 | 基于多源数据融合的肿瘤细胞检测设备及其方法 |
CN115410050A (zh) * | 2022-11-02 | 2022-11-29 | 杭州华得森生物技术有限公司 | 基于机器视觉的肿瘤细胞检测设备及其方法 |
CN115791640A (zh) * | 2023-02-06 | 2023-03-14 | 杭州华得森生物技术有限公司 | 基于分光光谱的肿瘤细胞检测设备及其方法 |
Non-Patent Citations (5)
Title |
---|
IOANA MOCAN: "Automatic Detection of Tumor Cells in Microscopic Images of Unstained Blood using Convolutional Neural Networks", 2018 IEEE 14TH INTERNATIONAL CONFERENCE ON INTELLIGENT COMPUTER COMMUNICATION AND PROCESSING (ICCP) * |
YUNXIANG MAO: "Iteratively training classifiers for circulating tumor cell detection", 2015 IEEE 12TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI) * |
孙帅;邓宇亮;: "肺癌循环肿瘤细胞的单细胞EGFR基因突变检测", 遗传, no. 12 * |
方义;覃璐曼;刘侃;张南刚;: "基于可开启微流控芯片的循环肿瘤细胞捕获及单个细胞的提取", 电脑知识与技术, no. 03 * |
王艳敏;王浩;金鎏;贾春平;张森;赵建龙;: "分选循环肿瘤细胞的微流控芯片及临床应用研究", 传感器与微系统, no. 08 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117210403A (zh) * | 2023-08-23 | 2023-12-12 | 翔鹏佑康(北京)科技有限公司 | 一种用于抗衰老的干细胞和免疫细胞组合物的制备方法及应用 |
CN117210403B (zh) * | 2023-08-23 | 2024-05-28 | 翔鹏(北京)生物科技有限公司 | 一种用于抗衰老的干细胞和免疫细胞组合物的制备方法及应用 |
Also Published As
Publication number | Publication date |
---|---|
CN116309596B (zh) | 2023-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11562585B2 (en) | Systems and methods for image preprocessing | |
CN109564618B (zh) | 用于面部图像分析的方法和系统 | |
CN116189179B (zh) | 循环肿瘤细胞扫描分析设备 | |
Mishra et al. | Convolutional neural network for histopathological analysis of osteosarcoma | |
Ersoy et al. | HEp-2 cell classification in IIF images using shareboost | |
CN104463202A (zh) | 一种多类图像半监督分类方法及系统 | |
CN116309596B (zh) | 基于微流控芯片的ctc细胞检测方法及其系统 | |
US11558810B2 (en) | Artificial intelligence radio classifier and identifier | |
Yasmeen et al. | Citrus diseases recognition using deep improved genetic algorithm | |
CN116287138B (zh) | 基于fish的细胞检测系统及其方法 | |
CN107330448A (zh) | 一种基于标记协方差和多标记分类的联合学习方法 | |
CN115588467B (zh) | 一种基于多层感知机的颅内动脉瘤破裂关键基因筛选方法 | |
Tahir et al. | Subcellular localization using fluorescence imagery: utilizing ensemble classification with diverse feature extraction strategies and data balancing | |
Murugaiyan et al. | Fish species recognition using transfer learning techniques | |
Bilaloglu et al. | Efficient pan-cancer whole-slide image classification and outlier detection using convolutional neural networks | |
Su et al. | Clustering and recognition of spatiotemporal features through interpretable embedding of sequence to sequence recurrent neural networks | |
Rao et al. | An effective WBC segmentation and classification using MobilenetV3–ShufflenetV2 based deep learning framework | |
Tymchenko et al. | Classifying mixed patterns of proteins in microscopic images with deep neural networks | |
CN103268494A (zh) | 基于稀疏表示的寄生虫虫卵识别方法 | |
CN105894032A (zh) | 一种针对样本性质提取有效特征的方法 | |
CN114077666A (zh) | 对话意图分类方法、装置和非易失性计算机存储介质 | |
Chen et al. | Large-scale indoor/outdoor image classification via expert decision fusion (edf) | |
Kalyani et al. | Deep learning-based detection and classification of adenocarcinoma cell nuclei | |
Thorat et al. | Towards designing the best model for classification of fish species using deep neural networks | |
CN113627522A (zh) | 基于关系网络的图像分类方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |