CN115791640A - 基于分光光谱的肿瘤细胞检测设备及其方法 - Google Patents
基于分光光谱的肿瘤细胞检测设备及其方法 Download PDFInfo
- Publication number
- CN115791640A CN115791640A CN202310065947.XA CN202310065947A CN115791640A CN 115791640 A CN115791640 A CN 115791640A CN 202310065947 A CN202310065947 A CN 202310065947A CN 115791640 A CN115791640 A CN 115791640A
- Authority
- CN
- China
- Prior art keywords
- feature
- characteristic
- feature map
- global
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004881 tumor cell Anatomy 0.000 title claims abstract description 83
- 238000001514 detection method Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000001228 spectrum Methods 0.000 title claims description 17
- 210000004369 blood Anatomy 0.000 claims abstract description 64
- 239000008280 blood Substances 0.000 claims abstract description 64
- 238000004611 spectroscopical analysis Methods 0.000 claims abstract description 35
- 230000003595 spectral effect Effects 0.000 claims abstract description 31
- 239000013598 vector Substances 0.000 claims description 196
- 239000011159 matrix material Substances 0.000 claims description 61
- 238000010586 diagram Methods 0.000 claims description 50
- 230000004927 fusion Effects 0.000 claims description 49
- 238000013527 convolutional neural network Methods 0.000 claims description 46
- 238000013528 artificial neural network Methods 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 27
- 238000005457 optimization Methods 0.000 claims description 24
- 230000004913 activation Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000011161 development Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 208000005443 Circulating Neoplastic Cells Diseases 0.000 description 31
- 210000004027 cell Anatomy 0.000 description 29
- 230000006870 function Effects 0.000 description 12
- 102000004169 proteins and genes Human genes 0.000 description 6
- 108090000623 proteins and genes Proteins 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000007705 epithelial mesenchymal transition Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000010170 biological method Methods 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000028993 immune response Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
公开了一种基于分光光谱的肿瘤细胞检测设备及其方法，其获取由分光光谱仪采集的待检测血液样本的分光光谱图；采用基于深度学习的人工智能技术，对所述分光光谱图进行特征编码以得到分类特征，进而使用分类器来确定所述分类特征所属的类概率标签，所述类概率标签包括待检测血液样本含有CTC细胞以及待检测血液样本不含有CTC细胞。这样，可以对待检测血液样本中是否含有肿瘤细胞进行准确判断，提高肿瘤细胞检测设备的准确性。
Description
技术领域
本申请涉及智能化检测技术领域，且更为具体地，涉及一种基于分光光谱的肿瘤细胞检测设备及其方法。
背景技术
已知在实体癌患者中肿瘤细胞从原发肿瘤组织游离出并在血液中循环。迄今为止，已有大量报道称，通过从血液中分离、回收该血液中循环肿瘤细胞(CTC：Circulatingtumor cell)，能够掌握患者的预后、肿瘤的分子生物学特征以及治疗前后的肿瘤的性状变化。
在显微镜下观察细胞，因此忽视在血液中仅存在极少量(相对于108个～109个血液细胞，CTC为1个)的CTC的可能性高。另外，作为其它检测方法，有时使用利用针对在CTC表面表达的特定标志蛋白的免疫反应的生物学方法(专利文献3)。在该情况下，检测能力依赖于标志蛋白的表达，因此只能检测出表达标志蛋白的肿瘤细胞。另外还已知，由于肿瘤细胞群是不均匀的，因此标志蛋白表达量是不恒定的，检测能力不稳定。
此外，在发生了EMT(EpithelialMesenchymal Transition，上皮间质转化)的肿瘤细胞中不表达标志蛋白、或者表达量少，因此难以检测出。此外，认为会发生对回收后的细胞进行培养时的存活率降低、DNA分析或蛋白质分析中的精度变差。
因此，期待一种优化的肿瘤细胞检测设备。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于分光光谱的肿瘤细胞检测设备及其方法，其获取由分光光谱仪采集的待检测血液样本的分光光谱图；采用基于深度学习的人工智能技术，对所述分光光谱图进行特征编码以得到分类特征，进而使用分类器来确定所述分类特征所属的类概率标签，所述类概率标签包括待检测血液样本含有CTC细胞以及待检测血液样本不含有CTC细胞。这样，可以对待检测血液样本中是否含有肿瘤细胞进行准确判断，提高肿瘤细胞检测设备的准确性。
根据本申请的一个方面，提供了一种基于分光光谱的肿瘤细胞检测设备，其包括：
分光光谱图采集模块，用于获取由分光光谱仪采集的待检测血液样本的分光光谱图；
分光模块，用于提取所述分光光谱图中各个单色光的曲线图；
单光特征提取模块，用于将所述各个单色光的曲线图分别通过作为过滤器的卷积神经网络模型以得到多个单色光特征向量；
局部关联特征提取模块，用于将所述多个单色光特征向量进行二维排列为特征矩阵后通过作为特征提取器的第一卷积神经网络以得到局部关联特征图；
全局关联特征提取模块，用于将所述局部关联特征图通过非局部神经网络以得到全局关联特征图；
特征融合模块，用于融合所述局部关联特征图和所述全局关联特征图以得到分类特征向量；以及
检测结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测血液样本是否含有CTC细胞。
在上述基于分光光谱的肿瘤细胞检测设备中，所述单光特征提取模块，进一步用于：使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图； 对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的卷积神经网络模型的最后一层的输出为所述多个单色光特征向量，所述作为过滤器的卷积神经网络模型的第一层的输入为所述各个单色光的曲线图。
在上述基于分光光谱的肿瘤细胞检测设备中，所述局部关联特征提取模块，进一步用于：使用所述作为特征提取器的第一卷积神经网络的各层在层的正向传递中对输入数据分别进行卷积处理、均值池化处理和非线性激活处理以由所述作为特征提取器的第一卷积神经网络的最后一层的输出为所述局部关联特征图，其中，所述作为特征提取器的第一卷积神经网络的第一层的输入为所述特征矩阵。
在上述基于分光光谱的肿瘤细胞检测设备中，所述全局关联特征提取模块，包括：卷积单元，用于将所述局部关联特征图输入所述非局部神经网络的第一点卷积层、第二点卷积层和第三点卷积层以得到第一特征图、第二特征图和第三特征图；中间融合单元，用于计算所述第一特征图和所述第二特征图的按位置加权和以得到中间融合特征图；归一化单元，用于将所述中间融合特征图输入Softmax函数以对所述中间融合特征图中各个位置的特征值进行归一化以得到归一化中间融合特征图；再融合单元，用于计算所述归一化中间融合特征图和所述第三特征图的按位置加权和以得到再融合特征图；高斯相似单元，用于将所述再融合特征图通过嵌入高斯相似性函数以计算所述再融合特征图中各个位置的特征值间的相似性以得到全局相似特征图；通道调整单元，用于将所述全局相似特征图通过所述非局部神经网络的第四点卷积层以调整所述全局相似特征图的通道数以得到通道调整全局相似特征图；以及，按位置加权计算单元，用于计算所述通道调整全局相似特征图和所述局部关联特征图的按位置加权和以得到所述全局关联特征图。
在上述基于分光光谱的肿瘤细胞检测设备中，所述特征融合模块，包括：级联单元，用于将所述局部关联特征图和所述全局关联特征图进行级联以得到融合特征图；特征图展开单元，用于将所述局部关联特征图和所述全局关联特征图展开为局部关联特征向量和全局关联特征向量；类节点的拓扑-类中心优化单元，用于对所述局部关联特征向量和所述全局关联特征向量进行类节点的拓扑-类中心优化以得到优化特征矩阵；以及，融合优化单元，用于将所述融合特征图展开为融合特征向量后，将所述优化特征矩阵与所述融合特征向量进行矩阵相乘以得到所述分类特征向量。
在上述基于分光光谱的肿瘤细胞检测设备中，所述特征图展开单元，用于将所述局部关联特征图和所述全局关联特征图按沿着行向量进行展开为所述局部关联特征向量和所述全局关联特征向量。
在上述基于分光光谱的肿瘤细胞检测设备中，所述类节点的拓扑-类中心优化单元，进一步用于：以如下公式对所述局部关联特征向量和所述全局关联特征向量进行类节点的拓扑-类中心优化以得到优化特征矩阵；其中，所述公式为：
其中，
表示所述局部关联特征向量，
表示所述全局关联特征向量，
表示所述全局关联特征向量的转置向量，
和
分别表示矩阵或向量的Kronecker积和Hadamard积，
为所述局部关联特征向量和所述全局关联特征向量之间的距离矩阵，且
和
均为列向量，
表示矩阵的指数运算，所述矩阵的指数运算表示计算以所述数值为幂的自然指数函数值。
在上述基于分光光谱的肿瘤细胞检测设备中，所述检测结果生成模块，包括：特征图展开单元，用于将所述分类特征图按照行向量或列向量展开为分类特征向量；全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
根据本申请的另一个方面，提供了一种基于分光光谱的肿瘤细胞检测方法，其包括：
获取由分光光谱仪采集的待检测血液样本的分光光谱图；
提取所述分光光谱图中各个单色光的曲线图；
将所述各个单色光的曲线图分别通过作为过滤器的卷积神经网络模型以得到多个单色光特征向量；
将所述多个单色光特征向量进行二维排列为特征矩阵后通过作为特征提取器的第一卷积神经网络以得到局部关联特征图；
将所述局部关联特征图通过非局部神经网络以得到全局关联特征图；
融合所述局部关联特征图和所述全局关联特征图以得到分类特征向量；以及
将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测血液样本是否含有CTC细胞。
在上述基于分光光谱的肿瘤细胞检测方法中，使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的卷积神经网络模型的最后一层的输出为所述多个单色光特征向量，所述作为过滤器的卷积神经网络模型的第一层的输入为所述各个单色光的曲线图。
与现有技术相比，本申请提供的基于分光光谱的肿瘤细胞检测设备及其方法，其获取由分光光谱仪采集的待检测血液样本的分光光谱图；采用基于深度学习的人工智能技术，对所述分光光谱图进行特征编码以得到分类特征，进而使用分类器来确定所述分类特征所属的类概率标签，所述类概率标签包括待检测血液样本含有CTC细胞以及待检测血液样本不含有CTC细胞。这样，可以对待检测血液样本中是否含有肿瘤细胞进行准确判断，提高肿瘤细胞检测设备的准确性。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的基于分光光谱的肿瘤细胞检测设备的应用场景图。
图2为根据本申请实施例的基于分光光谱的肿瘤细胞检测设备的框图。
图3为根据本申请实施例的基于分光光谱的肿瘤细胞检测设备中所述全局关联特征提取模块的框图。
图4为根据本申请实施例的基于分光光谱的肿瘤细胞检测设备中所述特征融合模块的框图。
图5为根据本申请实施例的基于分光光谱的肿瘤细胞检测设备中所述检测结果生成模块的框图。
图6为根据本申请实施例的基于分光光谱的肿瘤细胞检测方法的流程图。
图7为根据本申请实施例的基于分光光谱的肿瘤细胞检测方法的系统架构的示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
随着科技的发展，光谱仪器在各个领域都得到了广泛的应用。现有一些厂家在利用光谱仪器来进行肿瘤细胞检测，应可以理解，如果被检测对象中存在肿瘤细胞，则其在所采集的分光光谱图中会有所体现，但是，因肿瘤细胞在被检测对象，例如血液样本，中的含量极微，因此，在得到血液样本的分光光谱图后，很难基于所述分光光谱图得到待检测血液样本中是否含有肿瘤细胞的准确判断。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。深度学习以及神经网络的发展为血液样本中是否含有肿瘤细胞的判断提供了新的解决思路和方案。
应可以理解，基于所述分光光谱图，对所述待检测血液样本中是否含有肿瘤细胞进行判断的问题，本质上可以转化为分类问题。也就是，对所述分光光谱图进行特征编码以得到分类特征，进而使用分类器来确定所述分类特征所属的类概率标签，所述类概率标签包括待检测血液样本含有CTC细胞以及待检测血液样本不含有CTC细胞。
具体地，在本申请的技术方案中，首先获取由分光光谱仪采集的待检测血液样本的分光光谱图。然后，提取所述分光光谱图中各个单色光的曲线图以得到多个单色光曲线图。
接着，将所述各个单色光的曲线图分别通过作为过滤器的卷积神经网络模型以得到多个单色光特征向量。也就是，将所述各个单色光的曲线图作为图像，并使用在图像特征提取邻域具有优异性能的卷积神经网络模型作为特征提取器对所述各个单色光的曲线图进行卷积核的局部空间域特征过滤以得到所述单色光特征向量。本领域普通技术人员应知晓，所述卷积神经网络模型所使用的卷积核具有可学习的神经网络参数，因此，通过特定的训练策略可使得所述卷积核能够捕捉所述单色光的曲线图中用于表示是否含有CTC细胞的高维隐含模式特征。
考虑到所述待检测血液样本的分光光谱图包含多个单色光的曲线图，且所述多个单色光的曲线图间存在高维隐含模式特征，针对此特性，在本申请的技术方案中，将所述多个单色光特征向量进行二维排列为特征矩阵后通过作为特征提取器的第一卷积神经网络以得到局部关联特征图。也就是，将所述各个单色光的曲线图的高维特征表示在数据结构端进行特征聚合，并使用在局部特征提取领域具有优异性能表现的卷积神经网络模型对由所述多个单色光特征向量二维排列而得的特征矩阵进行深度卷积编码以捕捉不同单色光的曲线图在空间域的局部特征之间的高维隐含关联特征以得到所述局部关联特征图。
但是，卷积是典型的局部操作，而由所述多个单色光特征向量二维排列而得的特征矩阵中各个要素除了存在局部模式关联外，还与邻域外其他的要素也存在关联。也就是，卷积神经网络模型虽然在局部特征提取方面具有优异的性能表现，但是受限于卷积编码的运算特性，其无法捕捉全局关联。基于此，在本申请的技术方案中，将所述局部关联特征图通过非局部神经网络以得到全局关联特征图。
在得到所述局部关联特征图和所述全局关联特征图，融合所述局部关联特征图和所述全局关联特征图以得到分类特征表示，并将所述分类特征表示通过分类器以得到分类结果，所述分类结果用于表示待检测血液样本是否含有CTC细胞。也就是，在得到包含所述分光光谱图的高维特征表示后，使用所述分类器来确定所述分类特征表示所属的类概率标签，其中，所述类概率标签包括待检测血液样本含有CTC细胞（第一标签），以及，待检测血液样本不含有CTC细胞（第二标签）。
特别地，在本申请的技术方案中，在融合所述局部关联特征图和所述全局关联特征图以得到分类结果时，考虑到所述局部关联特征图聚焦于单色光图像通道语义的局部二维样本-语义关联，而所述全局关联特征图聚焦于局部关联特征的全局特征表达，因此所述局部关联特征图在分类概率表示上会偏移所述全局关联特征图的分类概率表示，也就是，所述局部关联特征图和所述全局关联特征图存在类中心偏移，从而影响融合所述局部关联特征图和所述全局关联特征图得到的融合特征图的分类结果的准确性。
因此，优选地，首先将所述局部关联特征图和所述全局关联特征图展开为局部关联特征向量
和全局关联特征向量
，在对所述局部关联特征向量
和所述全局关联特征向量
进行类节点的拓扑-类中心优化，表示为：
具体地，在分类器的二分类问题中，如果将所述局部关联特征向量
和所述全局关联特征向量
优化后的类节点表示为树形式，则所述局部关联特征向量
和所述全局关联特征向量
各自的类节点分布为基于根节点的子树，因此可以利用节点之间关联的图拓扑，来使得优化后的类节点的节点分布基于图拓扑而表现为以各自节点为中心的子图结构，从而表达以所述局部关联特征向量
和所述全局关联特征向量
各自的类节点为根的子树结构，以实现所述局部关联特征向量
和所述全局关联特征向量
的基于类节点-中心的拓扑式优化，从而消除所述局部关联特征向量
和所述全局关联特征向量
之间的类中心偏移。
进而，将优化的特征矩阵
与融合特征图展开后得到的融合特征向量，例如记为
相乘，以将所述融合特征向量
映射到消除类中心偏移的优化的特征空间内，再将所述融合特征向量
通过分类器，就可以提升分类结果的准确性。
基于此，本申请提供了一种基于分光光谱的肿瘤细胞检测设备，其包括：分光光谱图采集模块，用于获取由分光光谱仪采集的待检测血液样本的分光光谱图；分光模块，用于提取所述分光光谱图中各个单色光的曲线图；单光特征提取模块，用于将所述各个单色光的曲线图分别通过作为过滤器的卷积神经网络模型以得到多个单色光特征向量；局部关联特征提取模块，用于将所述多个单色光特征向量进行二维排列为特征矩阵后通过作为特征提取器的第一卷积神经网络以得到局部关联特征图；全局关联特征提取模块，用于将所述局部关联特征图通过非局部神经网络以得到全局关联特征图；特征融合模块，用于融合所述局部关联特征图和所述全局关联特征图以得到分类特征向量；以及，检测结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测血液样本是否含有CTC细胞。
图1为根据本申请实施例的基于分光光谱的肿瘤细胞检测设备的应用场景图。如图1所示，在该应用场景中，首先，获取由分光光谱仪采集的待检测血液样本的分光光谱图（例如，图1中所示意的C）然后，将获取的分光光谱图输入至部署有基于分光光谱的肿瘤细胞检测算法的服务器中（例如，图1中所示意的S），其中，所述服务器能够使用基于分光光谱的肿瘤细胞检测算法对所述分光光谱图进行处理，以生成用于表示待检测血液样本是否含有CTC细胞的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图2为根据本申请实施例的基于分光光谱的肿瘤细胞检测设备的框图。如图2所示，根据本申请实施例的基于分光光谱的肿瘤细胞检测设备100，包括：分光光谱图采集模块110，用于获取由分光光谱仪采集的待检测血液样本的分光光谱图；分光模块120，用于提取所述分光光谱图中各个单色光的曲线图；单光特征提取模块130，用于将所述各个单色光的曲线图分别通过作为过滤器的卷积神经网络模型以得到多个单色光特征向量；局部关联特征提取模块140，用于将所述多个单色光特征向量进行二维排列为特征矩阵后通过作为特征提取器的第一卷积神经网络以得到局部关联特征图；全局关联特征提取模块150，用于将所述局部关联特征图通过非局部神经网络以得到全局关联特征图；特征融合模块160，用于融合所述局部关联特征图和所述全局关联特征图以得到分类特征向量；以及，检测结果生成模块170，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测血液样本是否含有CTC细胞。
具体地，在本申请实施例中，所述分光光谱图采集模块110和所述分光模块120，用于获取由分光光谱仪采集的待检测血液样本的分光光谱图；以及，用于提取所述分光光谱图中各个单色光的曲线图。
随着科技的发展，光谱仪器在各个领域都得到了广泛的应用。现有一些厂家在利用光谱仪器来进行肿瘤细胞检测，应可以理解，如果被检测对象中存在肿瘤细胞，则其在所采集的分光光谱图中会有所体现，但是，因肿瘤细胞在被检测对象，例如血液样本，中的含量极微，因此，在得到血液样本的分光光谱图后，很难基于所述分光光谱图得到待检测血液样本中是否含有肿瘤细胞的准确判断。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。深度学习以及神经网络的发展为血液样本中是否含有肿瘤细胞的判断提供了新的解决思路和方案。
应可以理解，基于所述分光光谱图，对所述待检测血液样本中是否含有肿瘤细胞进行判断的问题，本质上可以转化为分类问题。也就是，对所述分光光谱图进行特征编码以得到分类特征，进而使用分类器来确定所述分类特征所属的类概率标签，所述类概率标签包括待检测血液样本含有CTC细胞以及待检测血液样本不含有CTC细胞。
具体地，在本申请的技术方案中，首先获取由分光光谱仪采集的待检测血液样本的分光光谱图。然后，提取所述分光光谱图中各个单色光的曲线图以得到多个单色光曲线图。
具体地，在本申请实施例中，所述单光特征提取模块130，用于将所述各个单色光的曲线图分别通过作为过滤器的卷积神经网络模型以得到多个单色光特征向量。接着，将所述各个单色光的曲线图分别通过作为过滤器的卷积神经网络模型以得到多个单色光特征向量。也就是，将所述各个单色光的曲线图作为图像，并使用在图像特征提取邻域具有优异性能的卷积神经网络模型作为特征提取器对所述各个单色光的曲线图进行卷积核的局部空间域特征过滤以得到所述单色光特征向量。
本领域普通技术人员应知晓，所述卷积神经网络模型所使用的卷积核具有可学习的神经网络参数，因此，通过特定的训练策略可使得所述卷积核能够捕捉所述单色光的曲线图中用于表示是否含有CTC细胞的高维隐含模式特征。
其中，所述单光特征提取模块，进一步用于：使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的卷积神经网络模型的最后一层的输出为所述多个单色光特征向量，所述作为过滤器的卷积神经网络模型的第一层的输入为所述各个单色光的曲线图。
具体地，在本申请实施例中，所述局部关联特征提取模块140，用于将所述多个单色光特征向量进行二维排列为特征矩阵后通过作为特征提取器的第一卷积神经网络以得到局部关联特征图。考虑到所述待检测血液样本的分光光谱图包含多个单色光的曲线图，且所述多个单色光的曲线图间存在高维隐含模式特征，针对此特性，在本申请的技术方案中，将所述多个单色光特征向量进行二维排列为特征矩阵后通过作为特征提取器的第一卷积神经网络以得到局部关联特征图。
也就是，将所述各个单色光的曲线图的高维特征表示在数据结构端进行特征聚合，并使用在局部特征提取领域具有优异性能表现的卷积神经网络模型对由所述多个单色光特征向量二维排列而得的特征矩阵进行深度卷积编码以捕捉不同单色光的曲线图在空间域的局部特征之间的高维隐含关联特征以得到所述局部关联特征图。
其中，所述局部关联特征提取模块，进一步用于：使用所述作为特征提取器的第一卷积神经网络的各层在层的正向传递中对输入数据分别进行卷积处理、均值池化处理和非线性激活处理以由所述作为特征提取器的第一卷积神经网络的最后一层的输出为所述局部关联特征图，其中，所述作为特征提取器的第一卷积神经网络的第一层的输入为所述特征矩阵。
具体地，在本申请实施例中，所述全局关联特征提取模块150，用于将所述局部关联特征图通过非局部神经网络以得到全局关联特征图。但是，卷积是典型的局部操作，而由所述多个单色光特征向量二维排列而得的特征矩阵中各个要素除了存在局部模式关联外，还与邻域外其他的要素也存在关联。也就是，卷积神经网络模型虽然在局部特征提取方面具有优异的性能表现，但是受限于卷积编码的运算特性，其无法捕捉全局关联。基于此，在本申请的技术方案中，将所述局部关联特征图通过非局部神经网络以得到全局关联特征图。
图3为根据本申请实施例的基于分光光谱的肿瘤细胞检测设备中所述全局关联特征提取模块的框图，如图3所示，所述全局关联特征提取模块，包括：卷积单元210，用于将所述局部关联特征图输入所述非局部神经网络的第一点卷积层、第二点卷积层和第三点卷积层以得到第一特征图、第二特征图和第三特征图；中间融合单元220，用于计算所述第一特征图和所述第二特征图的按位置加权和以得到中间融合特征图；归一化单元230，用于将所述中间融合特征图输入Softmax函数以对所述中间融合特征图中各个位置的特征值进行归一化以得到归一化中间融合特征图；再融合单元240，用于计算所述归一化中间融合特征图和所述第三特征图的按位置加权和以得到再融合特征图；高斯相似单元250，用于将所述再融合特征图通过嵌入高斯相似性函数以计算所述再融合特征图中各个位置的特征值间的相似性以得到全局相似特征图；通道调整单元260，用于将所述全局相似特征图通过所述非局部神经网络的第四点卷积层以调整所述全局相似特征图的通道数以得到通道调整全局相似特征图；以及，按位置加权计算单元270，用于计算所述通道调整全局相似特征图和所述局部关联特征图的按位置加权和以得到所述全局关联特征图。
具体地，在本申请实施例中，所述特征融合模块160，用于融合所述局部关联特征图和所述全局关联特征图以得到分类特征向量。特别地，在本申请的技术方案中，在融合所述局部关联特征图和所述全局关联特征图以得到分类结果时，考虑到所述局部关联特征图聚焦于单色光图像通道语义的局部二维样本-语义关联，而所述全局关联特征图聚焦于局部关联特征的全局特征表达，因此所述局部关联特征图在分类概率表示上会偏移所述全局关联特征图的分类概率表示，也就是，所述局部关联特征图和所述全局关联特征图存在类中心偏移，从而影响融合所述局部关联特征图和所述全局关联特征图得到的融合特征图的分类结果的准确性。
图4为根据本申请实施例的基于分光光谱的肿瘤细胞检测设备中所述特征融合模块的框图，如图4所示，所述特征融合模块，包括：级联单元310，用于将所述局部关联特征图和所述全局关联特征图进行级联以得到融合特征图；特征图展开单元320，用于将所述局部关联特征图和所述全局关联特征图展开为局部关联特征向量和全局关联特征向量；类节点的拓扑-类中心优化单元330，用于对所述局部关联特征向量和所述全局关联特征向量进行类节点的拓扑-类中心优化以得到优化特征矩阵；以及，融合优化单元340，用于将所述融合特征图展开为融合特征向量后，将所述优化特征矩阵与所述融合特征向量进行矩阵相乘以得到所述分类特征向量。
其中，所述特征图展开单元，用于将所述局部关联特征图和所述全局关联特征图按沿着行向量进行展开为所述局部关联特征向量和所述全局关联特征向量。
在本申请中，优选地，首先将所述局部关联特征图和所述全局关联特征图展开为局部关联特征向量
和全局关联特征向量
，在对所述局部关联特征向量
和所述全局关联特征向量
进行类节点的拓扑-类中心优化。也就是，所述类节点的拓扑-类中心优化单元，进一步用于：以如下公式对所述局部关联特征向量和所述全局关联特征向量进行类节点的拓扑-类中心优化以得到优化特征矩阵；其中，所述公式为：
其中，
表示所述局部关联特征向量，
表示所述全局关联特征向量，
表示所述全局关联特征向量的转置向量，
和
分别表示矩阵或向量的Kronecker积和Hadamard积，
为所述局部关联特征向量和所述全局关联特征向量之间的距离矩阵，且
和
均为列向量，
表示矩阵的指数运算，所述矩阵的指数运算表示计算以所述数值为幂的自然指数函数值。
具体地，在分类器的二分类问题中，如果将所述局部关联特征向量
和所述全局关联特征向量
优化后的类节点表示为树形式，则所述局部关联特征向量
和所述全局关联特征向量
各自的类节点分布为基于根节点的子树，因此可以利用节点之间关联的图拓扑，来使得优化后的类节点的节点分布基于图拓扑而表现为以各自节点为中心的子图结构，从而表达以所述局部关联特征向量
和所述全局关联特征向量
各自的类节点为根的子树结构，以实现所述局部关联特征向量
和所述全局关联特征向量
的基于类节点-中心的拓扑式优化，从而消除所述局部关联特征向量
和所述全局关联特征向量
之间的类中心偏移。
进而，将优化的特征矩阵
与融合特征图展开后得到的融合特征向量，例如记为
相乘，以将所述融合特征向量
映射到消除类中心偏移的优化的特征空间内，再将所述融合特征向量
通过分类器，就可以提升分类结果的准确性。
具体地，在本申请实施例中，所述检测结果生成模块170，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测血液样本是否含有CTC细胞。
在得到所述局部关联特征图和所述全局关联特征图，融合所述局部关联特征图和所述全局关联特征图以得到分类特征表示，并将所述分类特征表示通过分类器以得到分类结果，所述分类结果用于表示待检测血液样本是否含有CTC细胞。也就是，在得到包含所述分光光谱图的高维特征表示后，使用所述分类器来确定所述分类特征表示所属的类概率标签，其中，所述类概率标签包括待检测血液样本含有CTC细胞（第一标签），以及，待检测血液样本不含有CTC细胞（第二标签）。
图5为根据本申请实施例的基于分光光谱的肿瘤细胞检测设备中所述检测结果生成模块的框图，如图5所示，所述检测结果生成模块，包括：特征图展开单元410，用于将所述分类特征图按照行向量或列向量展开为分类特征向量；全连接编码单元420，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元430，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
使用所述分类器以如下公式对所述分类特征图进行处理以得到所述分类结果；其中，所述公式为：
综上，基于本申请实施例的基于分光光谱的肿瘤细胞检测设备100被阐明，其获取由分光光谱仪采集的待检测血液样本的分光光谱图；采用基于深度学习的人工智能技术，对所述分光光谱图进行特征编码以得到分类特征，进而使用分类器来确定所述分类特征所属的类概率标签，所述类概率标签包括待检测血液样本含有CTC细胞以及待检测血液样本不含有CTC细胞。这样，可以对待检测血液样本中是否含有肿瘤细胞进行准确判断，提高肿瘤细胞检测设备的准确性。
示例性方法
图6为根据本申请实施例的基于分光光谱的肿瘤细胞检测方法的流程图。如图6所示，根据本申请实施例的基于分光光谱的肿瘤细胞检测方法，其包括：S110，获取由分光光谱仪采集的待检测血液样本的分光光谱图；S120，提取所述分光光谱图中各个单色光的曲线图；S130，将所述各个单色光的曲线图分别通过作为过滤器的卷积神经网络模型以得到多个单色光特征向量；S140，将所述多个单色光特征向量进行二维排列为特征矩阵后通过作为特征提取器的第一卷积神经网络以得到局部关联特征图；S150，将所述局部关联特征图通过非局部神经网络以得到全局关联特征图；S160，融合所述局部关联特征图和所述全局关联特征图以得到分类特征向量；以及，S170，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测血液样本是否含有CTC细胞。
图7为根据本申请实施例的基于分光光谱的肿瘤细胞检测方法的系统架构的示意图。如图7所示，在所述基于分光光谱的肿瘤细胞检测方法的系统架构中，首先，获取由分光光谱仪采集的待检测血液样本的分光光谱图；然后，提取所述分光光谱图中各个单色光的曲线图；接着，将所述各个单色光的曲线图分别通过作为过滤器的卷积神经网络模型以得到多个单色光特征向量；然后，将所述多个单色光特征向量进行二维排列为特征矩阵后通过作为特征提取器的第一卷积神经网络以得到局部关联特征图；接着，将所述局部关联特征图通过非局部神经网络以得到全局关联特征图；然后，融合所述局部关联特征图和所述全局关联特征图以得到分类特征向量；以及，最后，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测血液样本是否含有CTC细胞。
在一个具体示例中，在上述基于分光光谱的肿瘤细胞检测方法中，所述将所述各个单色光的曲线图分别通过作为过滤器的卷积神经网络模型以得到多个单色光特征向量，进一步包括：使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的卷积神经网络模型的最后一层的输出为所述多个单色光特征向量，所述作为过滤器的卷积神经网络模型的第一层的输入为所述各个单色光的曲线图。
在一个具体示例中，在上述基于分光光谱的肿瘤细胞检测方法中，所述将所述多个单色光特征向量进行二维排列为特征矩阵后通过作为特征提取器的第一卷积神经网络以得到局部关联特征图，进一步包括：使用所述作为特征提取器的第一卷积神经网络的各层在层的正向传递中对输入数据分别进行卷积处理、均值池化处理和非线性激活处理以由所述作为特征提取器的第一卷积神经网络的最后一层的输出为所述局部关联特征图，其中，所述作为特征提取器的第一卷积神经网络的第一层的输入为所述特征矩阵。
在一个具体示例中，在上述基于分光光谱的肿瘤细胞检测方法中，所述将所述局部关联特征图通过非局部神经网络以得到全局关联特征图，包括：将所述局部关联特征图输入所述非局部神经网络的第一点卷积层、第二点卷积层和第三点卷积层以得到第一特征图、第二特征图和第三特征图；计算所述第一特征图和所述第二特征图的按位置加权和以得到中间融合特征图；将所述中间融合特征图输入Softmax函数以对所述中间融合特征图中各个位置的特征值进行归一化以得到归一化中间融合特征图；计算所述归一化中间融合特征图和所述第三特征图的按位置加权和以得到再融合特征图；将所述再融合特征图通过嵌入高斯相似性函数以计算所述再融合特征图中各个位置的特征值间的相似性以得到全局相似特征图；将所述全局相似特征图通过所述非局部神经网络的第四点卷积层以调整所述全局相似特征图的通道数以得到通道调整全局相似特征图；以及，计算所述通道调整全局相似特征图和所述局部关联特征图的按位置加权和以得到所述全局关联特征图。
在一个具体示例中，在上述基于分光光谱的肿瘤细胞检测方法中，所述融合所述局部关联特征图和所述全局关联特征图以得到分类特征向量，包括：将所述局部关联特征图和所述全局关联特征图进行级联以得到融合特征图；将所述局部关联特征图和所述全局关联特征图展开为局部关联特征向量和全局关联特征向量；对所述局部关联特征向量和所述全局关联特征向量进行类节点的拓扑-类中心优化以得到优化特征矩阵；以及，将所述融合特征图展开为融合特征向量后，将所述优化特征矩阵与所述融合特征向量进行矩阵相乘以得到所述分类特征向量。
在一个具体示例中，在上述基于分光光谱的肿瘤细胞检测方法中，所述将所述局部关联特征图和所述全局关联特征图展开为局部关联特征向量和全局关联特征向量，包括：将所述局部关联特征图和所述全局关联特征图按沿着行向量进行展开为所述局部关联特征向量和所述全局关联特征向量。
在一个具体示例中，在上述基于分光光谱的肿瘤细胞检测方法中，所述对所述局部关联特征向量和所述全局关联特征向量进行类节点的拓扑-类中心优化以得到优化特征矩阵，进一步包括：以如下公式对所述局部关联特征向量和所述全局关联特征向量进行类节点的拓扑-类中心优化以得到优化特征矩阵；其中，所述公式为：
其中，
表示所述局部关联特征向量，
表示所述全局关联特征向量，
表示所述全局关联特征向量的转置向量，
和
分别表示矩阵或向量的Kronecker积和Hadamard积，
为所述局部关联特征向量和所述全局关联特征向量之间的距离矩阵，且
和
均为列向量，
表示矩阵的指数运算，所述矩阵的指数运算表示计算以所述数值为幂的自然指数函数值。
在一个具体示例中，在上述基于分光光谱的肿瘤细胞检测方法中，所述将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测血液样本是否含有CTC细胞，包括：将所述分类特征图按照行向量或列向量展开为分类特征向量；使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
本领域技术人员可以理解，上述基于分光光谱的肿瘤细胞检测方法中的各个步骤的具体操作已经在上面参考图1到图5的基于分光光谱的肿瘤细胞检测设备的描述中得到了详细介绍，并因此，将省略其重复描述。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种基于分光光谱的肿瘤细胞检测设备，其特征在于，包括：
分光光谱图采集模块，用于获取由分光光谱仪采集的待检测血液样本的分光光谱图；
分光模块，用于提取所述分光光谱图中各个单色光的曲线图；
单光特征提取模块，用于将所述各个单色光的曲线图分别通过作为过滤器的卷积神经网络模型以得到多个单色光特征向量；
局部关联特征提取模块，用于将所述多个单色光特征向量进行二维排列为特征矩阵后通过作为特征提取器的第一卷积神经网络以得到局部关联特征图；
全局关联特征提取模块，用于将所述局部关联特征图通过非局部神经网络以得到全局关联特征图；
特征融合模块，用于融合所述局部关联特征图和所述全局关联特征图以得到分类特征向量；以及
检测结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测血液样本是否含有CTC细胞。
2.根据权利要求1所述的基于分光光谱的肿瘤细胞检测设备，其特征在于，所述单光特征提取模块，进一步用于：使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：
对所述输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述作为过滤器的卷积神经网络模型的最后一层的输出为所述多个单色光特征向量，所述作为过滤器的卷积神经网络模型的第一层的输入为所述各个单色光的曲线图。
3.根据权利要求2所述的基于分光光谱的肿瘤细胞检测设备，其特征在于，所述局部关联特征提取模块，进一步用于：使用所述作为特征提取器的第一卷积神经网络的各层在层的正向传递中对输入数据分别进行卷积处理、均值池化处理和非线性激活处理以由所述作为特征提取器的第一卷积神经网络的最后一层的输出为所述局部关联特征图，其中，所述作为特征提取器的第一卷积神经网络的第一层的输入为所述特征矩阵。
4.根据权利要求3所述的基于分光光谱的肿瘤细胞检测设备，其特征在于，所述全局关联特征提取模块，包括：
卷积单元，用于将所述局部关联特征图输入所述非局部神经网络的第一点卷积层、第二点卷积层和第三点卷积层以得到第一特征图、第二特征图和第三特征图；
中间融合单元，用于计算所述第一特征图和所述第二特征图的按位置加权和以得到中间融合特征图；
归一化单元，用于将所述中间融合特征图输入Softmax函数以对所述中间融合特征图中各个位置的特征值进行归一化以得到归一化中间融合特征图；
再融合单元，用于计算所述归一化中间融合特征图和所述第三特征图的按位置加权和以得到再融合特征图；
高斯相似单元，用于将所述再融合特征图通过嵌入高斯相似性函数以计算所述再融合特征图中各个位置的特征值间的相似性以得到全局相似特征图；
通道调整单元，用于将所述全局相似特征图通过所述非局部神经网络的第四点卷积层以调整所述全局相似特征图的通道数以得到通道调整全局相似特征图；以及
按位置加权计算单元，用于计算所述通道调整全局相似特征图和所述局部关联特征图的按位置加权和以得到所述全局关联特征图。
5.根据权利要求4所述的基于分光光谱的肿瘤细胞检测设备，其特征在于，所述特征融合模块，包括：
级联单元，用于将所述局部关联特征图和所述全局关联特征图进行级联以得到融合特征图；
特征图展开单元，用于将所述局部关联特征图和所述全局关联特征图展开为局部关联特征向量和全局关联特征向量；
类节点的拓扑-类中心优化单元，用于对所述局部关联特征向量和所述全局关联特征向量进行类节点的拓扑-类中心优化以得到优化特征矩阵；以及
融合优化单元，用于将所述融合特征图展开为融合特征向量后，将所述优化特征矩阵与所述融合特征向量进行矩阵相乘以得到所述分类特征向量。
6.根据权利要求5所述的基于分光光谱的肿瘤细胞检测设备，其特征在于，所述特征图展开单元，用于将所述局部关联特征图和所述全局关联特征图按沿着行向量进行展开为所述局部关联特征向量和所述全局关联特征向量。
7.根据权利要求6所述的基于分光光谱的肿瘤细胞检测设备，其特征在于，所述类节点的拓扑-类中心优化单元，进一步用于：以如下公式对所述局部关联特征向量和所述全局关联特征向量进行类节点的拓扑-类中心优化以得到优化特征矩阵；
其中，所述公式为：
其中，
表示所述局部关联特征向量，
表示所述全局关联特征向量，
表示所述全局关联特征向量的转置向量，
和
分别表示矩阵或向量的Kronecker积和Hadamard积，
为所述局部关联特征向量和所述全局关联特征向量之间的距离矩阵，且
和
均为列向量，
表示矩阵的指数运算，所述矩阵的指数运算表示计算以所述数值为幂的自然指数函数值。
8.根据权利要求7所述的基于分光光谱的肿瘤细胞检测设备，其特征在于，所述检测结果生成模块，包括：
特征图展开单元，用于将所述分类特征图按照行向量或列向量展开为分类特征向量；
全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
9.一种基于分光光谱的肿瘤细胞检测方法，其特征在于，包括：
获取由分光光谱仪采集的待检测血液样本的分光光谱图；
提取所述分光光谱图中各个单色光的曲线图；
将所述各个单色光的曲线图分别通过作为过滤器的卷积神经网络模型以得到多个单色光特征向量；
将所述多个单色光特征向量进行二维排列为特征矩阵后通过作为特征提取器的第一卷积神经网络以得到局部关联特征图；
将所述局部关联特征图通过非局部神经网络以得到全局关联特征图；
融合所述局部关联特征图和所述全局关联特征图以得到分类特征向量；以及
将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测血液样本是否含有CTC细胞。
10.根据权利要求9所述的基于分光光谱的肿瘤细胞检测方法，其特征在于，所述单光特征提取模块，进一步用于：使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：
对所述输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述作为过滤器的卷积神经网络模型的最后一层的输出为所述多个单色光特征向量，所述作为过滤器的卷积神经网络模型的第一层的输入为所述各个单色光的曲线图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310065947.XA CN115791640B (zh) | 2023-02-06 | 2023-02-06 | 基于分光光谱的肿瘤细胞检测设备及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310065947.XA CN115791640B (zh) | 2023-02-06 | 2023-02-06 | 基于分光光谱的肿瘤细胞检测设备及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115791640A true CN115791640A (zh) | 2023-03-14 |
| CN115791640B CN115791640B (zh) | 2023-06-02 |
Family
ID=85429974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310065947.XA Active CN115791640B (zh) | 2023-02-06 | 2023-02-06 | 基于分光光谱的肿瘤细胞检测设备及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115791640B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116106457A (zh) * | 2023-04-13 | 2023-05-12 | 天津海河标测技术检测有限公司 | 空气采样检测一体化装置 |
| CN116309543A (zh) * | 2023-05-10 | 2023-06-23 | 北京航空航天大学杭州创新研究院 | 基于图像的循环肿瘤细胞检测设备 |
| CN116309595A (zh) * | 2023-05-23 | 2023-06-23 | 杭州华得森生物技术有限公司 | Ctc智能全自动检测一体机及其方法 |
| CN116287138A (zh) * | 2023-05-23 | 2023-06-23 | 杭州华得森生物技术有限公司 | 基于fish的细胞检测系统及其方法 |
| CN116309596A (zh) * | 2023-05-23 | 2023-06-23 | 杭州华得森生物技术有限公司 | 基于微流控芯片的ctc细胞检测方法及其系统 |
| CN116403213A (zh) * | 2023-06-08 | 2023-07-07 | 杭州华得森生物技术有限公司 | 基于人工智能的循环肿瘤细胞检测仪及其方法 |
| CN116393188A (zh) * | 2023-06-08 | 2023-07-07 | 杭州华得森生物技术有限公司 | 适用于循环肿瘤细胞捕捉的微流控芯片及其方法 |
| CN116434226A (zh) * | 2023-06-08 | 2023-07-14 | 杭州华得森生物技术有限公司 | 循环肿瘤细胞分析仪 |
| CN116612435A (zh) * | 2023-07-18 | 2023-08-18 | 吉林隆源农业服务有限公司 | 一种玉米高产栽培方法 |
| CN117351659A (zh) * | 2023-12-01 | 2024-01-05 | 四川省华地建设工程有限责任公司 | 一种水文地质灾害监测装置及监测方法 |
Citations (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5995645A (en) * | 1993-08-18 | 1999-11-30 | Applied Spectral Imaging Ltd. | Method of cancer cell detection |
| WO2009058915A1 (en) * | 2007-10-29 | 2009-05-07 | The Trustees Of The University Of Pennsylvania | Computer assisted diagnosis (cad) of cancer using multi-functional, multi-modal in-vivo magnetic resonance spectroscopy (mrs) and imaging (mri) |
| US20120082362A1 (en) * | 2010-06-25 | 2012-04-05 | Northeastern University | Method for analyzing biological specimens by spectral imaging |
| US20140193060A1 (en) * | 2013-01-08 | 2014-07-10 | Canon Kabushiki Kaisha | Reconstruction method of biological tissue image, apparatus therefor, and image display apparatus using the biological tissue image |
| CA2948499A1 (en) * | 2016-11-16 | 2018-05-16 | The Governing Council Of The University Of Toronto | System and method for classifying and segmenting microscopy images with deep multiple instance learning |
| US20180137338A1 (en) * | 2016-11-16 | 2018-05-17 | The Governing Council Of The University Of Toronto | System and method for classifying and segmenting microscopy images with deep multiple instance learning |
| CN109073547A (zh) * | 2016-05-09 | 2018-12-21 | 住友电气工业株式会社 | 肿瘤细胞检测方法和肿瘤细胞检测装置 |
| CN109297949A (zh) * | 2018-09-19 | 2019-02-01 | 珠海彩晶光谱科技有限公司 | 显微影像结合透射拉曼光谱的肿瘤细胞检测方法及装置 |
| CN109543708A (zh) * | 2018-10-11 | 2019-03-29 | 上海交通大学 | 融合拓扑特征的面向图数据的模式识别方法 |
| JP2020027399A (ja) * | 2018-08-10 | 2020-02-20 | 株式会社日立製作所 | 計算機システム |
| CN111259913A (zh) * | 2020-01-14 | 2020-06-09 | 哈尔滨工业大学 | 一种基于词袋模型和纹理特征的细胞光谱图像分类方法 |
| US20200268252A1 (en) * | 2019-02-27 | 2020-08-27 | Deep Smart Light Limited | Noninvasive, multispectral-fluorescence characterization of biological tissues with machine/deep learning |
| CN112881330A (zh) * | 2021-03-23 | 2021-06-01 | 颜旭东 | 基于5g和区块链的智能肿瘤红外光谱检测系统及检测方法 |
| KR20210077389A (ko) * | 2019-12-17 | 2021-06-25 | (주)유코아시스템 | 기계설비의 기계음을 이용한 딥러닝기반 이상징후 감지시스템 |
| CN113989799A (zh) * | 2021-11-02 | 2022-01-28 | 北京智源人工智能研究院 | 一种宫颈异常细胞识别方法、装置和电子设备 |
| WO2022031316A1 (en) * | 2020-08-07 | 2022-02-10 | Battelle Energy Alliance, Llc | Machine learned spectrum analysis |
| CN114037671A (zh) * | 2021-11-01 | 2022-02-11 | 大连医科大学附属第二医院 | 一种基于改进Faster RCNN的显微高光谱白细胞检测方法 |
| US20220083762A1 (en) * | 2020-09-15 | 2022-03-17 | Shenzhen Imsight Medical Technology Co., Ltd. | Digital image classification method for cervical fluid-based cells based on a deep learning detection model |
| CN115169463A (zh) * | 2022-07-11 | 2022-10-11 | 杭州里莹网络科技有限公司 | 基于物联网的室内空气质量监控系统及其监控方法 |
| CN115356434A (zh) * | 2022-07-14 | 2022-11-18 | 福建省杭氟电子材料有限公司 | 六氟丁二烯储放场所的气体监测系统及其监测方法 |
| CN115409649A (zh) * | 2022-08-29 | 2022-11-29 | 华能国际电力开发公司吉林通榆风电分公司 | 风电场能量管理系统及其方法 |
| CN115471732A (zh) * | 2022-09-19 | 2022-12-13 | 温州丹悦线缆科技有限公司 | 电缆的智能化制备方法及其系统 |
| CN115526736A (zh) * | 2022-08-08 | 2022-12-27 | 北京华能新锐控制技术有限公司 | 风机的发电量峰谷自动调控系统及其调控方法 |
| CN115545520A (zh) * | 2022-10-20 | 2022-12-30 | 山东滨津纺织科技有限公司 | 陶瓷纤维无纺防火布智能化制备方法及其系统 |
| CN115631385A (zh) * | 2022-12-06 | 2023-01-20 | 崔铁良 | 消防车道实时监控系统 |
| CN115690109A (zh) * | 2023-01-04 | 2023-02-03 | 杭州华得森生物技术有限公司 | 基于计算生物的肿瘤细胞检测设备及其方法 |
-
2023
- 2023-02-06 CN CN202310065947.XA patent/CN115791640B/zh active Active
Patent Citations (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5995645A (en) * | 1993-08-18 | 1999-11-30 | Applied Spectral Imaging Ltd. | Method of cancer cell detection |
| WO2009058915A1 (en) * | 2007-10-29 | 2009-05-07 | The Trustees Of The University Of Pennsylvania | Computer assisted diagnosis (cad) of cancer using multi-functional, multi-modal in-vivo magnetic resonance spectroscopy (mrs) and imaging (mri) |
| US20120082362A1 (en) * | 2010-06-25 | 2012-04-05 | Northeastern University | Method for analyzing biological specimens by spectral imaging |
| US20140193060A1 (en) * | 2013-01-08 | 2014-07-10 | Canon Kabushiki Kaisha | Reconstruction method of biological tissue image, apparatus therefor, and image display apparatus using the biological tissue image |
| CN109073547A (zh) * | 2016-05-09 | 2018-12-21 | 住友电气工业株式会社 | 肿瘤细胞检测方法和肿瘤细胞检测装置 |
| US20180137338A1 (en) * | 2016-11-16 | 2018-05-17 | The Governing Council Of The University Of Toronto | System and method for classifying and segmenting microscopy images with deep multiple instance learning |
| CA2948499A1 (en) * | 2016-11-16 | 2018-05-16 | The Governing Council Of The University Of Toronto | System and method for classifying and segmenting microscopy images with deep multiple instance learning |
| JP2020027399A (ja) * | 2018-08-10 | 2020-02-20 | 株式会社日立製作所 | 計算機システム |
| CN109297949A (zh) * | 2018-09-19 | 2019-02-01 | 珠海彩晶光谱科技有限公司 | 显微影像结合透射拉曼光谱的肿瘤细胞检测方法及装置 |
| CN109543708A (zh) * | 2018-10-11 | 2019-03-29 | 上海交通大学 | 融合拓扑特征的面向图数据的模式识别方法 |
| US20200268252A1 (en) * | 2019-02-27 | 2020-08-27 | Deep Smart Light Limited | Noninvasive, multispectral-fluorescence characterization of biological tissues with machine/deep learning |
| KR20210077389A (ko) * | 2019-12-17 | 2021-06-25 | (주)유코아시스템 | 기계설비의 기계음을 이용한 딥러닝기반 이상징후 감지시스템 |
| CN111259913A (zh) * | 2020-01-14 | 2020-06-09 | 哈尔滨工业大学 | 一种基于词袋模型和纹理特征的细胞光谱图像分类方法 |
| WO2022031316A1 (en) * | 2020-08-07 | 2022-02-10 | Battelle Energy Alliance, Llc | Machine learned spectrum analysis |
| US20220083762A1 (en) * | 2020-09-15 | 2022-03-17 | Shenzhen Imsight Medical Technology Co., Ltd. | Digital image classification method for cervical fluid-based cells based on a deep learning detection model |
| CN112881330A (zh) * | 2021-03-23 | 2021-06-01 | 颜旭东 | 基于5g和区块链的智能肿瘤红外光谱检测系统及检测方法 |
| CN114037671A (zh) * | 2021-11-01 | 2022-02-11 | 大连医科大学附属第二医院 | 一种基于改进Faster RCNN的显微高光谱白细胞检测方法 |
| CN113989799A (zh) * | 2021-11-02 | 2022-01-28 | 北京智源人工智能研究院 | 一种宫颈异常细胞识别方法、装置和电子设备 |
| CN115169463A (zh) * | 2022-07-11 | 2022-10-11 | 杭州里莹网络科技有限公司 | 基于物联网的室内空气质量监控系统及其监控方法 |
| CN115356434A (zh) * | 2022-07-14 | 2022-11-18 | 福建省杭氟电子材料有限公司 | 六氟丁二烯储放场所的气体监测系统及其监测方法 |
| CN115526736A (zh) * | 2022-08-08 | 2022-12-27 | 北京华能新锐控制技术有限公司 | 风机的发电量峰谷自动调控系统及其调控方法 |
| CN115409649A (zh) * | 2022-08-29 | 2022-11-29 | 华能国际电力开发公司吉林通榆风电分公司 | 风电场能量管理系统及其方法 |
| CN115471732A (zh) * | 2022-09-19 | 2022-12-13 | 温州丹悦线缆科技有限公司 | 电缆的智能化制备方法及其系统 |
| CN115545520A (zh) * | 2022-10-20 | 2022-12-30 | 山东滨津纺织科技有限公司 | 陶瓷纤维无纺防火布智能化制备方法及其系统 |
| CN115631385A (zh) * | 2022-12-06 | 2023-01-20 | 崔铁良 | 消防车道实时监控系统 |
| CN115690109A (zh) * | 2023-01-04 | 2023-02-03 | 杭州华得森生物技术有限公司 | 基于计算生物的肿瘤细胞检测设备及其方法 |
Non-Patent Citations (3)
| Title |
|---|
| FANG, XIANG LIN 等: "Fast discrimination of tumor and blood cells by label-free surface-enhanced Raman scattering spectra and deep learning", 《JOURNAL OF APPLIED PHYSICS》, vol. 129, no. 12, pages 1 - 11, XP012254990, DOI: 10.1063/5.0042662 * |
| HONGYANG QIAN 等: ""Diagnosis of urogenital cancer combining deep learning algorithms and surface-enhanced Raman spectroscopy based on small extracellular vesicles"", vol. 281, pages 121603 * |
| 杨静;王成;谢成颖;翁小阜;魏勋斌;: "基于主成分分析和反向传播神经网络的肝癌细胞后向散射显微光谱判别", no. 02, pages 246 - 252 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116106457A (zh) * | 2023-04-13 | 2023-05-12 | 天津海河标测技术检测有限公司 | 空气采样检测一体化装置 |
| CN116309543A (zh) * | 2023-05-10 | 2023-06-23 | 北京航空航天大学杭州创新研究院 | 基于图像的循环肿瘤细胞检测设备 |
| CN116309543B (zh) * | 2023-05-10 | 2023-08-11 | 北京航空航天大学杭州创新研究院 | 基于图像的循环肿瘤细胞检测设备 |
| CN116309596B (zh) * | 2023-05-23 | 2023-08-04 | 杭州华得森生物技术有限公司 | 基于微流控芯片的ctc细胞检测方法及其系统 |
| CN116287138A (zh) * | 2023-05-23 | 2023-06-23 | 杭州华得森生物技术有限公司 | 基于fish的细胞检测系统及其方法 |
| CN116287138B (zh) * | 2023-05-23 | 2023-08-11 | 杭州华得森生物技术有限公司 | 基于fish的细胞检测系统及其方法 |
| CN116309595A (zh) * | 2023-05-23 | 2023-06-23 | 杭州华得森生物技术有限公司 | Ctc智能全自动检测一体机及其方法 |
| CN116309596A (zh) * | 2023-05-23 | 2023-06-23 | 杭州华得森生物技术有限公司 | 基于微流控芯片的ctc细胞检测方法及其系统 |
| CN116434226A (zh) * | 2023-06-08 | 2023-07-14 | 杭州华得森生物技术有限公司 | 循环肿瘤细胞分析仪 |
| CN116393188A (zh) * | 2023-06-08 | 2023-07-07 | 杭州华得森生物技术有限公司 | 适用于循环肿瘤细胞捕捉的微流控芯片及其方法 |
| CN116403213A (zh) * | 2023-06-08 | 2023-07-07 | 杭州华得森生物技术有限公司 | 基于人工智能的循环肿瘤细胞检测仪及其方法 |
| CN116393188B (zh) * | 2023-06-08 | 2024-02-27 | 杭州华得森生物技术有限公司 | 适用于循环肿瘤细胞捕捉的微流控芯片及其方法 |
| CN116434226B (zh) * | 2023-06-08 | 2024-03-19 | 杭州华得森生物技术有限公司 | 循环肿瘤细胞分析仪 |
| CN116612435A (zh) * | 2023-07-18 | 2023-08-18 | 吉林隆源农业服务有限公司 | 一种玉米高产栽培方法 |
| CN116612435B (zh) * | 2023-07-18 | 2023-10-27 | 吉林隆源农业服务有限公司 | 一种玉米高产栽培方法 |
| CN117351659A (zh) * | 2023-12-01 | 2024-01-05 | 四川省华地建设工程有限责任公司 | 一种水文地质灾害监测装置及监测方法 |
| CN117351659B (zh) * | 2023-12-01 | 2024-02-20 | 四川省华地建设工程有限责任公司 | 一种水文地质灾害监测装置及监测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115791640B (zh) | 2023-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115791640B (zh) | 基于分光光谱的肿瘤细胞检测设备及其方法 | |
| Zheng et al. | A graph-transformer for whole slide image classification | |
| Song et al. | Nearest clusters based partial least squares discriminant analysis for the classification of spectral data | |
| Liu | Multi-feature fusion for specific emitter identification via deep ensemble learning | |
| Gal et al. | Latent Gaussian processes for distribution estimation of multivariate categorical data | |
| CN109410184B (zh) | 基于稠密对抗网络半监督学习的直播色情图像检测方法 | |
| CN111680176A (zh) | 基于注意力与双向特征融合的遥感图像检索方法及系统 | |
| CN115409844B (zh) | 循环肿瘤细胞检测设备及其方法 | |
| EP3311311A1 (en) | Automatic entity resolution with rules detection and generation system | |
| CN114496092B (zh) | 基于图卷积网络的miRNA和疾病关联关系预测方法 | |
| CN103886334A (zh) | 一种多指标融合的高光谱遥感影像降维方法 | |
| CN108564061B (zh) | 一种基于二维主元分析的图像识别方法和系统 | |
| CN117238394A (zh) | 一种基于分子Images和SMILES字符串预训练的分子性质预测方法 | |
| CN104966075A (zh) | 一种基于二维判别特征的人脸识别方法与系统 | |
| Zhang et al. | Towards effective person search with deep learning: A survey from systematic perspective | |
| Khalaf et al. | Robust partitioning and indexing for iris biometric database based on local features | |
| Zulkeflie et al. | Evaluation of basic convolutional neural network, alexnet and bag of features for indoor object recognition | |
| CN113343801B (zh) | 基于轻量化卷积神经网络的无线信号自动调制识别方法 | |
| Bassiou et al. | Greek folk music classification into two genres using lyrics and audio via canonical correlation analysis | |
| Khoder et al. | Multicriteria classification method for dimensionality reduction adapted to hyperspectral images | |
| Sowmyayani et al. | STHARNet: Spatio-temporal human action recognition network in content based video retrieval | |
| CN118177832A (zh) | 一种基于局部升阶全局学习策略的脑电信号识别方法 | |
| Chen et al. | Multimodal learning for classification of solar radio spectrum | |
| Adinugroho et al. | Leaves classification using neural network based on ensemble features | |
| Abd El-Khalek et al. | A Robust Machine Learning Algorithm for Cosmic Galaxy Images Classification Using Neutrosophic Score Features. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |