CN115406815B - 基于多源数据融合的肿瘤细胞检测设备及其方法 - Google Patents
基于多源数据融合的肿瘤细胞检测设备及其方法 Download PDFInfo
- Publication number
- CN115406815B CN115406815B CN202211360260.0A CN202211360260A CN115406815B CN 115406815 B CN115406815 B CN 115406815B CN 202211360260 A CN202211360260 A CN 202211360260A CN 115406815 B CN115406815 B CN 115406815B
- Authority
- CN
- China
- Prior art keywords
- feature vector
- property
- global
- scale
- property feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 180
- 230000004927 fusion Effects 0.000 title claims abstract description 64
- 210000004881 tumor cell Anatomy 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 70
- 210000004369 blood Anatomy 0.000 claims abstract description 52
- 239000008280 blood Substances 0.000 claims abstract description 52
- 239000011159 matrix material Substances 0.000 claims abstract description 38
- 239000013598 vector Substances 0.000 claims description 545
- 230000003287 optical effect Effects 0.000 claims description 63
- 239000000126 substance Substances 0.000 claims description 55
- 230000005855 radiation Effects 0.000 claims description 52
- 230000004071 biological effect Effects 0.000 claims description 38
- 230000000704 physical effect Effects 0.000 claims description 34
- 238000005457 optimization Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 24
- 230000004913 activation Effects 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 8
- 230000004048 modification Effects 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 6
- 208000005443 Circulating Neoplastic Cells Diseases 0.000 description 18
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 206010028980 Neoplasm Diseases 0.000 description 10
- 201000011510 cancer Diseases 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 6
- 238000010420 art technique Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 206010027476 Metastases Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009401 metastasis Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000005259 peripheral blood Anatomy 0.000 description 2
- 239000011886 peripheral blood Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000001185 bone marrow Anatomy 0.000 description 1
- 231100000504 carcinogenesis Toxicity 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 230000005748 tumor development Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N2015/1006—Investigating individual particles for cytology
Landscapes
- Chemical & Material Sciences (AREA)
- Dispersion Chemistry (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
Abstract
公开了一种基于多源数据融合的肿瘤细胞检测设备及其方法，其通过基于转换器的上下文编码器对待检测血液样本的多个检测指标进行基于长距离依赖的全局语义编码；然后，对于各个检测指标的全局语义特征信息组成的特征矩阵，通过基于不同感受野的包含第一卷积神经网络和第二卷积神经网络的双流网络模型提取不同数量的检测指标数据项之间的高维隐含关联特征，以此来进行血液样本中的CTC细胞检测。这样，可以基于多源数据融合提高对于血液样本中的CTC检测的准确性和可靠性。
Description
技术领域
本申请涉及智能化检测技术领域，且更为具体地，涉及一种基于多源数据融合的肿瘤细胞检测设备及其方法。
背景技术
癌细胞侵袭人体，可能会出现在肿瘤发展的早期。因此早期发现，早期全身治疗，将会降低癌症的死亡率。癌细胞从原发肿瘤到远处重要器官的转移是导致癌症死亡的首要原因。早期传播到淋巴结，骨髓或外周血中的肿瘤细胞被称为循环肿瘤细胞(CTC)。即使在切除原发肿瘤后，CTC可能仍然存在于病人的外周血中。
CTC对于转移的建立是非常关键的，对CTC的检测是用于评估特定肿瘤的侵略性及在远处器官生长的可能性的一种重要方法。对CTC特异敏感的检测可以用于确定癌症的发展状况、转移状态、存活的可能性及对治疗反应的评估。
随着近年来对CTC越来越多的研究，其重要性备受推崇。然而，CTC在血液中的存在量大约是十亿分之一到百亿分之一的水平。现有技术用于分离和识别CTC一方面需要大量人力并且价格昂贵，另一方面缺乏准确性和可靠性。
因此，期待一种优化的基于多源数据融合的肿瘤细胞检测设备，以通过同一样本的多源检测指标来判断患者体内是否含有CTC，提高了判断的准确性和可靠性。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于多源数据融合的肿瘤细胞检测设备及其方法，其通过基于转换器的上下文编码器对待检测血液样本的多个检测指标进行基于长距离依赖的全局语义编码；然后，对于各个检测指标的全局语义特征信息组成的特征矩阵，通过基于不同感受野的包含第一卷积神经网络和第二卷积神经网络的双流网络模型提取不同数量的检测指标数据项之间的高维隐含关联特征，以此来进行血液样本中的CTC细胞检测。这样，可以基于多源数据融合提高对于血液样本中的CTC检测的准确性和可靠性。
根据本申请的一个方面，提供了一种基于多源数据融合的肿瘤细胞检测设备，其包括：
检测指标采集模块，用于获取待检测血液样本的多个检测指标，所述多个检测指标，包括：电学性质、热性质、光学特性、辐射特性、化学特性、物理特性、生物学特性、声学特性和机械性质；
指标内上下文编码模块，用于通过基于转换器的上下文编码器，从所述电学性质、所述热性质、所述光学特性、所述辐射特性、所述化学特性、所述物理特性、所述生物学特性、所述声学特性和所述机械性质得到全局电学性质特征向量、全局热性质特征向量、全局光学特性特征向量、全局辐射特性特征向量、全局化学特性特征向量、全局物理特性特征向量、全局生物学特性特征向量、全局声学特性特征向量和全局机械性质特征向量；
指标特征结构化模块，用于将所述全局电学性质特征向量、所述全局热性质特征向量、所述全局光学特性特征向量、所述全局辐射特性特征向量、所述全局化学特性特征向量、所述全局物理特性特征向量、所述全局生物学特性特征向量、所述全局声学特性特征向量和所述全局机械性质特征向量二维排列为检测指标特征矩阵；
指标间关联编码模块，用于将所述检测指标特征矩阵通过包含第一卷积神经网络和第二卷积神经网络的双流网络模型以得到第一尺度特征向量和第二尺度特征向量，其中，所述第一卷积神经网络使用具有第一尺寸的第一卷积核，所述第二卷积神经网络使用具有第二尺寸的第二卷积核，所述第一尺寸不同于所述第二尺寸；
特征优化模块，用于分别对所述第一尺度特征向量和第二尺度特征向量进行特征表达优化以得到优化后第一尺度特征向量和优化后第二尺度特征向量；
融合模块，用于融合所述优化后第一尺度特征向量和所述优化后第二尺度特征向量以得到分类特征向量；以及
检测结果生成模块，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待检测血液样本中是否含有CTC细胞。
根据本申请的另一方面，提供了一种基于多源数据融合的肿瘤细胞检测方法，其包括：
获取待检测血液样本的多个检测指标，所述多个检测指标，包括：电学性质、热性质、光学特性、辐射特性、化学特性、物理特性、生物学特性、声学特性和机械性质；
通过基于转换器的上下文编码器，从所述电学性质、所述热性质、所述光学特性、所述辐射特性、所述化学特性、所述物理特性、所述生物学特性、所述声学特性和所述机械性质得到全局电学性质特征向量、全局热性质特征向量、全局光学特性特征向量、全局辐射特性特征向量、全局化学特性特征向量、全局物理特性特征向量、全局生物学特性特征向量、全局声学特性特征向量和全局机械性质特征向量；
将所述全局电学性质特征向量、所述全局热性质特征向量、所述全局光学特性特征向量、所述全局辐射特性特征向量、所述全局化学特性特征向量、所述全局物理特性特征向量、所述全局生物学特性特征向量、所述全局声学特性特征向量和所述全局机械性质特征向量二维排列为检测指标特征矩阵；
将所述检测指标特征矩阵通过包含第一卷积神经网络和第二卷积神经网络的双流网络模型以得到第一尺度特征向量和第二尺度特征向量，其中，所述第一卷积神经网络使用具有第一尺寸的第一卷积核，所述第二卷积神经网络使用具有第二尺寸的第二卷积核，所述第一尺寸不同于所述第二尺寸；
分别对所述第一尺度特征向量和第二尺度特征向量进行特征表达优化以得到优化后第一尺度特征向量和优化后第二尺度特征向量；
融合所述优化后第一尺度特征向量和所述优化后第二尺度特征向量以得到分类特征向量；以及
将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待检测血液样本中是否含有CTC细胞。
与现有技术相比，本申请提供的一种基于多源数据融合的肿瘤细胞检测设备及其方法，其通过基于转换器的上下文编码器对待检测血液样本的多个检测指标进行基于长距离依赖的全局语义编码；然后，对于各个检测指标的全局语义特征信息组成的特征矩阵，通过基于不同感受野的包含第一卷积神经网络和第二卷积神经网络的双流网络模型提取不同数量的检测指标数据项之间的高维隐含关联特征，以此来进行血液样本中的CTC细胞检测。这样，可以基于多源数据融合提高对于血液样本中的CTC检测的准确性和可靠性。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的循基于多源数据融合的肿瘤细胞检测设备的应用场景图。
图2图示了根据本申请实施例的基于多源数据融合的肿瘤细胞检测设备的框图。
图3图示了根据本申请实施例的基于多源数据融合的肿瘤细胞检测设备中所述指标内上下文编码模块的框图。
图4图示了根据本申请实施例的基于多源数据融合的肿瘤细胞检测设备中所述指标间关联编码模块的框图。
图5图示了根据本申请实施例的基于多源数据融合的肿瘤细胞检测设备中所述特征优化模块的框图。
图6图示了根据本申请实施例的基于多源数据融合的肿瘤细胞检测设备中所述检测结果生成模块的框图。
图7图示了根据本申请实施例的基于多源数据融合的肿瘤细胞检测方法的流程图。
图8图示了根据本申请实施例的基于多源数据融合的肿瘤细胞检测方法的架构示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
如上所述，随着近年来对CTC越来越多的研究，其重要性备受推崇。然而，CTC在血液中的存在量大约是十亿分之一到百亿分之一的水平。现有技术用于分离和识别CTC一方面需要大量人力并且价格昂贵，另一方面缺乏准确性和可靠性。因此，期待一种优化的基于多源数据融合的肿瘤细胞检测设备，以通过同一样本的多源检测指标来判断患者体内是否含有CTC，提高了判断的准确性和可靠性。
相应地，考虑到由于对于同一样本（例如，血液样本）的多源检测指标来说，各个检测指标数据之间存在着隐藏的关联性特征。因此，在本申请的技术方案中，采用基于深度学习的人工智能检测技术来对于所述各个检测指标进行基于长距离依赖的全局语义编码，并且对于所述各个检测指标的全局语义特征信息组成的特征矩阵，通过基于不同感受野的特征提取来挖掘出不同数量的数据项之间的高维隐含关联特征，以此来进行血液样本中的CTC细胞检测。这样，能够基于多源数据融合来提高对于CTC检测的准确性和可靠性，进而降低癌症的死亡率，保障人们的健康。
具体地，在本申请的技术方案中，首先，获取待检测血液样本的多个检测指标，这里，所述多个检测指标，包括：电学性质、热性质、光学特性、辐射特性、化学特性、物理特性、生物学特性、声学特性和机械性质。接着，应可以理解，由于对于同一样本（例如，血液样本）来说，所述各个检测指标之间存在着隐性的关联特征，考虑到如果能够充分挖掘出这些检测指标数据之间的隐性关联特征来综合进行血液样本中的CTC细胞检测，显然能够提高检测的精准度。因此，进一步使用基于转换器的上下文编码器来对于所述多个检测指标进行基于长距离依赖的语义编码，以分别提取出所述各个检测指标的基于全局的高维隐含语义关联特征，从而得到全局电学性质特征向量、全局热性质特征向量、全局光学特性特征向量、全局辐射特性特征向量、全局化学特性特征向量、全局物理特性特征向量、全局生物学特性特征向量、全局声学特性特征向量和全局机械性质特征向量。
然后，为了挖掘出所述各个检测指标的全局特征之间的关联性，进一步构造所述各个检测指标所对应的所述特征向量的特征矩阵。也就是，具体地，将所述全局电学性质特征向量、所述全局热性质特征向量、所述全局光学特性特征向量、所述全局辐射特性特征向量、所述全局化学特性特征向量、所述全局物理特性特征向量、所述全局生物学特性特征向量、所述全局声学特性特征向量和所述全局机械性质特征向量二维排列为检测指标特征矩阵。
接着，使用在隐含关联特征提取方面具有优异表现的卷积神经网络模型来进行所述多个检测指标数据之间的关联性特征挖掘，但是，考虑到在所述各个检测指标数据中，不同数量的检测指标数据之间的隐含关联性特征并不相同，并且这些所述不同数量的指标数据之间的关联特征都对于所述血液样本中的CTC细胞检测具有重要的意义，而传统的卷积神经网络模型不能够很好地挖掘出这种不同数量的数据之间的隐藏关联性特征。
基于此，在本申请的技术方案中，进一步将所述检测指标特征矩阵通过包含第一卷积神经网络和第二卷积神经网络的双流网络模型，以具有不同尺寸的卷积核对所述检测指标特征矩阵进行基于不同感受野的特征提取，以提取出所述检测指标特征矩阵中不同数量的所述检测指标数据项之间的高维隐含关联特征，从而得到第一尺度特征向量和第二尺度特征向量。相应地，在本申请的一个具体示例中，所述第一卷积核的尺寸为3×3，所述第二卷积核的尺寸为5×5，其能够提取所述检测指标特征矩阵中不同尺寸的局部区域中的所述各个检测指标数据项的高维隐含关联特征。
进一步地，融合所述第一尺度特征向量和所述第二尺度特征向量来进行分类检测，就能够对于所述待检测血液样本中是否含有CTC细胞进行准确地判断。
特别地，在本申请的技术方案中，对于所述第一尺度特征向量和所述第二尺度特征向量，由于其是通过以卷积核作为过滤器的神经网络模型得到的，因此所述第一尺度特征向量和所述第二尺度特征向量的每个位置的特征值在卷积核的特征过滤过程中经历了源数据之间的关联特征的下采样，从而降低了所述第一尺度特征向量和所述第二尺度特征向量的特征值之间的表达一致性，也就是，降低了对源数据的关联特征的表达能力。
因此，为了对所述第一尺度特征向量和所述第二尺度特征向量进行关联特征表达能力的优化，对其进行通道递归的压榨-激励，即：
这里，通过计算特征向量的沿分布方向的特征集合的统计特性，可以激活所述特
征向量的特征分布的通道递归，以推断所述特征向量的特征值在所述以卷积核作为过滤器
的神经网络模型的每个通道采样位置的通道维度分布。此外，通过采用由
-
函数
构成的压榨-激励机制，来获取所述以卷积核作为过滤器的神经网络模型的通道方向上注
意力增强的置信度值，以增强所述特征向量在其分布方向上与源数据的关联特征的相关
性，也就是，提高所述特征向量的特征值之间的表达一致性。这样，通过提高第一尺度特征
向量和所述第二尺度特征向量对源数据的关联特征的表达能力，就提高了融合所述第一尺
度特征向量和所述第二尺度特征向量得到的分类特征向量的分类效果。这样，就能够基于
多源数据融合来提高对于血液样本中的CTC检测的准确性和可靠性，进而降低癌症的死亡
率，保障人们的健康。
基于此，本申请提出了一种基于多源数据融合的肿瘤细胞检测设备，其包括：检测指标采集模块，用于获取待检测血液样本的多个检测指标，所述多个检测指标，包括：电学性质、热性质、光学特性、辐射特性、化学特性、物理特性、生物学特性、声学特性和机械性质；指标内上下文编码模块，用于通过基于转换器的上下文编码器，从所述电学性质、所述热性质、所述光学特性、所述辐射特性、所述化学特性、所述物理特性、所述生物学特性、所述声学特性和所述机械性质得到全局电学性质特征向量、全局热性质特征向量、全局光学特性特征向量、全局辐射特性特征向量、全局化学特性特征向量、全局物理特性特征向量、全局生物学特性特征向量、全局声学特性特征向量和全局机械性质特征向量；指标特征结构化模块，用于将所述全局电学性质特征向量、所述全局热性质特征向量、所述全局光学特性特征向量、所述全局辐射特性特征向量、所述全局化学特性特征向量、所述全局物理特性特征向量、所述全局生物学特性特征向量、所述全局声学特性特征向量和所述全局机械性质特征向量二维排列为检测指标特征矩阵；指标间关联编码模块，用于将所述检测指标特征矩阵通过包含第一卷积神经网络和第二卷积神经网络的双流网络模型以得到第一尺度特征向量和第二尺度特征向量，其中，所述第一卷积神经网络使用具有第一尺寸的第一卷积核，所述第二卷积神经网络使用具有第二尺寸的第二卷积核，所述第一尺寸不同于所述第二尺寸；特征优化模块，用于分别对所述第一尺度特征向量和第二尺度特征向量进行特征表达优化以得到优化后第一尺度特征向量和优化后第二尺度特征向量；融合模块，用于融合所述优化后第一尺度特征向量和所述优化后第二尺度特征向量以得到分类特征向量；以及，检测结果生成模块，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待检测血液样本中是否含有CTC细胞。
图1图示了根据本申请实施例的循基于多源数据融合的肿瘤细胞检测设备的应用场景图。如图1所示，在该应用场景中，首先获取待检测血液样本的多个检测指标（例如，如图1中所示意的M），所述多个检测指标，包括：电学性质、热性质、光学特性、辐射特性、化学特性、物理特性、生物学特性、声学特性和机械性质；然后将获取的所述多个检测指标输入至部署有基于多源数据融合的肿瘤细胞检测的服务器（例如，如图1所示意的S）中，其中，所述服务器以基于多源数据融合的肿瘤细胞检测算法对所述多个检测指标进行处理，以生成用于表示待检测血液样本中是否含有CTC细胞的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性设备
图2图示了根据本申请实施例的基于多源数据融合的肿瘤细胞检测设备的框图。如图2所示，根据本申请实施例的一种基于多源数据融合的肿瘤细胞检测设备100，包括：检测指标采集模块110，用于获取待检测血液样本的多个检测指标，所述多个检测指标，包括：电学性质、热性质、光学特性、辐射特性、化学特性、物理特性、生物学特性、声学特性和机械性质；指标内上下文编码模块120，用于通过基于转换器的上下文编码器，从所述电学性质、所述热性质、所述光学特性、所述辐射特性、所述化学特性、所述物理特性、所述生物学特性、所述声学特性和所述机械性质得到全局电学性质特征向量、全局热性质特征向量、全局光学特性特征向量、全局辐射特性特征向量、全局化学特性特征向量、全局物理特性特征向量、全局生物学特性特征向量、全局声学特性特征向量和全局机械性质特征向量；指标特征结构化模块130，用于将所述全局电学性质特征向量、所述全局热性质特征向量、所述全局光学特性特征向量、所述全局辐射特性特征向量、所述全局化学特性特征向量、所述全局物理特性特征向量、所述全局生物学特性特征向量、所述全局声学特性特征向量和所述全局机械性质特征向量二维排列为检测指标特征矩阵；指标间关联编码模块140，用于将所述检测指标特征矩阵通过包含第一卷积神经网络和第二卷积神经网络的双流网络模型以得到第一尺度特征向量和第二尺度特征向量，其中，所述第一卷积神经网络使用具有第一尺寸的第一卷积核，所述第二卷积神经网络使用具有第二尺寸的第二卷积核，所述第一尺寸不同于所述第二尺寸；特征优化模块150，用于分别对所述第一尺度特征向量和第二尺度特征向量进行特征表达优化以得到优化后第一尺度特征向量和优化后第二尺度特征向量；融合模块160，用于融合所述优化后第一尺度特征向量和所述优化后第二尺度特征向量以得到分类特征向量；以及，检测结果生成模块170，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待检测血液样本中是否含有CTC细胞。
具体地，在本申请实施例中，所述检测指标采集模块110，用于获取待检测血液样本的多个检测指标，所述多个检测指标，包括：电学性质、热性质、光学特性、辐射特性、化学特性、物理特性、生物学特性、声学特性和机械性质。如前所述，随着近年来对CTC越来越多的研究，其重要性备受推崇。然而，CTC在血液中的存在量大约是十亿分之一到百亿分之一的水平。现有技术用于分离和识别CTC一方面需要大量人力并且价格昂贵，另一方面缺乏准确性和可靠性。因此，期待一种优化的基于多源数据融合的肿瘤细胞检测设备，以通过同一样本的多源检测指标来判断患者体内是否含有CTC，提高了判断的准确性和可靠性。
相应地，考虑到由于对于同一样本（例如，血液样本）的多源检测指标来说，各个检测指标数据之间存在着隐藏的关联性特征。因此，在本申请的技术方案中，采用基于深度学习的人工智能检测技术来对于所述各个检测指标进行基于长距离依赖的全局语义编码，并且对于所述各个检测指标的全局语义特征信息组成的特征矩阵，通过基于不同感受野的特征提取来挖掘出不同数量的数据项之间的高维隐含关联特征，以此来进行血液样本中的CTC细胞检测。这样，能够基于多源数据融合来提高对于CTC检测的准确性和可靠性，进而降低癌症的死亡率，保障人们的健康。
更具体地，在本申请的技术方案中，首先，获取待检测血液样本的多个检测指标，这里，所述多个检测指标，包括：电学性质、热性质、光学特性、辐射特性、化学特性、物理特性、生物学特性、声学特性和机械性质。
具体地，在本申请实施例中，所述指标内上下文编码模块120，用于通过基于转换器的上下文编码器，从所述电学性质、所述热性质、所述光学特性、所述辐射特性、所述化学特性、所述物理特性、所述生物学特性、所述声学特性和所述机械性质得到全局电学性质特征向量、全局热性质特征向量、全局光学特性特征向量、全局辐射特性特征向量、全局化学特性特征向量、全局物理特性特征向量、全局生物学特性特征向量、全局声学特性特征向量和全局机械性质特征向量。
也就是，在得到所述多个检测指标后，接着，应可以理解，由于对于同一样本（例如，血液样本）来说，所述各个检测指标之间存在着隐性的关联特征，考虑到如果能够充分挖掘出这些检测指标数据之间的隐性关联特征来综合进行血液样本中的CTC细胞检测，显然能够提高检测的精准度。因此，进一步使用基于转换器的上下文编码器来对于所述多个检测指标进行基于长距离依赖的语义编码，以分别提取出所述各个检测指标的基于全局的高维隐含语义关联特征，从而得到全局电学性质特征向量、全局热性质特征向量、全局光学特性特征向量、全局辐射特性特征向量、全局化学特性特征向量、全局物理特性特征向量、全局生物学特性特征向量、全局声学特性特征向量和全局机械性质特征向量。
更具体地，在本申请实施例中，图3图示了根据本申请实施例的基于多源数据融合的肿瘤细胞检测设备中所述指标内上下文编码模块的框图，如图3所示，所述指标内上下文编码模块120，包括：全局语义编码单元210，用于使用所述基于转换器的上下文编码器对所述电学性质、所述热性质、所述光学特性、所述辐射特性、所述化学特性、所述物理特性、所述生物学特性、所述声学特性和所述机械性质进行基于全局的上下文语义编码以得到多个电学性质特征向量、多个热性质特征向量、多个光学特性特征向量、多个辐射特性特征向量、多个化学特性特征向量、多个物理特性特征向量、多个生物学特性特征向量、多个声学特性特征向量和多个机械性质特征向量；以及级联单元220，用于将所述多个电学性质特征向量进行级联以得到全局电学性质特征向量，将所述多个热性质特征向量进行级联以得到全局热性质特征向量，将所述多个光学特性特征向量进行级联以得到全局光学特性特征向量，将所述多个辐射特性特征向量进行级联以得到全局辐射特性特征向量，将所述多个化学特性特征向量进行级联以得到全局化学特性特征向量，将所述多个物理特性特征向量进行级联以得到全局物理特性特征向量，将所述多个生物学特性特征向量进行级联以得到全局生物学特性特征向量，将所述多个声学特性特征向量进行级联以得到全局声学特性特征向量，以及，将所述多个机械性质特征向量进行级联以得到全局机械性质特征向量。
具体地，在本申请实施例中，所述指标特征结构化模块130，用于将所述全局电学性质特征向量、所述全局热性质特征向量、所述全局光学特性特征向量、所述全局辐射特性特征向量、所述全局化学特性特征向量、所述全局物理特性特征向量、所述全局生物学特性特征向量、所述全局声学特性特征向量和所述全局机械性质特征向量二维排列为检测指标特征矩阵。
应可以理解，为了挖掘出所述各个检测指标的全局特征之间的关联性，进一步构造所述各个检测指标所对应的所述特征向量的特征矩阵。也就是，具体地，将所述全局电学性质特征向量、所述全局热性质特征向量、所述全局光学特性特征向量、所述全局辐射特性特征向量、所述全局化学特性特征向量、所述全局物理特性特征向量、所述全局生物学特性特征向量、所述全局声学特性特征向量和所述全局机械性质特征向量二维排列为检测指标特征矩阵。
具体地，在本申请实施例中，所述指标间关联编码模块140，用于将所述检测指标特征矩阵通过包含第一卷积神经网络和第二卷积神经网络的双流网络模型以得到第一尺度特征向量和第二尺度特征向量，其中，所述第一卷积神经网络使用具有第一尺寸的第一卷积核，所述第二卷积神经网络使用具有第二尺寸的第二卷积核，所述第一尺寸不同于所述第二尺寸。
也就是，在得到所述检测指标特征矩阵后，接着，使用在隐含关联特征提取方面具有优异表现的卷积神经网络模型来进行所述多个检测指标数据之间的关联性特征挖掘，但是，考虑到在所述各个检测指标数据中，不同数量的检测指标数据之间的隐含关联性特征并不相同，并且这些所述不同数量的指标数据之间的关联特征都对于所述血液样本中的CTC细胞检测具有重要的意义，而传统的卷积神经网络模型不能够很好地挖掘出这种不同数量的数据之间的隐藏关联性特征。
基于此，在本申请的技术方案中，进一步将所述检测指标特征矩阵通过包含第一卷积神经网络和第二卷积神经网络的双流网络模型，以具有不同尺寸的卷积核对所述检测指标特征矩阵进行基于不同感受野的特征提取，以提取出所述检测指标特征矩阵中不同数量的所述检测指标数据项之间的高维隐含关联特征，从而得到第一尺度特征向量和第二尺度特征向量。相应地，在本申请的一个具体示例中，所述第一卷积核的尺寸为3×3，所述第二卷积核的尺寸为5×5，其能够提取所述检测指标特征矩阵中不同尺寸的局部区域中的所述各个检测指标数据项的高维隐含关联特征。
更具体地，在本申请实施例中，图4图示了根据本申请实施例的基于多源数据融合的肿瘤细胞检测设备中所述指标间关联编码模块的框图，如图4所示，所述指标间关联编码模块140，包括：第一尺度卷积编码单元310，用于使用所述第一卷积神经网络的各层在层的正向传递中分别对输入数据进行基于所述第一卷积核的卷积处理、池化处理和非线性激活处理以由所述第一卷积神经网络的最后一层输出所述第一尺度特征向量；以及，第二尺度卷积编码单元320，用于使用所述第二卷积神经网络的各层在层的正向传递中分别对输入数据进行基于所述第二卷积核的卷积处理、池化处理和非线性激活处理以由所述第二卷积神经网络的最后一层输出所述第二尺度特征向量。
具体地，在本申请实施例中，所述特征优化模块150，用于分别对所述第一尺度特征向量和第二尺度特征向量进行特征表达优化以得到优化后第一尺度特征向量和优化后第二尺度特征向量。
特别地，在本申请的技术方案中，对于所述第一尺度特征向量和所述第二尺度特征向量，由于其是通过以卷积核作为过滤器的神经网络模型得到的，因此所述第一尺度特征向量和所述第二尺度特征向量的每个位置的特征值在卷积核的特征过滤过程中经历了源数据之间的关联特征的下采样，从而降低了所述第一尺度特征向量和所述第二尺度特征向量的特征值之间的表达一致性，也就是，降低了对源数据的关联特征的表达能力。
因此，为了对所述第一尺度特征向量和所述第二尺度特征向量进行关联特征表达能力的优化，对其进行通道递归的压榨-激励。在本申请实施例中，图5图示了根据本申请实施例的基于多源数据融合的肿瘤细胞检测设备中所述特征优化模块的框图，如图5所示，所述特征优化模块150，包括：第一优化单元410和第二优化单元420，所述第一优化单元用于以如下公式对所述第一尺度特征向量进行特征表达优化以得到所述优化后第一尺度特征向量；其中，所述公式为：
其中
表示所述第一尺度特征向量中各个位置的特征值，
和
分别表示所述第
一尺度特征向量中各个位置的特征值集合的均值和方差，
表示非线性修正单元激活
函数，
表示Sigmoid激活函数，
表示计算以所述方差的负值为幂的自然指数
函数值。
进一步地，所述第二优化单元用于以如下公式对所述第二尺度特征向量进行特征表达优化以得到所述优化后第二尺度特征向量；其中，所述公式为：
其中
表示所述第二尺度特征向量中各个位置的特征值，
和
分别表示所述第
二尺度特征向量中各个位置的特征值集合的均值和方差，
表示非线性修正单元激活
函数，
表示Sigmoid激活函数，
表示计算以所述方差的负值为幂的自然指数
函数值。
这里，通过计算特征向量的沿分布方向的特征集合的统计特性，可以激活所述特
征向量的特征分布的通道递归，以推断所述特征向量的特征值在所述以卷积核作为过滤器
的神经网络模型的每个通道采样位置的通道维度分布。此外，通过采用由
-
函数
构成的压榨-激励机制，来获取所述以卷积核作为过滤器的神经网络模型的通道方向上注
意力增强的置信度值，以增强所述特征向量在其分布方向上与源数据的关联特征的相关
性，也就是，提高所述特征向量的特征值之间的表达一致性。这样，通过提高第一尺度特征
向量和所述第二尺度特征向量对源数据的关联特征的表达能力，就提高了融合所述第一尺
度特征向量和所述第二尺度特征向量得到的分类特征向量的分类效果。这样，就能够基于
多源数据融合来提高对于血液样本中的CTC检测的准确性和可靠性，进而降低癌症的死亡
率，保障人们的健康。
具体地，在本申请实施例中，所述融合模块160，用于融合所述优化后第一尺度特征向量和所述优化后第二尺度特征向量以得到分类特征向量。也就是，融合所述第一尺度特征向量和所述第二尺度特征向量来进行分类检测，就能够对于所述待检测血液样本中是否含有CTC细胞进行准确地判断。
进一步地，以如下公式融合所述优化后第一尺度特征向量和所述优化后第二尺度特征向量以得到所述分类特征向量；其中，所述公式为：
其中，
为所述分类特征向量，
为所述优化后第一尺度特征向量，
为所述优化后
第二尺度特征向量，
表示按位置加法，
和
为用于控制所述优化后第一尺度特征向量和
所述优化后第二尺度特征向量之间的平衡的加权参数。
具体地，在本申请实施例中，所述检测结果生成模块170，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待检测血液样本中是否含有CTC细胞。
更具体地，在本申请实施例中，图6图示了根据本申请实施例的基于多源数据融合的肿瘤细胞检测设备中所述检测结果生成模块的框图，如图6所示，所述检测结果生成模块170，包括：全连接编码单元510，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元520，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
在本申请一具体示例中，使用所述分类器以如下公式对所述分类特征向量进行处
理以生成分类结果，其中，所述公式为：
，其中X表示所述分类特
征向量，
至
为各层全连接层的权重矩阵，
至
表示各层全连接层的偏置向量。
综上，基于本申请实施例的基于多源数据融合的肿瘤细胞检测设备100被阐明，其通过基于转换器的上下文编码器对待检测血液样本的多个检测指标进行基于长距离依赖的全局语义编码；然后，对于各个检测指标的全局语义特征信息组成的特征矩阵，通过基于不同感受野的包含第一卷积神经网络和第二卷积神经网络的双流网络模型提取不同数量的检测指标数据项之间的高维隐含关联特征，以此来进行血液样本中的CTC细胞检测。这样，可以基于多源数据融合提高对于血液样本中的CTC检测的准确性和可靠性。
示例性方法
图7图示了根据本申请实施例的基于多源数据融合的肿瘤细胞检测方法的流程图。如图7所示，根据本申请实施例的基于多源数据融合的肿瘤细胞检测方法，包括：S110，获取待检测血液样本的多个检测指标，所述多个检测指标，包括：电学性质、热性质、光学特性、辐射特性、化学特性、物理特性、生物学特性、声学特性和机械性质；S120，通过基于转换器的上下文编码器，从所述电学性质、所述热性质、所述光学特性、所述辐射特性、所述化学特性、所述物理特性、所述生物学特性、所述声学特性和所述机械性质得到全局电学性质特征向量、全局热性质特征向量、全局光学特性特征向量、全局辐射特性特征向量、全局化学特性特征向量、全局物理特性特征向量、全局生物学特性特征向量、全局声学特性特征向量和全局机械性质特征向量；S130，将所述全局电学性质特征向量、所述全局热性质特征向量、所述全局光学特性特征向量、所述全局辐射特性特征向量、所述全局化学特性特征向量、所述全局物理特性特征向量、所述全局生物学特性特征向量、所述全局声学特性特征向量和所述全局机械性质特征向量二维排列为检测指标特征矩阵；S140，将所述检测指标特征矩阵通过包含第一卷积神经网络和第二卷积神经网络的双流网络模型以得到第一尺度特征向量和第二尺度特征向量，其中，所述第一卷积神经网络使用具有第一尺寸的第一卷积核，所述第二卷积神经网络使用具有第二尺寸的第二卷积核，所述第一尺寸不同于所述第二尺寸；S150，分别对所述第一尺度特征向量和第二尺度特征向量进行特征表达优化以得到优化后第一尺度特征向量和优化后第二尺度特征向量；S160，融合所述优化后第一尺度特征向量和所述优化后第二尺度特征向量以得到分类特征向量；以及,S170，将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待检测血液样本中是否含有CTC细胞。
图8图示了根据本申请实施例的基于多源数据融合的肿瘤细胞检测方法的架构示意图。如图8所示，在所述基于多源数据融合的肿瘤细胞检测方法的网络架构中，首先，获取待检测血液样本的多个检测指标，所述多个检测指标，包括：电学性质、热性质、光学特性、辐射特性、化学特性、物理特性、生物学特性、声学特性和机械性质；然后，通过基于转换器的上下文编码器，从所述电学性质、所述热性质、所述光学特性、所述辐射特性、所述化学特性、所述物理特性、所述生物学特性、所述声学特性和所述机械性质得到全局电学性质特征向量、全局热性质特征向量、全局光学特性特征向量、全局辐射特性特征向量、全局化学特性特征向量、全局物理特性特征向量、全局生物学特性特征向量、全局声学特性特征向量和全局机械性质特征向量；接着，将所述全局电学性质特征向量、所述全局热性质特征向量、所述全局光学特性特征向量、所述全局辐射特性特征向量、所述全局化学特性特征向量、所述全局物理特性特征向量、所述全局生物学特性特征向量、所述全局声学特性特征向量和所述全局机械性质特征向量二维排列为检测指标特征矩阵；然后，将所述检测指标特征矩阵通过包含第一卷积神经网络和第二卷积神经网络的双流网络模型以得到第一尺度特征向量和第二尺度特征向量，其中，所述第一卷积神经网络使用具有第一尺寸的第一卷积核，所述第二卷积神经网络使用具有第二尺寸的第二卷积核，所述第一尺寸不同于所述第二尺寸；接着，分别对所述第一尺度特征向量和第二尺度特征向量进行特征表达优化以得到优化后第一尺度特征向量和优化后第二尺度特征向量；然后，融合所述优化后第一尺度特征向量和所述优化后第二尺度特征向量以得到分类特征向量；以及,最后，将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待检测血液样本中是否含有CTC细胞。
在本申请的一个实施例中，在上述基于多源数据融合的肿瘤细胞检测方法中，所述通过基于转换器的上下文编码器，从所述电学性质、所述热性质、所述光学特性、所述辐射特性、所述化学特性、所述物理特性、所述生物学特性、所述声学特性和所述机械性质得到全局电学性质特征向量、全局热性质特征向量、全局光学特性特征向量、全局辐射特性特征向量、全局化学特性特征向量、全局物理特性特征向量、全局生物学特性特征向量、全局声学特性特征向量和全局机械性质特征向量，包括：使用所述基于转换器的上下文编码器对所述电学性质、所述热性质、所述光学特性、所述辐射特性、所述化学特性、所述物理特性、所述生物学特性、所述声学特性和所述机械性质进行基于全局的上下文语义编码以得到多个电学性质特征向量、多个热性质特征向量、多个光学特性特征向量、多个辐射特性特征向量、多个化学特性特征向量、多个物理特性特征向量、多个生物学特性特征向量、多个声学特性特征向量和多个机械性质特征向量；以及，将所述多个电学性质特征向量进行级联以得到全局电学性质特征向量，将所述多个热性质特征向量进行级联以得到全局热性质特征向量，将所述多个光学特性特征向量进行级联以得到全局光学特性特征向量，将所述多个辐射特性特征向量进行级联以得到全局辐射特性特征向量，将所述多个化学特性特征向量进行级联以得到全局化学特性特征向量，将所述多个物理特性特征向量进行级联以得到全局物理特性特征向量，将所述多个生物学特性特征向量进行级联以得到全局生物学特性特征向量，将所述多个声学特性特征向量进行级联以得到全局声学特性特征向量，以及，将所述多个机械性质特征向量进行级联以得到全局机械性质特征向量。
在本申请的一个实施例中，在上述基于多源数据融合的肿瘤细胞检测方法中，所述将所述检测指标特征矩阵通过包含第一卷积神经网络和第二卷积神经网络的双流网络模型以得到第一尺度特征向量和第二尺度特征向量，其中，所述第一卷积神经网络使用具有第一尺寸的第一卷积核，所述第二卷积神经网络使用具有第二尺寸的第二卷积核，所述第一尺寸不同于所述第二尺寸，包括：使用所述第一卷积神经网络的各层在层的正向传递中分别对输入数据进行基于所述第一卷积核的卷积处理、池化处理和非线性激活处理以由所述第一卷积神经网络的最后一层输出所述第一尺度特征向量；以及，使用所述第二卷积神经网络的各层在层的正向传递中分别对输入数据进行基于所述第二卷积核的卷积处理、池化处理和非线性激活处理以由所述第二卷积神经网络的最后一层输出所述第二尺度特征向量。
在本申请的一个实施例中，在上述基于多源数据融合的肿瘤细胞检测方法中，所述分别对所述第一尺度特征向量和第二尺度特征向量进行特征表达优化以得到优化后第一尺度特征向量和优化后第二尺度特征向量，包括：以如下公式对所述第一尺度特征向量进行特征表达优化以得到所述优化后第一尺度特征向量；其中，所述公式为：
其中
表示所述第一尺度特征向量中各个位置的特征值，
和
分别表示所述第
一尺度特征向量中各个位置的特征值集合的均值和方差，
表示非线性修正单元激活
函数，
表示Sigmoid激活函数，
表示计算以所述方差的负值为幂的自然指数
函数值。
在本申请的一个实施例中，在上述基于多源数据融合的肿瘤细胞检测方法中，所述分别对所述第一尺度特征向量和第二尺度特征向量进行特征表达优化以得到优化后第一尺度特征向量和优化后第二尺度特征向量，包括：以如下公式对所述第二尺度特征向量进行特征表达优化以得到所述优化后第二尺度特征向量；其中，所述公式为：
其中
表示所述第二尺度特征向量中各个位置的特征值，
和
分别表示所述第
二尺度特征向量中各个位置的特征值集合的均值和方差，
表示非线性修正单元激活
函数，
表示Sigmoid激活函数，
表示计算以所述方差的负值为幂的自然指数
函数值。
在本申请的一个实施例中，在上述基于多源数据融合的肿瘤细胞检测方法中，所述融合所述优化后第一尺度特征向量和所述优化后第二尺度特征向量以得到分类特征向量，进一步包括：以如下公式融合所述优化后第一尺度特征向量和所述优化后第二尺度特征向量以得到所述分类特征向量；其中，所述公式为：
其中，
为所述分类特征向量，
为所述优化后第一尺度特征向量，
为所述优化后
第二尺度特征向量，
表示按位置加法，
和
为用于控制所述优化后第一尺度特征向量和
所述优化后第二尺度特征向量之间的平衡的加权参数。
在本申请的一个实施例中，在上述基于多源数据融合的肿瘤细胞检测方法中，所述将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待检测血液样本中是否含有CTC细胞，包括：使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
这里，本领域技术人员可以理解，上述基于多源数据融合的肿瘤细胞检测方法中的具体功能和操作已经在上面参考图1到图6的基于多源数据融合的肿瘤细胞检测设备描述中得到了详细介绍，并因此，将省略其重复描述。
Claims (8)
1.一种基于多源数据融合的肿瘤细胞检测设备，其特征在于，包括：
检测指标采集模块，用于获取待检测血液样本的多个检测指标，所述多个检测指标，包括：电学性质、热性质、光学特性、辐射特性、化学特性、物理特性、生物学特性、声学特性和机械性质；
指标内上下文编码模块，用于通过基于转换器的上下文编码器，从所述电学性质、所述热性质、所述光学特性、所述辐射特性、所述化学特性、所述物理特性、所述生物学特性、所述声学特性和所述机械性质得到全局电学性质特征向量、全局热性质特征向量、全局光学特性特征向量、全局辐射特性特征向量、全局化学特性特征向量、全局物理特性特征向量、全局生物学特性特征向量、全局声学特性特征向量和全局机械性质特征向量；
指标特征结构化模块，用于将所述全局电学性质特征向量、所述全局热性质特征向量、所述全局光学特性特征向量、所述全局辐射特性特征向量、所述全局化学特性特征向量、所述全局物理特性特征向量、所述全局生物学特性特征向量、所述全局声学特性特征向量和所述全局机械性质特征向量二维排列为检测指标特征矩阵；
指标间关联编码模块，用于将所述检测指标特征矩阵通过包含第一卷积神经网络和第二卷积神经网络的双流网络模型以得到第一尺度特征向量和第二尺度特征向量，其中，所述第一卷积神经网络使用具有第一尺寸的第一卷积核，所述第二卷积神经网络使用具有第二尺寸的第二卷积核，所述第一尺寸不同于所述第二尺寸；
特征优化模块，用于分别对所述第一尺度特征向量和第二尺度特征向量进行特征表达优化以得到优化后第一尺度特征向量和优化后第二尺度特征向量；
融合模块，用于融合所述优化后第一尺度特征向量和所述优化后第二尺度特征向量以得到分类特征向量；以及
检测结果生成模块，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待检测血液样本中是否含有CTC细胞；
其中，所述指标内上下文编码模块，包括：
全局语义编码单元，用于使用所述基于转换器的上下文编码器对所述电学性质、所述热性质、所述光学特性、所述辐射特性、所述化学特性、所述物理特性、所述生物学特性、所述声学特性和所述机械性质进行基于全局的上下文语义编码以得到多个电学性质特征向量、多个热性质特征向量、多个光学特性特征向量、多个辐射特性特征向量、多个化学特性特征向量、多个物理特性特征向量、多个生物学特性特征向量、多个声学特性特征向量和多个机械性质特征向量；以及
级联单元，用于将所述多个电学性质特征向量进行级联以得到全局电学性质特征向量，将所述多个热性质特征向量进行级联以得到全局热性质特征向量，将所述多个光学特性特征向量进行级联以得到全局光学特性特征向量，将所述多个辐射特性特征向量进行级联以得到全局辐射特性特征向量，将所述多个化学特性特征向量进行级联以得到全局化学特性特征向量，将所述多个物理特性特征向量进行级联以得到全局物理特性特征向量，将所述多个生物学特性特征向量进行级联以得到全局生物学特性特征向量，将所述多个声学特性特征向量进行级联以得到全局声学特性特征向量，以及，将所述多个机械性质特征向量进行级联以得到全局机械性质特征向量。
2.根据权利要求1所述的基于多源数据融合的肿瘤细胞检测设备，其特征在于，所述指标间关联编码模块，包括：
第一尺度卷积编码单元，用于使用所述第一卷积神经网络的各层在层的正向传递中分别对输入数据进行基于所述第一卷积核的卷积处理、池化处理和非线性激活处理以由所述第一卷积神经网络的最后一层输出所述第一尺度特征向量；以及
第二尺度卷积编码单元，用于使用所述第二卷积神经网络的各层在层的正向传递中分别对输入数据进行基于所述第二卷积核的卷积处理、池化处理和非线性激活处理以由所述第二卷积神经网络的最后一层输出所述第二尺度特征向量。
3.根据权利要求2所述的基于多源数据融合的肿瘤细胞检测设备，其特征在于，所述特征优化模块，包括：
第一优化单元，用于以如下公式对所述第一尺度特征向量进行特征表达优化以得到所述优化后第一尺度特征向量；
其中，所述公式为：
其中
表示所述第一尺度特征向量中各个位置的特征值，
和
分别表示所述第一尺度
特征向量中各个位置的特征值集合的均值和方差，
表示非线性修正单元激活函数，
表示Sigmoid激活函数，
表示计算以所述方差的负值为幂的自然指数函数
值。
4.根据权利要求3所述的基于多源数据融合的肿瘤细胞检测设备，其特征在于，所述特征优化模块，包括：
第二优化单元，用于以如下公式对所述第二尺度特征向量进行特征表达优化以得到所述优化后第二尺度特征向量；
其中，所述公式为：
其中
表示所述第二尺度特征向量中各个位置的特征值，
和
分别表示所述第二尺
度特征向量中各个位置的特征值集合的均值和方差，
表示非线性修正单元激活函数，
表示Sigmoid激活函数，
表示计算以所述方差的负值为幂的自然指数函数
值。
5.根据权利要求4所述的基于多源数据融合的肿瘤细胞检测设备，其特征在于，所述融合模块，进一步用于：以如下公式融合所述优化后第一尺度特征向量和所述优化后第二尺度特征向量以得到所述分类特征向量；
其中，所述公式为：
其中，V为所述分类特征向量，V 1为所述优化后第一尺度特征向量，V 2为所述优化后第二
尺度特征向量，
表示按位置加法，
和
为用于控制所述优化后第一尺度特征向量和所述
优化后第二尺度特征向量之间的平衡的加权参数。
6.根据权利要求5所述的基于多源数据融合的肿瘤细胞检测设备，其特征在于，所述检测结果生成模块，包括：
全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
7.一种基于多源数据融合的肿瘤细胞检测方法，其特征在于，包括：
获取待检测血液样本的多个检测指标，所述多个检测指标，包括：电学性质、热性质、光学特性、辐射特性、化学特性、物理特性、生物学特性、声学特性和机械性质；
通过基于转换器的上下文编码器，从所述电学性质、所述热性质、所述光学特性、所述辐射特性、所述化学特性、所述物理特性、所述生物学特性、所述声学特性和所述机械性质得到全局电学性质特征向量、全局热性质特征向量、全局光学特性特征向量、全局辐射特性特征向量、全局化学特性特征向量、全局物理特性特征向量、全局生物学特性特征向量、全局声学特性特征向量和全局机械性质特征向量；
将所述全局电学性质特征向量、所述全局热性质特征向量、所述全局光学特性特征向量、所述全局辐射特性特征向量、所述全局化学特性特征向量、所述全局物理特性特征向量、所述全局生物学特性特征向量、所述全局声学特性特征向量和所述全局机械性质特征向量二维排列为检测指标特征矩阵；
将所述检测指标特征矩阵通过包含第一卷积神经网络和第二卷积神经网络的双流网络模型以得到第一尺度特征向量和第二尺度特征向量，其中，所述第一卷积神经网络使用具有第一尺寸的第一卷积核，所述第二卷积神经网络使用具有第二尺寸的第二卷积核，所述第一尺寸不同于所述第二尺寸；
分别对所述第一尺度特征向量和第二尺度特征向量进行特征表达优化以得到优化后第一尺度特征向量和优化后第二尺度特征向量；
融合所述优化后第一尺度特征向量和所述优化后第二尺度特征向量以得到分类特征向量；以及
将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待检测血液样本中是否含有CTC细胞；
其中，所述通过基于转换器的上下文编码器，从所述电学性质、所述热性质、所述光学特性、所述辐射特性、所述化学特性、所述物理特性、所述生物学特性、所述声学特性和所述机械性质得到全局电学性质特征向量、全局热性质特征向量、全局光学特性特征向量、全局辐射特性特征向量、全局化学特性特征向量、全局物理特性特征向量、全局生物学特性特征向量、全局声学特性特征向量和全局机械性质特征向量，包括：
使用所述基于转换器的上下文编码器对所述电学性质、所述热性质、所述光学特性、所述辐射特性、所述化学特性、所述物理特性、所述生物学特性、所述声学特性和所述机械性质进行基于全局的上下文语义编码以得到多个电学性质特征向量、多个热性质特征向量、多个光学特性特征向量、多个辐射特性特征向量、多个化学特性特征向量、多个物理特性特征向量、多个生物学特性特征向量、多个声学特性特征向量和多个机械性质特征向量；以及
将所述多个电学性质特征向量进行级联以得到全局电学性质特征向量，将所述多个热性质特征向量进行级联以得到全局热性质特征向量，将所述多个光学特性特征向量进行级联以得到全局光学特性特征向量，将所述多个辐射特性特征向量进行级联以得到全局辐射特性特征向量，将所述多个化学特性特征向量进行级联以得到全局化学特性特征向量，将所述多个物理特性特征向量进行级联以得到全局物理特性特征向量，将所述多个生物学特性特征向量进行级联以得到全局生物学特性特征向量，将所述多个声学特性特征向量进行级联以得到全局声学特性特征向量，以及，将所述多个机械性质特征向量进行级联以得到全局机械性质特征向量。
8.根据权利要求7所述的基于多源数据融合的肿瘤细胞检测方法，其特征在于，所述将所述检测指标特征矩阵通过包含第一卷积神经网络和第二卷积神经网络的双流网络模型以得到第一尺度特征向量和第二尺度特征向量，其中，所述第一卷积神经网络使用具有第一尺寸的第一卷积核，所述第二卷积神经网络使用具有第二尺寸的第二卷积核，所述第一尺寸不同于所述第二尺寸，包括：
使用所述第一卷积神经网络的各层在层的正向传递中分别对输入数据进行基于所述第一卷积核的卷积处理、池化处理和非线性激活处理以由所述第一卷积神经网络的最后一层输出所述第一尺度特征向量；以及
使用所述第二卷积神经网络的各层在层的正向传递中分别对输入数据进行基于所述第二卷积核的卷积处理、池化处理和非线性激活处理以由所述第二卷积神经网络的最后一层输出所述第二尺度特征向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211360260.0A CN115406815B (zh) | 2022-11-02 | 2022-11-02 | 基于多源数据融合的肿瘤细胞检测设备及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211360260.0A CN115406815B (zh) | 2022-11-02 | 2022-11-02 | 基于多源数据融合的肿瘤细胞检测设备及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115406815A CN115406815A (zh) | 2022-11-29 |
| CN115406815B true CN115406815B (zh) | 2023-02-03 |
Family
ID=84169385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211360260.0A Active CN115406815B (zh) | 2022-11-02 | 2022-11-02 | 基于多源数据融合的肿瘤细胞检测设备及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115406815B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115690109B (zh) * | 2023-01-04 | 2023-03-14 | 杭州华得森生物技术有限公司 | 基于计算生物的肿瘤细胞检测设备及其方法 |
| CN116309543B (zh) * | 2023-05-10 | 2023-08-11 | 北京航空航天大学杭州创新研究院 | 基于图像的循环肿瘤细胞检测设备 |
| CN116309595B (zh) * | 2023-05-23 | 2023-08-01 | 杭州华得森生物技术有限公司 | Ctc智能全自动检测一体机及其方法 |
| CN116309596B (zh) * | 2023-05-23 | 2023-08-04 | 杭州华得森生物技术有限公司 | 基于微流控芯片的ctc细胞检测方法及其系统 |
| CN116434226B (zh) * | 2023-06-08 | 2024-03-19 | 杭州华得森生物技术有限公司 | 循环肿瘤细胞分析仪 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8392418B2 (en) * | 2009-06-25 | 2013-03-05 | University Of Tennessee Research Foundation | Method and apparatus for predicting object properties and events using similarity-based information retrieval and model |
| US10304188B1 (en) * | 2015-03-27 | 2019-05-28 | Caleb J. Kumar | Apparatus and method for automated cell analysis |
| US11071501B2 (en) * | 2015-08-14 | 2021-07-27 | Elucid Bioiwaging Inc. | Quantitative imaging for determining time to adverse event (TTE) |
| SG11201912745WA (en) * | 2017-10-16 | 2020-01-30 | Illumina Inc | Deep learning-based splice site classification |
| US20210043275A1 (en) * | 2018-02-27 | 2021-02-11 | Cornell University | Ultra-sensitive detection of circulating tumor dna through genome-wide integration |
| CN110490840A (zh) * | 2019-07-11 | 2019-11-22 | 平安科技（深圳）有限公司 | 一种肾小球病理切片图像的细胞检测方法、装置及设备 |
| CN110648527B (zh) * | 2019-08-20 | 2021-05-11 | 浙江工业大学 | 一种基于深度学习模型的交通速度预测方法 |
| US11341635B2 (en) * | 2019-10-31 | 2022-05-24 | Tencent America LLC | Computer aided diagnosis system for detecting tissue lesion on microscopy images based on multi-resolution feature fusion |
| CN111444968A (zh) * | 2020-03-30 | 2020-07-24 | 哈尔滨工程大学 | 一种基于注意力融合的图像描述生成方法 |
| US20210358571A1 (en) * | 2020-05-13 | 2021-11-18 | Tempus Labs, Inc. | Systems and methods for predicting pathogenic status of fusion candidates detected in next generation sequencing data |
| CN111951887A (zh) * | 2020-07-27 | 2020-11-17 | 深圳市新合生物医疗科技有限公司 | 基于深度学习的白细胞抗原与多肽结合亲和力预测方法 |
| CN112446891B (zh) * | 2020-10-23 | 2024-04-02 | 浙江工业大学 | 基于U-Net网络脑胶质瘤的医学图像分割方法 |
| TW202228153A (zh) * | 2020-12-09 | 2022-07-16 | 大陸商江蘇恆瑞醫藥股份有限公司 | 基於機器學習的肽免疫原性預測、鑑別系統及方法 |
| JP2022099245A (ja) * | 2020-12-22 | 2022-07-04 | 国立大学法人九州工業大学 | 創薬標的タンパク質の予測方法、創薬標的タンパク質の予測システム |
| CN112750106B (zh) * | 2020-12-31 | 2022-11-04 | 山东大学 | 一种基于非完备标记的深度学习的核染色细胞计数方法、计算机设备、存储介质 |
| CN114202740A (zh) * | 2021-12-07 | 2022-03-18 | 大连理工大学宁波研究院 | 一种基于多尺度特征融合的行人重识别方法 |
| CN115171838B (zh) * | 2022-08-24 | 2023-04-07 | 中南大学 | 基于跨模态融合的医学报告生成模型的训练方法 |
-
2022
- 2022-11-02 CN CN202211360260.0A patent/CN115406815B/zh active Active
Non-Patent Citations (1)
| Title |
|---|
| 基于卷积神经网络的肝脏肿瘤检测算法及应用研究;徐冬等;《信息与电脑(理论版)》;20200810(第15期);71-73页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115406815A (zh) | 2022-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115406815B (zh) | 基于多源数据融合的肿瘤细胞检测设备及其方法 | |
| CN115409844B (zh) | 循环肿瘤细胞检测设备及其方法 | |
| CN112329800B (zh) | 一种基于全局信息引导残差注意力的显著性目标检测方法 | |
| CN116189179B (zh) | 循环肿瘤细胞扫描分析设备 | |
| CN111126386B (zh) | 场景文本识别中基于对抗学习的序列领域适应方法 | |
| CN115690109B (zh) | 基于计算生物的肿瘤细胞检测设备及其方法 | |
| CN113255733A (zh) | 多模态数据缺失下的无监督异常检测方法 | |
| CN113095409B (zh) | 基于注意力机制和权值共享的高光谱图像分类方法 | |
| CN111443165A (zh) | 一种基于气体传感器与深度学习的气味识别方法 | |
| CN111046961B (zh) | 基于双向长短时记忆单元和胶囊网络的故障分类方法 | |
| CN116524361A (zh) | 基于双孪生分支的遥感图像变化检测网络及检测方法 | |
| CN114862838A (zh) | 基于无监督学习的缺陷检测方法及设备 | |
| CN116287138B (zh) | 基于fish的细胞检测系统及其方法 | |
| CN115941407A (zh) | 基于递归式卷积网络和注意力机制的信号调制识别方法 | |
| CN116469561A (zh) | 一种基于深度学习的乳腺癌生存预测方法 | |
| CN116612378A (zh) | 一种基于ssd改进的不平衡数据及复杂背景下水下小目标检测方法 | |
| CN114021584A (zh) | 基于图卷积网络和翻译模型的知识表示学习方法 | |
| CN111582370B (zh) | 一种基于粗糙集优化的脑转移瘤预后指标约简及分类方法 | |
| Gangadharan et al. | Detection and classification of various pest attacks and infection on plants using RBPN with GA based PSO algorithm | |
| CN115510900A (zh) | 电路故障自动诊断方法及其诊断系统 | |
| CN114821200A (zh) | 一种应用于工业视觉检测领域的图像检测模型及方法 | |
| CN112086174B (zh) | 一种三维知识诊断模型构建方法和系统 | |
| CN113611360A (zh) | 一种基于深度学习和XGBoost的蛋白质-蛋白质相互作用位点预测方法 | |
| CN115374931A (zh) | 一种基于元对抗训练的深度神经网络鲁棒性增强方法 | |
| CN115408351B (zh) | 军工科研生产数据管理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |