CN115984622B - 基于多模态和多示例学习分类方法、预测方法及相关装置 - Google Patents
基于多模态和多示例学习分类方法、预测方法及相关装置 Download PDFInfo
- Publication number
- CN115984622B CN115984622B CN202310033869.5A CN202310033869A CN115984622B CN 115984622 B CN115984622 B CN 115984622B CN 202310033869 A CN202310033869 A CN 202310033869A CN 115984622 B CN115984622 B CN 115984622B
- Authority
- CN
- China
- Prior art keywords
- feature
- fusion
- learning
- modal
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 230000004927 fusion Effects 0.000 claims abstract description 107
- 238000000605 extraction Methods 0.000 claims abstract description 42
- 238000007689 inspection Methods 0.000 claims abstract description 19
- 238000000926 separation method Methods 0.000 claims description 56
- 206010073071 hepatocellular carcinoma Diseases 0.000 claims description 37
- 239000013598 vector Substances 0.000 claims description 33
- 230000011218 segmentation Effects 0.000 claims description 17
- 238000013135 deep learning Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 13
- 231100000844 hepatocellular carcinoma Toxicity 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 10
- 210000004185 liver Anatomy 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 230000002980 postoperative effect Effects 0.000 claims description 8
- 206010028980 Neoplasm Diseases 0.000 description 10
- 238000005070 sampling Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000004393 prognosis Methods 0.000 description 8
- 238000012216 screening Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 238000005065 mining Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 108090000623 proteins and genes Proteins 0.000 description 3
- 230000004083 survival effect Effects 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009545 invasion Effects 0.000 description 2
- 230000003908 liver function Effects 0.000 description 2
- 230000004879 molecular function Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000002054 transplantation Methods 0.000 description 2
- 206010019695 Hepatic neoplasm Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000010317 ablation therapy Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000003915 cell function Effects 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 208000019425 cirrhosis of liver Diseases 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 208000019423 liver disease Diseases 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000009116 palliative therapy Methods 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 238000010837 poor prognosis Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 238000007674 radiofrequency ablation Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000000405 serological effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000011521 systemic chemotherapy Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- 230000009790 vascular invasion Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种基于多模态和多示例学习分类方法、预测方法及相关装置，方法包括获取目标物的多模态数据，并通过所述分类网络模型中的特征提取模块获取各模态数据的模态特征图；基于各模态特征图和所述分类网络模型中的特征融合模块，确定融合特征图；基于所述融合特征以及所述分类网络模型中的多示例结合模块，确定多实例融合特征；基于所述多实例融合特征、所述目标物对应的检查信息以及所述分类网络模型中的表格数据学习模块，确定所述目标物对应的分类类别。本申请将多模态数据和多示例相结合，能够有效地对多种模态的信息进行整合，并应用于真实数据，解决真实数据中子样本缺乏标签的情况，帮助任务取得更好的性能。
Description
技术领域
本申请涉及医学图像处理技术领域，特别涉及一种基于多模态和多示例学习分类方法、预测方法及相关装置。
背景技术
机器学习(machine learning，ML)作为一种数据驱动的建模方法，通过挖掘数据内在特征和分布规律，能将数据分析转化为可量化且能轻松实现的任务。其中，深度学习(deep learning，DL)作为机器学习的新兴方法，近年来迅速发展，已在各个领域中取得广泛的应用。
目前普遍使用的深度学习模型普遍是采用单模态建模，这就使得模型性能有限。虽然有研究结合其他模态信息，但是普遍采用简单的像叠加融合，使得网络模型的性能未能有显著的提升。另外，在真实世界中普遍存在着包的标签已知而示例的标签未知的情况，例如，使用2D深度学习网络分析3D图像、分析药物分子功能等，这种情况会严重影响模型的推理性能。
因而现有技术还有待改进和提高。
发明内容
本申请要解决的技术问题在于，针对现有技术的不足，提供一种基于多模态和多示例学习分类方法、预测方法及相关装置。
为了解决上述技术问题，本申请实施例第一方面提供了一种基于多模态和多示例学习分类方法，其特征在于，所述应用分类网络模型，所述方法包括：
获取目标物的多模态数据，并通过所述分类网络模型中的特征提取模块获取各模态数据的模态特征图；
基于各模态特征图和所述分类网络模型中的特征融合模块，确定融合特征图；
基于所述融合特征以及所述分类网络模型中的多示例结合模块，确定多实例融合特征；
基于所述多实例融合特征、所述目标物对应的检查信息以及所述分类网络模型中的表格数据学习模块，确定所述目标物对应的分类类别。
所述基于多模态和多示例学习分类方法，其中，所述通过所述分类网络模型中的特征提取模块获取各模态数据的模态特征图具体包括：
分别将各模态数据输入所述分类网络模型中的特征提取模块；
通过所述特征提取模块获取各模态数据的模态特征图，其中，所述特征提取模块采用深度学习分割网络模型中的编码器。
所述基于多模态和多示例学习分类方法，其中，所述特征提取模块包括若干下采样单元和卷积单元，所述卷积单元包括若干卷积子单元和卷积层，若干卷积子单元依次级联，卷积层与位于最后的卷积子单元相连接；所述下采样单元包括依次级联的卷积单元、加法器以及池化子单元，所述下采样单元中的卷积单元的输入项为所述加法器的输入项。
所述基于多模态和多示例学习分类方法，其中，所述基于各模态特征图和所述分类网络模型中的特征融合模块，确定融合特征图具体包括：
将各模态特征图划分为若干特征块，并获取每个特征块对应的位置嵌入；
对于每个特征块，将所述特征块转换为候选特征向量，并将所述候选特征向量与所述特征块对应嵌入进行拼接，以得到所述特征块对应的特征向量；
将各特征块对应的特征向量输入所述分类网络模型中的特征融合模块，通过所述特征融合模块输出所述目标物对应的融合特征。
所述基于多模态和多示例学习分类方法，其中，所述多示例结合模块包括聚类单元、注意力学习单元以及乘法器；所述基于所述融合特征以及所述分类网络模型中的多示例结合模块，确定多实例融合特征具体包括：
将所述述融合特征输入所述聚类单元，通过所述聚类单元对所述融合特征进行聚类，以得到聚类特征；
将所述聚类特征输入所述注意力学习单元，通过所述注意力学习单元确定注意力特征；
将所述聚类特征和所述注意力特征输入乘法器，通过所述乘法器确定多实例融合特征。
所述基于多模态和多示例学习分类方法，其中，所述基于所述多实例融合特征、所述目标物对应的检查信息以及所述分类网络模型中的表格数据学习模块，确定所述目标物对应的分类类别具体包括：
将所述融合特征与所述检查信息进行拼接，得到拼接特征；
将所述拼接特征输入表格数据学习模块，通过所述表格数据学习模块确定所述目标物对应的分类类别，其中，所述表格数据学习模块包括第一特征分离单元、并排设置的若干第二特征分离单元、若干激活函数层以及分类单元；第一特征分离单元确定的分离特征为最前的第二特征分离单元的输入项；相邻两个第二特征分离单元中前一第二特征分离单元确定的分离特征为后一第二特征分离单元的输入项；若干第二特征分离与若干激活函数层一一对应，各第二特征分离确定的分离特征通过各自对应的激活函数层后依次叠加，叠加得到的特征向量为分类单元的输入项。
本申请实施例第二方面提供了一种肝细胞癌术后早期复发预测方法，其特征在于，所述方法应用如上所述的多模态和多示例学习分类方法，所述的预测方法具体包括：
获取多模态数据，其中，每个模态数据均包含有肝部图像；
通过所述多模态和多示例学习分类方法，预测多模态数据对应的复发类别。
本申请实施例第三方面提供了一种基于多模态和多示例学习分类系统，所述系统包括：
特征提取模块，用于获取目标物的多模态数据，并获取各模态数据的模态特征图；
特征融合模块，用于基于各模态特征图确定融合特征图；
多示例结合模块，用于基于所述融合特征确定多实例融合特征；
表格数据学习模块，用于基于所述多实例融合特征及所述目标物对应的检查信息，确定所述目标物对应的分类类别。
本申请实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的基于多模态和多示例学习分类方法中的步骤，和/或以实现如上所述的肝细胞癌术后早期复发预测方法中的步骤。
本申请实施例第五方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的基于多模态和多示例学习分类方法中的步骤，和/或实现如上所述的肝细胞癌术后早期复发预测方法中的步骤。
有益效果：与现有技术相比，本申请提供了一种基于多模态和多示例学习分类方法、预测方法及相关装置，方法包括获取目标物的多模态数据，并通过所述分类网络模型中的特征提取模块获取各模态数据的模态特征图；基于各模态特征图和所述分类网络模型中的特征融合模块，确定融合特征图；基于所述融合特征以及所述分类网络模型中的多示例结合模块，确定多实例融合特征；基于所述多实例融合特征、所述目标物对应的检查信息以及所述分类网络模型中的表格数据学习模块，确定所述目标物对应的分类类别。本申请将多模态数据和多示例相结合，能够有效地对多种模态的信息进行整合，并应用于真实数据，解决真实数据中子样本缺乏标签的情况，帮助任务取得更好的性能。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的基于多模态和多示例学习分类方法的流程图。
图2为分类网络模型的结构原理图。
图3为特征提取模块的结构原理图。
图4为特征融合模块所采用的Transformer网络的结构原理图。
图5为TabNet的结构原理图。
图6为申请提供的基于多模态和多示例学习分类系统的结构原理图。
图7为本申请提供的终端设备的结构原理图。
具体实施方式
本申请提供一种基于多模态和多示例学习分类方法、预测方法及相关装置，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
经过研究发现，机器学习(machine learning，ML)作为一种数据驱动的建模方法，通过挖掘数据内在特征和分布规律，能将数据分析转化为可量化且能轻松实现的任务。其中，深度学习(deep learning，DL)作为机器学习的新兴方法，近年来迅速发展，已在各个领域中取得广泛的应用。
目前普遍使用的深度学习模型普遍是采用单模态建模，这就使得模型性能有限。虽然有研究结合其他模态信息，但是普遍采用简单的像叠加融合，使得网络模型的性能未能有显著的提升。另外，在真实世界中普遍存在着包的标签已知而示例的标签未知的情况，例如，使用2D深度学习网络分析3D图像、分析药物分子功能等，这种情况会严重影响模型的推理性能。
为了解决上述问题，在本申请实施例中，获取目标物的多模态数据，并通过所述分类网络模型中的特征提取模块获取各模态数据的模态特征图；基于各模态特征图和所述分类网络模型中的特征融合模块，确定融合特征图；基于所述融合特征以及所述分类网络模型中的多示例结合模块，确定多实例融合特征；基于所述多实例融合特征、所述目标物对应的检查信息以及所述分类网络模型中的表格数据学习模块，确定所述目标物对应的分类类别。本申请将多模态数据和多示例相结合，能够有效地对多种模态的信息进行整合，并应用于真实数据，解决真实数据中子样本缺乏标签的情况，帮助任务取得更好的性能。
下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
本实施例提供了一种基于多模态和多示例学习分类方法，如图1和图2所示，所述方法包括：
S10、获取目标物的多模态数据，并通过所述分类网络模型中的特征提取模块获取各模态数据的模态特征图。
具体地，多模态数据包括若干模态数据，若干模态数据中的每个模态数据均为单模态数据，并且各模态数据对应的模态不同，例如，多模态数据包括图像数据、音频数据和文本数据等。在一个实现方式中，多模态数据包括单期相CT图像，如，动脉期图像和门脉期图像等。
特征提取模块用于获取各模态数据对应的模态特征图，其中，在通过特征提取模块获取各模态数据的模态特征图时，可以依次将各模态数据输入特征提取模型，通过特征提取模型依次获取各模态数据的模态特征图，也可以是，根据多模态数据包括的模态数据的第一数量，设置第一数量个并行的特征提取模块，将第一数量的模态数据并行输入第一数量的特征提取模块，通过第一数量的特征提取模块并行获取各模态数据的模态特征图。例如，如图2所示，多模态数据包括两个模态数据，通过两个并行特征提取模块同步确定两个模态数据的模态特征图，其中，各特征提取模块的模型结构相同。
在一个实现方式中，所述通过所述分类网络模型中的特征提取模块获取各模态数据的模态特征图具体包括：
分别将各模态数据输入所述分类网络模型中的特征提取模块；
通过所述特征提取模块获取各模态数据的模态特征图。
具体地，所述特征提取模块采用深度学习分割网络模型中的编码器，也就是说，特征提取模块为经过训练的深度学习分割网络模型中的编码器，其中，深度学习分割网络模型为基于U-Net架构构建分割网络。如图3所示，深度学习分割网络模型包括编码器和解码器，编码器用于提取深度学习分割网络模型的输入项的特征图，解码器用于接收输入项的特征图确定输入项中的目标区域的分割概率图。
如图3所述，编码器包括若干下采样单元和卷积单元，所述卷积单元包括若干依次级联的卷积子单元和卷积层，若干卷积子单元依次级联，位于最后的卷积子单元与卷积层相连接；所述下采样单元包括依次级联的卷积单元、加法器以及池化子单元，所述下采样单元中的卷积单元的输入项为所述加法器的输入项。其中，卷积子单元包括依次连接的卷积层、批归一化层和RELU层，池化子单元包括RELU层和最大池化层，池化子单元中的RELU层的输入项为加法器的输出项，RELU层的输出项为最大池化层的输入项。
如图3所示，解码器包括若干上采样单元、卷积单元以及卷积层，若干上采样单元与若干下采样单元一一对应，并且各上采样单元与其对应的下采样单元跳跃连接。上采样单元包括依次连接的上采样层、卷积子单元、连接层、卷积单元、加法器以及RELU层，其中，连接层与上采样单元对应的下采样单元相连接，加法器的输入项包括其连接的卷积单元的输入项和输出项。
在对分割网络模型中，经由分割模型编码器的特征提取和解码器的上采样操作，得到目标区域的分割概率图。此外，在对分割网络模型进行训练后，提取分割网络模型中的编码器，将提取到的编码器作为本实施例应用的分类网络模型中的特征提取模块。由此，本实施例中的特征提取模块的模型结构为如图3所示的编码器的结构相同。即所述特征提取模块包括若干下采样单元和卷积单元，所述卷积单元包括若干卷积块和卷积层，若干卷积块依次级联，卷积层与位于最后的卷积块相连接；所述下采样单元包括依次级联的卷积单元、加法器以及池化块，所述下采样单元中的卷积单元的输入项为所述加法器的输入项。
本实施例通过特征提取模块对模态数据中的特征大小进行缩小，增加特征维度，逐次学习到高维抽象的语义特征，并且特征提取模块为采用深度学习的分割网络模型的编码器，并且用于训练分割网络模型的训练数据与通过特征提取模块进行特征提取的多模态数据相匹配，例如，多模态塑胶为为动脉期图像和门脉期图像，分割网络模型对应的训练数据采用动脉期图像和门脉期图像，这样可以为多模态数据挖掘有效的语义信息。
S20、基于各模态特征图和所述分类网络模型中的特征融合模块，确定融合特征图。
具体地，特征融合模块用于确定各模态特征图对应的融合特征，其中，特征融合模块从图像位置、多模态数据的期相维度挖掘图像特征间的联系，并基于该联系将各模态特征图进行融合，得到融合特征。在一个实现方式中，特征融合模块可以采用Transformer编码器结构，通过Transformer编码器结构中的多头注意力层中的自注意力机制能在多个维度上挖掘所有输入特征块之间的联系，而在此过程中能学习到各特征块与不同期相信息、不同图像位置特征间的联系与互补性，随后经过全连接层进行特征整合并输出融合特征。
进一步，Transformer编码器结构可以将特征信息和位置信息进行融合，从而在确定融合特征图时，可以将各模态特征图划分为若干特征块，然后基于若干特征块和各特征块的位置嵌入来确定融合特征。基于此，所述基于各模态特征图和所述分类网络模型中的特征融合模块，确定融合特征图具体包括：
将各模态特征图划分为若干特征块，并获取每个特征块对应的位置嵌入；
对于每个特征块，将所述特征块转换为候选特征向量，并将所述候选特征向量与所述特征块对应嵌入进行拼接，以得到所述特征块对应的特征向量；
将各特征块对应的特征向量输入所述分类网络模型中的特征融合模块，通过所述特征融合模块输出所述目标物对应的融合特征。
具体地，模态特征图对应的特征块的图像尺寸相同，并且各模态特征图间的特征块的图像尺寸也相同。位置嵌入用于反应特征块在其对应的模态特征图中的位置信息，也就是说，特征块对应的特征向量携带有特征信息和位置信息，其中，特征信息为所述候选特征向量所携带的信息，位置信息为位置嵌入所携带的信息。此外，在将所述候选特征向量与所述特征块对应嵌入进行拼接时，可以按照候选特征向量-位置嵌入的顺序拼接，也可以是按照位置嵌入-候选特征向量的顺序拼接。在本实施例中，将候选特征向量和位置嵌入按照候选特征向量-位置嵌入的顺序拼接，得到特征向量。
在一个实现方式中，如图4所述，所述特征融合模块可以采用Transformer编码器，通过Transformer编码器对各特征向量中的特征信息和位置信息进行学习，其中，Transformer编码器设置有多头注意力层，多头注意力层通过自注意力机制能在多个维度上挖掘所有输入特征块之间的联系，从而可以学习到各特征块与不同期相信息、不同图像位置特征间的联系与互补性。
S30、基于所述融合特征以及所述分类网络模型中的多示例结合模块，确定多实例融合特征。
具体地，所述多示例结合模块用于提炼融合图像特征，挖掘多模态数据特征联系，例如，多模态数据包括多个单期相CT图，通过多示例结合模块挖掘病例不同图层间的特征联系，提高模型对患者的影像信息的表征。其中，多示例结合模块通过多示例学习得到，多示例学习是深度学习领域的一种学习框架，多示例学习的训练集由若干个带有训练标记的包构成，每个包是若干个未被赋予训练标记的示例的集合；若包中至少包含一个正例的示例，则该包被赋予正标记；反之，若干包中所包含的所有示例均为反例，则该包被标记为负。多示例学习利用包-示例关系和包-示例特征来识别单个示例的标签，能够有效解决真实数据中子样本缺乏标签的情况，帮助任务取得更高的性能。因此，本实施例通过多示例结合模块可以有效地对多种模态数据进行整合，并应用于真实数据集，帮助任务取得更好的性能。
在一个实现方式中，如图2所示，所述多示例结合模块包括聚类单元、注意力学习单元以及乘法器；所述基于所述融合特征以及所述分类网络模型中的多示例结合模块，确定多实例融合特征具体包括：
将所述述融合特征输入所述聚类单元，通过所述聚类单元对所述融合特征进行聚类，以得到聚类特征；
将所述聚类特征输入所述注意力学习单元，通过所述注意力学习单元确定注意力特征；
将所述聚类特征和所述注意力特征输入乘法器，通过所述乘法器确定多实例融合特征。
具体地，所述聚类单元使用K-Mean算法进行聚类对融合特征进行聚类，以得到若干特征类，其中，聚类特征包括若干特征向量，若干特征向量的数量与通过聚类单元对融合特征进行聚类所得的特征类的量相同，并且若干特征向量与若干特征类一一对应，每个特征向量包含于其对应的特征类中，例如，特征向量为其对应的特征类的聚类中心等。
S40、基于所述多实例融合特征、所述目标物对应的检查信息以及所述分类网络模型中的表格数据学习模块，确定所述目标物对应的分类类别。
具体地，所述分类类别用于反应目标物的所处类别，例如，目标物为肝部，分类类别可以肝细胞癌术后早期复发，或者是肝细胞癌术后早期未复发。其中，所述表格数据学习模块用于将表格数据与特征图数据进行结合，以得到目标物对应的分类类别，其中，特征图数据会被转换为表格形成，然后于表格数据进行联合作为表格数据学习模块的输入项。
在一个实现方式中，所述基于所述多实例融合特征、所述目标物对应的检查信息以及所述分类网络模型中的表格数据学习模块，确定所述目标物对应的分类类别具体包括：
将所述融合特征与所述检查信息进行拼接，得到拼接特征；
将所述拼接特征输入表格数据学习模块，通过所述表格数据学习模块确定所述目标物对应的分类类别。
具体地，检查信息以表格形成存储，即检查信息为表格数据，从而在将融合特征与所述检查信息进行拼接时，将融合特征转换为表格形式，然后再将转换后的融合特征与检查信息进行拼接得到拼接特征，其中，拼接特征为表格数据。
在一个实现方式中，如图2所示，所述表格数据学习模块包括第一特征分离单元、并排设置的若干第二特征分离单元、若干激活函数层以及分类单元；第一特征分离单元确定的分离特征为最前的第二特征分离单元的输入项；相邻两个第二特征分离单元中前一第二特征分离单元确定的分离特征为后一第二特征分离单元的输入项；若干第二特征分离与若干激活函数层一一对应，各第二特征分离确定的分离特征通过各自对应的激活函数层后依次叠加，叠加得到的特征向量为分类单元的输入项。其中，第一特征分离单元包括特征学习层和特征分离层，输入项通过批次归一化层后，输入特征学习层，通过特征学习层之后输入特征分离层；第二特征分离单元包括特征筛选层、特征学习层、特征分离层以及注意力学习层，特征筛选层、特征学习层、特征分离层依次连接，注意力学习层分别与前一第二特征分离单元中的特征分离层和该第二特征分离单元中的特征筛选层相连接，特征筛选层与批次归一化层相连接，其中，位于最前的第二特征分离单元中的注意力学习层与第一特征分离单元中的特征分离层相连接。分类单元包括全连接层，全连接层与批次归一化层相连接。此外，各第二特征分离确定的分离特征通过各自对应的激活函数层后通过加法器依次连接，可以理解的是，位于最前的第二特征分离单元对应的激活函数层的输出项与位于第二位的第二特征分离单元对应的激活函数层的输出项通过加法器叠加，得到得到的特征向量与位于第三位的第二特征分离单元对应的激活函数层的输出项通过加法器叠加，依次类推直至位于最后的第二特征分离单元。
在一个实现方式中，所示表格数据学习模块可以采用TabNet模型，如图5所示，BN层为批归一化层，特征transformer层(Feature transformer层)用于特征计算，Split层能为当前step筛选出特征并输入至Relu层，注意力transformer层(Attentive transformer层)则根据上一个step的筛选结果，为当前step输出Mask。TabNet网络结构可以直接使用原始的表格信息，使用端到端可训练方式实现特征挑选过程，并且这种特征挑选是实例化的，能对每个实例自适应地选择不同的特征；同时能在局部上解释当前的特征重要性，也能在全局上解释每个特征对预测结果的影响。
综上所述，本实施例提供了一种基于多模态和多示例学习分类方法、预测方法及相关装置，方法包括获取目标物的多模态数据，并通过所述分类网络模型中的特征提取模块获取各模态数据的模态特征图；基于各模态特征图和所述分类网络模型中的特征融合模块，确定融合特征图；基于所述融合特征以及所述分类网络模型中的多示例结合模块，确定多实例融合特征；基于所述多实例融合特征、所述目标物对应的检查信息以及所述分类网络模型中的表格数据学习模块，确定所述目标物对应的分类类别。本申请将多模态数据和多示例相结合，能够有效地对多种模态的信息进行整合，并应用于真实数据，解决真实数据中子样本缺乏标签的情况，帮助任务取得更好的性能。
经研究发现，肝细胞癌(hepatocellular carcinoma，HCC)是一种常见的恶性肿瘤，是全球排名第二的肿瘤致死病因，是我国第四常见的恶性肿瘤及位列第三的肿瘤致死病因。HCC死亡率高，异质性强，在全球范围内呈现显著性差异。由于影像监测手段的进步，现今针对HCC的预防、筛查和诊断治疗技术已得到重大进展，但其发病率和死亡率仍在持续上升，严重威胁我国人民的健康和生命，造成巨大的负担。临床上HCC的治疗采用射频消融、微波消融、冷冻消融、放射治疗、全身化疗、分子靶向治疗、肝移植和手术切除等治疗方式，尽可能地根除癌细胞，降低癌症复发率。相对于消融和化疗等手段，早期HCC的肝移植或外科切除手段所得的远期疗效更好。然而，近半数的早期HCC患者接受手术切除后仍然会出现复发情况，五年生存率小于30％。HCC的高复发率是制约疗效的最重要因素。若能在术前对HCC的肝内复发概率进行准确预测，能助于医生权衡规划手术与治疗方案，以追求患者术后的高生存质量与低肝内复发率，又或对预后不佳的患者采用姑息疗法，因此HCC的术后早期复发预测具有重要的临床意义。
HCC的高度异质性及其复杂的病因导致其预后比一般实体肿瘤更加复杂，这不仅与肿瘤的TNM分期有关，患者的肝功能、一般体力状态、肿瘤相关症状等情况亦对预后产生较大影响。目前多个国家和地区针对HCC的监测、诊断、治疗颁布了临床指南，根据不同的预后情况对HCC制定了分期系统，以指导治疗决策，然而所提出的指南对HCC预后预测的分组较为粗略，对中期及进展期HCC的预后预测较好，对早期HCC预后预测能力欠佳，无法做到对复发的精准预测。目前已有较多的研究试图探寻有效的HCC复发的预测因子，涉及的领域包括基因、蛋白、血清学标志物以及影像学特征等。微血管侵犯(microvascular invasion，MVI)已被证实为HCC术后早期复发和总生存率差的独立危险因素，然而MVI及HCC的病理分级只是影响HCC术后复发的因素之一，其他因素如肿瘤基因、肿瘤细胞功能、肝功能情况、肝纤维化程度等亦对HCC预后有较大影响。目前尚无广泛接受的预测方法，临床上对于肝内复发风险的判断，往往依赖于医生长期积累的对多种风险因素的经验判断，缺乏精确数据的指导。
医学影像学检查是HCC筛查、诊断、疗效监测及预后判断的重要手段。影像学图像所包含的信息可以反映病理、生理乃至基因组或蛋白组学的信息。对肿瘤大小、数量、边缘特征、卫星结节、肉眼可见血管侵犯等常用的复发相关指标可以在传统的影像学图像中准确测量与判断。医学成像技术在肝脏疾病的早期诊断和治疗中发挥了关键作用，其中，计算机断层扫描(computed tomography，CT)是HCC诊断与术前规划中常使用的医学影像技术。目前，基于医学影像的肝脏病变的诊断的工作主要由医生解读医学影像来完成。但是人的图像判读中的主观性、注意力分散和疲劳通常会导致诊断不确定性，影响HCC复发预测的准确性。
基于此，本实施例还提供了一种肝细胞癌术后早期复发预测方法，所述方法应用上述实施例所述的多模态和多示例学习分类方法，所述的预测方法具体包括：
获取多模态数据，其中，每个模态数据均包含有肝部图像；
通过所述多模态和多示例学习分类方法，预测多模态数据对应的复发类别。
具体地，所述多模态数据为肝肿瘤患者的多模态数据，其中，多模态数据可以包括多个单期相CT图像，多个单期相CT图像的期相互不相同，例如，多模态数据包括动脉期图像和门脉期图像。在获取到多模态数据后，通过所述多模态和多示例学习分类方法预测多模态数据对应的复发类别，其中，所述复发类别包括复发和未复发。此外，在通过所述多模态和多示例学习分类方法进行预测时，多模态数据对应的检查信息为多模态数据对应的患者的临床检查信息，并且所述多模态和多示例学习分类方法应用的分类网络模型为基于若干CT图像组训练得到，其中，若干CT图像组中的每个CT图像组均包括多个单期相CT图像，并且每个图像组包括的单期相CT图像的期相类别以及数量均相同。
此外，在基于若干CT图像组训练分类网络模型时，由于扫描参数等因素，CT图像的原始分辨率并不统一，避免分辨率不一带来的影响，所有数据需要先进行重采样处理，保证重采样后的图像具有相同的分辨率。本研究中大部分数据的分辨率为0.68×0.68×1mm3，因此我们选择将所有数据重采样至0.68×0.68×1mm3的分辨率。(2)为了更加关注患者的病灶信息，除了使用ROI三维立体框进行图像裁剪以排除背景信息，我们也做了窗宽窗位的调整。窗宽窗位调整能通过关注肝脏区域的CT值，以排除其他器官信息的影响。(3)对图像CT值进行归一化处理，避免过大数量级的CT值，方便后续深度学习模型的训练。(4)由于每个患者的病灶区域各不相同，ROI裁剪后的图像大小不一，我们对裁剪后的每层图像周围进行了补零操作，使得调整后的图像矩阵大小统一至256×256，方便后续实验操作。
进一步，所述分类网络模型的训练过程中，每一次前向传播过程分为两个阶段，其中，第一阶段为对多特征融合模块和表格数据学习模进行参数学习；第二阶段为输入同个患者的不同图像，仅针对多示例结合模块进行参数学习。此外，为了处理每个患者图像数据不一的情况，通过聚类再随机抽取的方式，在满足训练阶段张量固定大小和显存的限制的同时，也尽可能纳入不同表现的特征。具体来讲，首先对每个患者的所有图像示例的特征使用K-Mean算法进行聚类，随后从每类结果中随机采取相同的示例，将挑选的图像示例作为一个批次，再重新输入至网络。一个批次的图像经过图像特征提取以及多期相特征融合后，将输入至多示例结合模块完成整合。使用基于注意力机制的模块对每个示例的特征进行注意力学习，经过Softmax计算得到各个特征的权重，将图像特征矩阵和权重矩阵进行矩阵相乘得到整合后的图像特征。随后将完成整合的图像特征与临床检查信息拼接后输入至表格数据学习模块，输出预测结果。
基于上述基于多模态和多示例学习分类方法，本实施例提供了一种基于多模态和多示例学习分类系统，如图6所示，所述系统包括：
特征提取模块100，用于获取目标物的多模态数据，并获取各模态数据的模态特征图；
特征融合模块200，用于基于各模态特征图确定融合特征图；
多示例结合模块300，用于基于所述融合特征确定多实例融合特征；
表格数据学习模块400，用于基于所述多实例融合特征及所述目标物对应的检查信息，确定所述目标物对应的分类类别。
本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的基于多模态和多示例学习分类方法中的步骤，和/或以实现上述实施例所述的肝细胞癌术后早期复发预测方法中的步骤。
基于上述基于多模态和多示例学习分类方法，本申请还提供了一种终端设备，如图7所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例所述的基于多模态和多示例学习分类方法，和/或以执行上述实施例所述的肝细胞癌术后早期复发预测方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (9)
1.一种基于多模态和多示例学习分类方法，其特征在于，应用分类网络模型，所述方法包括：
获取目标物的多模态数据，并通过所述分类网络模型中的特征提取模块获取各模态数据的模态特征图，其中，所述目标物为医疗领域目标；
基于各模态特征图和所述分类网络模型中的特征融合模块，确定融合特征图；
基于所述融合特征以及所述分类网络模型中的多示例结合模块，确定多示例融合特征；
基于所述多示例融合特征、所述目标物对应的检查信息以及所述分类网络模型中的表格数据学习模块，确定所述目标物对应的分类类别；其中，所述检查信息为医疗领域目标通过检查手段得到的数据信息，表格数据学习模块用于将表格数据与特征图数据进行结合，得到目标物对应的分类类别；
其中，所述多示例结合模块包括聚类单元、注意力学习单元以及乘法器；所述基于所述融合特征以及所述分类网络模型中的多示例结合模块，确定多示例融合特征具体包括：
将所述述融合特征输入所述聚类单元，通过所述聚类单元对所述融合特征进行聚类，以得到聚类特征；
将所述聚类特征输入所述注意力学习单元，通过所述注意力学习单元确定注意力特征；
将所述聚类特征和所述注意力特征输入乘法器，通过所述乘法器确定多示例融合特征。
2.根据权利要求1所述基于多模态和多示例学习分类方法，其特征在于，所述通过所述分类网络模型中的特征提取模块获取各模态数据的模态特征图具体包括：
分别将各模态数据输入所述分类网络模型中的特征提取模块；
通过所述特征提取模块获取各模态数据的模态特征图，其中，所述特征提取模块采用深度学习分割网络模型中的编码器。
3.根据权利要求2所述基于多模态和多示例学习分类方法，其特征在于，所述特征提取模块包括若干下采样单元和卷积单元，所述卷积单元包括若干卷积子单元和卷积层，若干卷积子单元依次级联，卷积层与位于最后的卷积子单元相连接；所述下采样单元包括依次级联的卷积单元、加法器以及池化子单元，所述下采样单元中的卷积单元的输入项为所述加法器的输入项。
4.根据权利要求1所述基于多模态和多示例学习分类方法，其特征在于，所述基于各模态特征图和所述分类网络模型中的特征融合模块，确定融合特征图具体包括：
将各模态特征图划分为若干特征块，并获取每个特征块对应的位置嵌入；
对于每个特征块，将所述特征块转换为候选特征向量，并将所述候选特征向量与所述特征块对应嵌入进行拼接，以得到所述特征块对应的特征向量；
将各特征块对应的特征向量输入所述分类网络模型中的特征融合模块，通过所述特征融合模块输出所述目标物对应的融合特征。
5.根据权利要求1所述基于多模态和多示例学习分类方法，其特征在于，所述基于所述多示例融合特征、所述目标物对应的检查信息以及所述分类网络模型中的表格数据学习模块，确定所述目标物对应的分类类别具体包括：
将所述融合特征与所述检查信息进行拼接，得到拼接特征；
将所述拼接特征输入表格数据学习模块，通过所述表格数据学习模块确定所述目标物对应的分类类别，其中，所述表格数据学习模块包括第一特征分离单元、并排设置的若干第二特征分离单元、若干激活函数层以及分类单元；第一特征分离单元确定的分离特征为最前的第二特征分离单元的输入项；相邻两个第二特征分离单元中前一第二特征分离单元确定的分离特征为后一第二特征分离单元的输入项；若干第二特征分离与若干激活函数层一一对应，各第二特征分离确定的分离特征通过各自对应的激活函数层后依次叠加，叠加得到的特征向量为分类单元的输入项。
6.一种肝细胞癌术后早期复发预测方法，其特征在于，所述方法应用如权利要求1-5任意一项所述的多模态和多示例学习分类方法，所述的预测方法具体包括：
获取多模态数据，其中，每个模态数据均包含有肝部图像；
通过所述多模态和多示例学习分类方法，预测多模态数据对应的复发类别。
7.一种基于多模态和多示例学习分类系统，其特征在于，所述系统包括：
特征提取模块，用于获取目标物的多模态数据，并获取各模态数据的模态特征图，其中，所述目标物为医疗领域目标；
特征融合模块，用于基于各模态特征图确定融合特征图；
多示例结合模块，用于基于所述融合特征确定多示例融合特征；
表格数据学习模块，用于基于所述多示例融合特征及所述目标物对应的检查信息，确定所述目标物对应的分类类别，其中，所述检查信息为医疗领域目标通过检查手段得到的数据信息，表格数据学习模块用于将表格数据与特征图数据进行结合，得到目标物对应的分类类别；
其中，所述多示例结合模块包括聚类单元、注意力学习单元以及乘法器；基于所述融合特征以及所述多示例结合模块，确定多示例融合特征具体包括：
将所述述融合特征输入所述聚类单元，通过所述聚类单元对所述融合特征进行聚类，以得到聚类特征；
将所述聚类特征输入所述注意力学习单元，通过所述注意力学习单元确定注意力特征；
将所述聚类特征和所述注意力特征输入乘法器，通过所述乘法器确定多示例融合特征。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-5任意一项所述的基于多模态和多示例学习分类方法中的步骤，和/或以实现如权利要求6所述的肝细胞癌术后早期复发预测方法中的步骤。
9.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-5任意一项所述的基于多模态和多示例学习分类方法中的步骤，和/或实现如权利要求6所述的肝细胞癌术后早期复发预测方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310033869.5A CN115984622B (zh) | 2023-01-10 | 2023-01-10 | 基于多模态和多示例学习分类方法、预测方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310033869.5A CN115984622B (zh) | 2023-01-10 | 2023-01-10 | 基于多模态和多示例学习分类方法、预测方法及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115984622A CN115984622A (zh) | 2023-04-18 |
| CN115984622B true CN115984622B (zh) | 2023-12-29 |
Family
ID=85970115
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310033869.5A Active CN115984622B (zh) | 2023-01-10 | 2023-01-10 | 基于多模态和多示例学习分类方法、预测方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115984622B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116936091A (zh) * | 2023-06-09 | 2023-10-24 | 上海全景医学影像诊断中心有限公司 | 一种肝细胞癌微血管侵犯预测方法及模型 |
| CN116485792B (zh) * | 2023-06-16 | 2023-09-15 | 中南大学 | 组织病理学亚型预测方法及成像方法 |
| CN117056863B (zh) * | 2023-10-10 | 2023-12-26 | 湖南承希科技有限公司 | 一种基于多模态数据融合的大数据处理方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020014477A1 (en) * | 2018-07-11 | 2020-01-16 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for image analysis with deep learning to predict breast cancer classes |
| WO2021022752A1 (zh) * | 2019-08-07 | 2021-02-11 | 深圳先进技术研究院 | 一种多模态三维医学影像融合方法、系统及电子设备 |
| CN112651450A (zh) * | 2020-12-30 | 2021-04-13 | 哈尔滨工程大学 | 一种基于多示例深度学习的医学图像分类方法 |
| CN112837753A (zh) * | 2021-02-07 | 2021-05-25 | 中国科学院新疆理化技术研究所 | 一种基于多模态堆叠自动编码机的microRNA-疾病关联预测方法 |
| CN113705595A (zh) * | 2021-03-04 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 异常细胞转移程度的预测方法、装置和存储介质 |
| CN113947607A (zh) * | 2021-09-29 | 2022-01-18 | 电子科技大学 | 一种基于深度学习的癌症病理图像生存预后模型构建方法 |
| WO2022063200A1 (zh) * | 2020-09-24 | 2022-03-31 | 上海健康医学院 | 用于非小细胞肺癌预后生存预测的方法、介质及电子设备 |
| CN114388064A (zh) * | 2021-12-15 | 2022-04-22 | 深圳先进技术研究院 | 用于蛋白质表征学习的多模态信息融合方法、系统、终端及存储介质 |
| CN114783604A (zh) * | 2022-04-21 | 2022-07-22 | 华南理工大学 | 一种乳腺癌前哨淋巴结转移的预测方法、系统及存储介质 |
-
2023
- 2023-01-10 CN CN202310033869.5A patent/CN115984622B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020014477A1 (en) * | 2018-07-11 | 2020-01-16 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for image analysis with deep learning to predict breast cancer classes |
| WO2021022752A1 (zh) * | 2019-08-07 | 2021-02-11 | 深圳先进技术研究院 | 一种多模态三维医学影像融合方法、系统及电子设备 |
| WO2022063200A1 (zh) * | 2020-09-24 | 2022-03-31 | 上海健康医学院 | 用于非小细胞肺癌预后生存预测的方法、介质及电子设备 |
| CN112651450A (zh) * | 2020-12-30 | 2021-04-13 | 哈尔滨工程大学 | 一种基于多示例深度学习的医学图像分类方法 |
| CN112837753A (zh) * | 2021-02-07 | 2021-05-25 | 中国科学院新疆理化技术研究所 | 一种基于多模态堆叠自动编码机的microRNA-疾病关联预测方法 |
| CN113705595A (zh) * | 2021-03-04 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 异常细胞转移程度的预测方法、装置和存储介质 |
| CN113947607A (zh) * | 2021-09-29 | 2022-01-18 | 电子科技大学 | 一种基于深度学习的癌症病理图像生存预后模型构建方法 |
| CN114388064A (zh) * | 2021-12-15 | 2022-04-22 | 深圳先进技术研究院 | 用于蛋白质表征学习的多模态信息融合方法、系统、终端及存储介质 |
| CN114783604A (zh) * | 2022-04-21 | 2022-07-22 | 华南理工大学 | 一种乳腺癌前哨淋巴结转移的预测方法、系统及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| A Survey on Deep Learning Approaches to Medical Images and a Systematic Look up into Real-Time Object Detection;Amrita Kaur 等;Archives of Computational Methods in Engineering;1-42 * |
| 人工智能在病理诊断领域的进展;余净纯 等;分子影像学杂志;779-789 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115984622A (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115984622B (zh) | 基于多模态和多示例学习分类方法、预测方法及相关装置 | |
| Yin et al. | U-Net-Based medical image segmentation | |
| Tang et al. | High-resolution 3D abdominal segmentation with random patch network fusion | |
| He et al. | Large-scale prediction of protein ubiquitination sites using a multimodal deep architecture | |
| CN112561869B (zh) | 一种胰腺神经内分泌肿瘤术后复发风险预测方法 | |
| Ates et al. | Dual cross-attention for medical image segmentation | |
| CN112819819A (zh) | 基于深度学习的尘肺分级方法、装置、介质及设备 | |
| Zhang et al. | CdcSegNet: automatic COVID-19 infection segmentation from CT images | |
| CN110363776B (zh) | 图像处理方法及电子设备 | |
| CN111192320A (zh) | 一种位置信息确定方法、装置、设备和存储介质 | |
| Min et al. | Computer-aided detection of pulmonary nodules based on convolutional neural networks: a review | |
| Ann et al. | Multi-scale conditional generative adversarial network for small-sized lung nodules using class activation region influence maximization | |
| Christie et al. | Predicting recurrence risks in lung cancer patients using multimodal radiomics and random survival forests | |
| CN113705595A (zh) | 异常细胞转移程度的预测方法、装置和存储介质 | |
| Jiang et al. | Max-fusion u-net for multi-modal pathology segmentation with attention and dynamic resampling | |
| Pang et al. | Correlation matters: multi-scale fine-grained contextual information extraction for hepatic tumor segmentation | |
| CN115731240A (zh) | 一种分割方法、装置、电子设备及存储介质 | |
| Gai et al. | GL-Segnet: Global-Local representation learning net for medical image segmentation | |
| Aboussaleh et al. | 3DUV-NetR+: A 3D hybrid Semantic Architecture using Transformers for Brain Tumor Segmentation with MultiModal MR Images | |
| Waseem Sabir et al. | FibroVit—Vision transformer-based framework for detection and classification of pulmonary fibrosis from chest CT images | |
| CN116630628B (zh) | 一种主动脉瓣钙化分割方法、系统、设备及存储介质 | |
| Nguyen et al. | PolyPooling: An accurate polyp segmentation from colonoscopy images | |
| Wu et al. | Machine (Deep) Learning for Orthodontic CAD/CAM Technologies | |
| Ma et al. | TiCNet: Transformer in Convolutional Neural Network for Pulmonary Nodule Detection on CT Images | |
| Müller | Frameworks in medical image analysis with deep neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |