CN110298383B - 基于多模态深度学习的病理分类方法及系统 - Google Patents

基于多模态深度学习的病理分类方法及系统 Download PDF

Info

Publication number
CN110298383B
CN110298383B CN201910452839.1A CN201910452839A CN110298383B CN 110298383 B CN110298383 B CN 110298383B CN 201910452839 A CN201910452839 A CN 201910452839A CN 110298383 B CN110298383 B CN 110298383B
Authority
CN
China
Prior art keywords
feature
medical record
vector
electronic medical
vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910452839.1A
Other languages
English (en)
Other versions
CN110298383A (zh
Inventor
张法
颜锐
谭光明
任菲
刘志勇
刘玉东
张云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tengmao Shengda Technology Co ltd
Institute of Computing Technology of CAS
Original Assignee
Beijing Tengmao Shengda Technology Co ltd
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tengmao Shengda Technology Co ltd, Institute of Computing Technology of CAS filed Critical Beijing Tengmao Shengda Technology Co ltd
Priority to CN201910452839.1A priority Critical patent/CN110298383B/zh
Publication of CN110298383A publication Critical patent/CN110298383A/zh
Application granted granted Critical
Publication of CN110298383B publication Critical patent/CN110298383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Primary Health Care (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提出一种基于多模态深度学习的病理分类方法及系统，包括：从电子病历中提取出预先选择的属性作为结构化数据的特征表示向量，将特征表示向量平均扩增后再按照预设比例随机丢弃，丢弃的部分被替换为数字0，作为电子病历中结构化数据的病历特征向量；获取与电子病历对应的组织病理学图像，将卷积神经网络的各卷积层的特征图进行全局平均池化后拼接成一维向量，作为组织病理学图像的一种丰富的图像特征向量；将图像特征向量和病历特征向量拼接在一起，得到多模态融合向量，然后将多模态融合向量输入至全连接层，得到二值化的病理分类结果。本发明解决了单模态的特征表示来进行病理良恶性分类的准确率不高的技术问题。

Description

基于多模态深度学习的病理分类方法及系统
技术领域
本发明涉及计算机技术中的计算机视觉和图像处理领域，特别是涉及一种基于多模态深度学习的病理分类方法及系统。
背景技术
癌症是一个重要的世界范围内的公共健康问题。在所有的癌症类型中，乳腺癌是女性第二大常见癌症。此外，与其他类型的癌症相比，乳腺癌的死亡率非常高。虽然医学科学飞速发展，但是病理图像分析仍然是乳腺癌诊断中应用最广泛的方法。然而，组织病理学图像的复杂性和工作量的急剧增加使得这项任务非常耗时，而且其结果易受到病理学家的主观性的影响。面对这一难题，发展准确的乳腺癌自动诊断方法是这一领域非常迫切需求。
近年来，深度学习方法在计算机视觉和图像处理领域取得了长足的进步和显著的成绩。这也启发了许多专家将该技术应用于病理图像分析。尽管如此，仅凭单模态的病理图像数据对乳腺癌进行良恶性分类的准确性并不能满足临床实践的需要。
虽然仅利用病理图像无法获得较高的分类准确度，但是病理图像提供了一个丰富的环境和EMR中结构化数据的融合，使得新的信息可以被获取和量化。尤其是原始病理图像是高维度的信息，它的获取需要更少的人力，但它包含了大量潜在的未被发现的信息。临床医生从电子病历(EMR)中提取的结构化的临床信息的特征维度较低，但是，这些临床信息为诊断提供了更多的指导。
发明内容
针对上述现有技术的不足，本发明提出了一种基于多模态深度学习的乳腺癌分类方法，解决了现有技术中根据单模态的特征表示来进行乳腺癌良恶性分类的准确率不高的技术问题。
针对现有技术的不足，本发明提出一种基于多模态深度学习的病理分类方法，其中包括：
步骤1、从电子病历中提取出预先选择的属性作为结构化数据的特征表示向量，将该特征表示向量平均扩增后再按照预设比例随机丢弃，丢弃的部分被替换为数字0，作为电子病历中结构化数据的病历特征向量；
步骤2、获取与该电子病历对应的组织病理学图像，将卷积神经网络的各卷积层的特征图进行全局平均池化后拼接成一维向量，作为该组织病理学图像的一种丰富的图像特征向量；
步骤3、将该图像特征向量和该病历特征向量拼接在一起，得到多模态融合向量，然后将该多模态融合向量输入至全连接层，得到二值化的病理分类结果。
所述的基于多模态深度学习的病理分类方法，其中该步骤1包括：从该电子病历中提取出29个在医学理论上与乳腺癌的诊断密切相关的属性组成特征向量，再把从临床电子病历中提取的29维向量平均扩增一预设比例，然后按照一预设百分比随机丢弃，丢弃的部分被替换为数字0。
所述的基于多模态深度学习的病理分类方法，其中该步骤2包括：利用卷积神经网络的第三、第四和第五层卷积层，提取得到第三、第四和第五卷积层的特征图，然后使用全局平均池化操作将第三、第四和第五卷积层的特征图进行压缩后，拼接成该组织病理图像的特征表示向量。
所述的基于多模态深度学习的病理分类方法，其中步骤3中该全连接层为三个完整的连接层，分别有500,100和2个节点。
本发明还提出了一种基于多模态深度学习的病理分类系统，其中包括：
模块1、从电子病历中提取出预先选择的属性作为结构化数据的特征表示向量，将该特征表示向量平均扩增后再按照预设比例随机丢弃，丢弃的部分被替换为数字0，作为电子病历中结构化数据的病历特征向量；
模块2、获取与该电子病历对应的组织病理学图像，将卷积神经网络的各卷积层的特征图进行全局平均池化后拼接成一维向量，作为该组织病理学图像的一种丰富的图像特征向量；
模块3、将该图像特征向量和该病历特征向量拼接在一起，得到多模态融合向量，然后将该多模态融合向量输入至全连接层，得到二值化的病理分类结果。
所述的基于多模态深度学习的病理分类系统，其中该模块1包括：从该电子病历中提取出29个在医学理论上与乳腺癌的诊断密切相关的属性组成特征向量，再把从临床电子病历中提取的29维向量平均扩增一预设比例，然后按照一预设百分比随机丢弃，丢弃的部分被替换为数字0。
所述的基于多模态深度学习的病理分类系统，其中该模块2包括：利用卷积神经网络的第三、第四和第五层卷积层，提取得到第三、第四和第五卷积层的特征图，然后使用全局平均池化操作将第三、第四和第五卷积层的特征图进行压缩后，拼接成该组织病理图像的特征表示向量。
所述的基于多模态深度学习的病理分类系统，其中模块3中该全连接层为三个完整的连接层，分别有500,100和2个节点。
本发明还提出了一种存储介质，用于存储执行所述基于多模态深度学习的病理分类方法的程序。
与现有技术相比，本发明具有以下的有益效果：
(1)首次集成多模态数据来诊断乳腺癌，而且基于深度学习的多模态融合方法的准确率显著优于仅使用任何单一模态信息的方法；
(2)为了使病理图像与EMR中结构化数据更加充分地融合，本发明提出了一种从多个卷积层中提取病理图像的更加丰富的特征表示的方法，可以保留更加完整的图像信息，特别是在高层卷积中损失的局部纹理和细节信息；
(3)为了在数据融合前不丢失各个模态的信息，本发明采用了一种低维数据扩增的方法，而不是数据融合前就将高维数据压缩为低维数据。这样，在信息融合之前的每一个模态都有足够的信息，这为更加充分的信息融合提供了前提；
(4)提出了一种在模型的训练过程中随机丢弃结构化数据的策略。该策略使得模型对EMR中缺少部分结构化数据的情况具有更好的泛化能力，同时，也降低了整个模型的过拟合的风险。
附图说明
图1为实施数据融合的结构示意图；
图2为多模态数据融合的方法细节示意图；
图3为使用的病理图片数据集的描述示意图。
具体实施方式
本申请提出一种数据融合的方法来模拟病理诊断任务。从多模态数据融合的角度，尝试将电子病历EMR中的病理图像与结构化数据相结合，进一步提高乳腺癌诊断的准确性。这也符合病理学家阅读病理图像进行诊断时的实际情况。病理学家在阅读病理图像时，会反复的参考患者EMR中的相关临床结构化信息，以此作为先验，直至做出最后的诊断。其中，通过与病理学家的讨论和查阅乳腺癌相关的医学文献，从临床电子病历中提取出29个具有代表性的属性。这些属性在医学理论上与乳腺癌的诊断密切相关，而且，这29个属性都是常规的临床指标，可以从现有的医院信息系统的数据库中直接取得。
目前为止，几乎没有使用多模态数据对乳腺癌进行分类的方法，但是多模态融合方法在医学的其他领域，例如文本、影像等领域已取得良好效果。虽然他们的融合方法比传统的方法取得了更好的效果,但是它仍然有一些问题,如图像的特征表示不够丰富、信息融合的不够充分、尤其是在信息融合前就损失了高维的信息，和实际场景中经常遇到的部分缺失数据的问题。
本发明提出了如下的技术方案：一种基于多模态数据融合的乳腺癌分类方法，包括：
步骤1：首先进行了数据增强。除了将整幅图的大小调整到224*224像素，还随机从2048*1536的原始图像中提取了40、20、10和5个大小分别为224*224、512*512、1024*1024和1536*1536的图片块。同时，我们也对图像进行了常规的数据增强，如随机翻转、旋转、亮度等；
步骤2：在结构化数据方面，通过与病理学家的讨论和查阅乳腺癌相关的医学文献，从临床电子病历中提取由29个具有代表性的特征组成的特征向量，这些特征在医学理论上与乳腺癌的诊断密切相关；
步骤3：在病理图像方面，从VGG16卷积神经网络中提取第三、第四、第五卷积层，然后将它们全局平均池化后拼接成一个1280维的向量作为病理图片的更丰富的特征表示；
步骤4：先把从临床电子病历中提取的29维向量平均扩增了20次(29D*20)，然后按照一定的百分比(20％)随机丢弃，丢弃的部分被替换为数字0；
步骤5：最后，将从结构化数据中提取的29D*20维向量与病理图像中提取的1280D维向量拼接在一起，形成一个1860D的向量。然后这个1860D的向量经过接下来的三个全连接层，得到良性和恶性乳腺癌之间的分类结果。三个完整的连接层分别有500,100和2个节点。
为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。需要注意的是，本申请的处理对象为病理学图像和结构化的电子病历，而非以有生命的人体为直接实施对象，且本申请还可用于医疗教学领域。本发明的病理分类不限于肿瘤良恶性的分类，下文仅以乳腺癌的良恶性分类进行说明。
步骤1：首先进行了数据增强。除了将整幅图的大小调整到224*224像素，我们还随机从2048*1536的原始图像中提取了40、20、10和5个大小分别为224*224、512*512、1024*1024和1536*1536的图像块patch。同时，我们也对图像进行了常规的数据增强，如随机翻转、旋转、亮度等。最后，我们有(40+20+10+5)*3764*9，即2540700对训练样本。这里需要指出的是，EMR中的一条结构化数据通常对应多张病理图像。因此，在训练阶段以病理图像的数量为基准，将每张病理图像和其配对的结构化数据一起送入网络进行训练。最新的研究指出卷积神经网络结构对病理图像的细微的颜色变化是鲁棒的，因此颜色归一化对于获得好的效果并不是必须的。因此，与目前大多数深度学习方法在病理图像中的应用不同，我们没有对图像进行归一化预处理。
步骤2：通过与病理学家的讨论和查阅乳腺癌相关的医学文献，我们从临床电子病历中挑选出与乳腺癌诊断密切相关的29个代表性的特征，以此作为结构化数据来表示患者的临床病情描述。具体地说,这些29特性包括年龄、性别、病程类型、胸肌粘连、个人肿瘤史、家族肿瘤史、前期治疗、新辅助化疗、酒窝症、橘皮症、皮肤红肿、皮肤破溃、有无肿块、乳房变形、乳头改变、乳头溢液、腋窝淋巴结肿大、锁骨上淋巴结肿大、肿瘤部位、肿瘤数目、肿瘤大小、肿瘤质地、肿瘤边界、表面是否光滑、肿瘤形态、活动度、包膜、压痛、皮肤粘连及诊断。根据实际情况，将数据量化为具体数值。患者的病历号是电子病历和病理图像的唯一标识符。具体的特征的描述如表1所示。
表1临床电子病历中提取的29个特征作为结构化信息：
Figure BDA0002075654750000051
Figure BDA0002075654750000061
步骤3：接下来我们使用多卷积层融合的方法提取病理图片的特征表示。由于病理图像中的对象具有不同的尺度和较高的复杂性，学习丰富的层次表示对于多模态数据的融合至关重要。此外，随着卷积层数的增加，卷积神经网络提取的卷积特征逐渐变的粗糙。受这些观测结果的启发，本申请尝试在融合任务中使用更丰富的卷积特性。与从VGG16网络结构最后的完全连接层提取的特征相比，更丰富的卷积特性提供了更丰富的特征表示。因为多层卷积层保留了更加完整的信息，比如被高层丢失的局部纹理和细节信息。
提取VGG16网络的第三、第四和第五特征图，然后使用全局平均池化操作将原来的56*56*256、28*28*512和14*14*512压缩成1*256、1*512和1*512。最后将这三个向量拼接成一个1280*(512+512+256)维向量，作为病理图像更丰富的特征表示。具体的融合过程如图2所示。
步骤4：在医院的实际应用场景中，丢失的数据不仅是单一模式的完全丢失，而且是单一模式下一小部分数据的丢失。因此，有必要针对更细粒度的数据丢失情况提出新的方法。为了提高数据融合的有效性和方法的泛化能力。我们提出在训练中随机“丢弃”部分结构化数据。该策略使得我们的方法能够在缺少部分结构化数据的情况下进行准确预测。此策略对于模型的鲁棒性非常有效。具体地说，将丢弃率定义为在整个网络训练阶段删除部分结构化数据的概率。实验结果表明，针对部分缺失数据的训练方法不仅可以减轻缺失数据的影响，而且会给整个算法模型带来降低过拟合风险的“副作用”。
步骤5：在提取出病理图像的丰富的特征表示后，可以将不同模式的数据进行融合。与病理图像的1280维的特征表示相比，EMR中提取的代表性特征只有29个，即一个29维向量。如果我们直接把它们拼接，29维的向量会完全被1280维的向量淹没。以前的方法是将高维图像数据的特征表示先降维，然后再和低维的数据融合。然而，这样的方法在不同模式融合之前就产生了大量的信息丢失，使得信息融合不充分。
相反，将低维向量按一定比例扩增，这样它就与高维数据具有相同大小的数量级。特别是在重复10次、15次、20次、25次、30次的情况下进行实验，我们发现，将一个29维的向量复制20次，效果最好。然后将病理图像中提取的1280维向量与之拼接，形成1860维向量。然后这个1860维的向量经过接下来的三个完整的连接层，得到良性和恶性乳腺癌的分类结果。其中，三个完整的全连接层分别有500,100和2个节点。
以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。
本发明还提出了一种基于多模态深度学习的病理分类系统，其中包括：
模块1、从电子病历中提取出预先选择的属性作为结构化数据的特征表示向量，将该特征表示向量平均扩增后再按照预设比例随机丢弃，丢弃的部分被替换为数字0，作为电子病历中结构化数据的病历特征向量；
模块2、获取与该电子病历对应的组织病理学图像，将卷积神经网络的各卷积层的特征图进行全局平均池化后拼接成一维向量，作为该组织病理学图像的一种丰富的图像特征向量；
模块3、将该图像特征向量和该病历特征向量拼接在一起，得到多模态融合向量，然后将该多模态融合向量输入至全连接层，得到二值化的病理分类结果。
所述的基于多模态深度学习的病理分类系统，其中该模块1包括：从该电子病历中提取出29个在医学理论上与乳腺癌的诊断密切相关的属性组成特征向量，再把从临床电子病历中提取的29维向量平均扩增一预设比例，然后按照一预设百分比随机丢弃，丢弃的部分被替换为数字0。
所述的基于多模态深度学习的病理分类系统，其中该模块2包括：利用卷积神经网络的第三、第四和第五层卷积层，提取得到第三、第四和第五卷积层的特征图，然后使用全局平均池化操作将第三、第四和第五卷积层的特征图进行压缩后，拼接成该组织病理图像的特征表示向量。
所述的基于多模态深度学习的病理分类系统，其中模块3中该全连接层为三个完整的连接层，分别有500,100和2个节点。

Claims (8)

1.一种基于多模态深度学习的病理分类方法，其特征在于，包括：
步骤1、从电子病历中提取出预先选择的属性作为结构化数据的特征表示向量，将该特征表示向量平均扩增后再按照预设比例随机丢弃，丢弃的部分被替换为数字0，作为电子病历中结构化数据的病历特征向量；
步骤2、获取与该电子病历对应的组织病理学图像，将卷积神经网络的各卷积层的特征图进行全局平均池化后拼接成一维向量，作为该组织病理学图像的一种丰富的图像特征向量；
步骤3、将该图像特征向量和该病历特征向量拼接在一起，得到多模态融合向量，然后将该多模态融合向量输入至全连接层，得到二值化的病理分类结果。
2.如权利要求1所述的基于多模态深度学习的病理分类方法，其特征在于，该步骤1包括：从该电子病历中提取出29个在医学理论上与乳腺癌的诊断密切相关的属性组成特征向量，再把从临床电子病历中提取的29维向量平均扩增一预设比例，然后按照一预设百分比随机丢弃，丢弃的部分被替换为数字0。
3.如权利要求1所述的基于多模态深度学习的病理分类方法，其特征在于，该步骤2包括：利用卷积神经网络的第三、第四和第五层卷积层，提取得到第三、第四和第五卷积层的特征图，然后使用全局平均池化操作将第三、第四和第五卷积层的特征图进行压缩后，拼接成该组织病理学图像的特征表示向量。
4.如权利要求1所述的基于多模态深度学习的病理分类方法，其特征在于，步骤3中该全连接层为三个完整的连接层，分别有500,100和2个节点。
5.一种基于多模态深度学习的病理分类系统，其特征在于，包括：
模块1、从电子病历中提取出预先选择的属性作为结构化数据的特征表示向量，将该特征表示向量平均扩增后再按照预设比例随机丢弃，丢弃的部分被替换为数字0，作为电子病历中结构化数据的病历特征向量；
模块2、获取与该电子病历对应的组织病理学图像，将卷积神经网络的各卷积层的特征图进行全局平均池化后拼接成一维向量，作为该组织病理学图像的一种丰富的图像特征向量；
模块3、将该图像特征向量和该病历特征向量拼接在一起，得到多模态融合向量，然后将该多模态融合向量输入至全连接层，得到二值化的病理分类结果。
6.如权利要求5所述的基于多模态深度学习的病理分类系统，其特征在于，该模块1包括：从该电子病历中提取出29个在医学理论上与乳腺癌的诊断密切相关的属性组成特征向量，再把从临床电子病历中提取的29维向量平均扩增一预设比例，然后按照一预设百分比随机丢弃，丢弃的部分被替换为数字0。
7.如权利要求5所述的基于多模态深度学习的病理分类系统，其特征在于，该模块2包括：利用卷积神经网络的第三、第四和第五层卷积层，提取得到第三、第四和第五卷积层的特征图，然后使用全局平均池化操作将第三、第四和第五卷积层的特征图进行压缩后，拼接成该组织病理学图像的特征表示向量。
8.如权利要求5所述的基于多模态深度学习的病理分类系统，其特征在于，模块3中该全连接层为三个完整的连接层，分别有500,100和2个节点。
CN201910452839.1A 2019-05-28 2019-05-28 基于多模态深度学习的病理分类方法及系统 Active CN110298383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910452839.1A CN110298383B (zh) 2019-05-28 2019-05-28 基于多模态深度学习的病理分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910452839.1A CN110298383B (zh) 2019-05-28 2019-05-28 基于多模态深度学习的病理分类方法及系统

Publications (2)

Publication Number Publication Date
CN110298383A CN110298383A (zh) 2019-10-01
CN110298383B true CN110298383B (zh) 2021-07-13

Family

ID=68027303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910452839.1A Active CN110298383B (zh) 2019-05-28 2019-05-28 基于多模态深度学习的病理分类方法及系统

Country Status (1)

Country Link
CN (1) CN110298383B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738662B (zh) * 2019-10-29 2022-02-15 徐州医科大学 基于细粒度医学图像分割与真值发现数据扩增的垂体瘤质地影像分级方法
CN110991535A (zh) * 2019-12-04 2020-04-10 中山大学 一种基于多类型医学数据的pCR预测方法
CN111444960A (zh) * 2020-03-26 2020-07-24 上海交通大学 基于多模态数据输入的皮肤病图像分类系统
CN111737521B (zh) * 2020-08-04 2020-11-24 北京微播易科技股份有限公司 一种视频分类方法和装置
CN111916207B (zh) * 2020-08-07 2023-08-08 杭州深睿博联科技有限公司 一种基于多模态融合的疾病识别方法及装置
CN112466462B (zh) * 2020-11-26 2023-03-07 华侨大学 一种基于图深度学习的emr信息关联及演化方法
CN112420170B (zh) * 2020-12-10 2022-12-09 北京理工大学 一种提高计算机辅助诊断系统图片分类准确度的方法
CN112687327B (zh) * 2020-12-28 2024-04-12 中山依数科技有限公司 一种基于多任务和多模态的癌症生存分析系统
CN112651982A (zh) * 2021-01-12 2021-04-13 杭州智睿云康医疗科技有限公司 基于影像与非影像信息的图像分割方法及系统
CN112908484A (zh) * 2021-01-18 2021-06-04 吾征智能技术(北京)有限公司 一种跨模态融合分析疾病的系统、设备、存储介质
CN112784801A (zh) * 2021-02-03 2021-05-11 紫东信息科技(苏州)有限公司 基于文本和图片的双模态胃部疾病分类方法及装置
WO2023177886A1 (en) * 2022-03-18 2023-09-21 F. Hoffmann-La Roche Ag Multi-modal patient representation
CN115830017B (zh) * 2023-02-09 2023-07-25 智慧眼科技股份有限公司 基于图文多模态融合的肿瘤检测系统、方法、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203488A (zh) * 2016-07-01 2016-12-07 福州大学 一种基于受限玻尔兹曼机的乳腺图像特征融合方法
CN106204532A (zh) * 2016-06-24 2016-12-07 华南理工大学 基于特征数据挖掘及神经网络的肿瘤的分类方法
CN109528196A (zh) * 2018-11-14 2019-03-29 北京工业大学 一种基于多模态影像及经验知识的肝静脉压力梯度无创性评估方法
CN109558896A (zh) * 2018-11-06 2019-04-02 中山大学附属第医院 基于超声组学和深度学习的疾病智能化分析方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101623431B1 (ko) * 2015-08-06 2016-05-23 주식회사 루닛 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204532A (zh) * 2016-06-24 2016-12-07 华南理工大学 基于特征数据挖掘及神经网络的肿瘤的分类方法
CN106203488A (zh) * 2016-07-01 2016-12-07 福州大学 一种基于受限玻尔兹曼机的乳腺图像特征融合方法
CN109558896A (zh) * 2018-11-06 2019-04-02 中山大学附属第医院 基于超声组学和深度学习的疾病智能化分析方法及系统
CN109528196A (zh) * 2018-11-14 2019-03-29 北京工业大学 一种基于多模态影像及经验知识的肝静脉压力梯度无创性评估方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于多模态数据融合的乳腺癌生存期预测研究";孙冬冬;《中国博士学位论文全文库医药卫生科技辑，》;20181015;正文第43-44页、第66-68页 *

Also Published As

Publication number Publication date
CN110298383A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
CN110298383B (zh) 基于多模态深度学习的病理分类方法及系统
CN109410219B (zh) 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质
JP7297081B2 (ja) 画像分類方法、画像分類装置、医療用電子機器、画像分類機器、及びコンピュータプログラム
US10853409B2 (en) Systems and methods for image search
CN112150428A (zh) 一种基于深度学习的医学图像分割方法
WO2022022154A1 (zh) 脸部图像处理方法、装置、设备及存储介质
CN110276408B (zh) 3d图像的分类方法、装置、设备及存储介质
WO2022001237A1 (zh) 鼻咽癌原发肿瘤图像自动识别方法及系统
WO2022127500A1 (zh) 基于多个神经网络的mri图像分割方法、装置及设备
Rahman et al. A new method for lung nodule detection using deep neural networks for CT images
An et al. Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model
CN112183541B (zh) 一种轮廓提取方法及装置、电子设备、存储介质
CN114092450A (zh) 一种基于胃镜检查视频的实时图像分割方法、系统、装置
CN111724401A (zh) 一种基于边界约束级联U-Net的图像分割方法和系统
CN110859642A (zh) 一种基于AlexNet网络模型实现医学影像辅助诊断的方法、装置、设备及存储介质
CN113223668A (zh) 胶囊内镜图像冗余数据筛查方法
Shen et al. Multimodal brain MRI tumor segmentation via convolutional neural networks
CN112634308B (zh) 基于不同感受野的鼻咽癌靶区和危及器官的勾画方法
CN113506274A (zh) 基于视觉显著性差异图的用于人体认知状况的检测系统
CN113781387A (zh) 模型训练方法、图像处理方法、装置、设备及存储介质
CN116958705A (zh) 基于图神经网络的医学影像归类系统
CN115861716B (zh) 基于孪生神经网络和影像组学的胶质瘤分类方法及装置
CN116844687A (zh) 一种基于舌像和知识图谱的处方推荐方法及系统
WO2022227193A1 (zh) 肝脏区域分割方法、装置、电子设备及存储介质
Guo et al. Thyroid nodule ultrasonic imaging segmentation based on a deep learning model and data augmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant