CN115880222A - 一种基于深度学习的多模态影像处理方法和系统 - Google Patents

一种基于深度学习的多模态影像处理方法和系统 Download PDF

Info

Publication number
CN115880222A
CN115880222A CN202211386230.7A CN202211386230A CN115880222A CN 115880222 A CN115880222 A CN 115880222A CN 202211386230 A CN202211386230 A CN 202211386230A CN 115880222 A CN115880222 A CN 115880222A
Authority
CN
China
Prior art keywords
image
relation
sub
determining
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211386230.7A
Other languages
English (en)
Other versions
CN115880222B (zh
Inventor
赵峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202211386230.7A priority Critical patent/CN115880222B/zh
Publication of CN115880222A publication Critical patent/CN115880222A/zh
Application granted granted Critical
Publication of CN115880222B publication Critical patent/CN115880222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的多模态影像处理方法和系统，所述方法包括：步骤S1：作多模态影像数据获取和分析以获取影像特征；步骤S2：基于不同模态影像数据的影像特征之间的关系确定显著区域；步骤S3：基于显著子区域得到一个或者多个扩大显著子区域；步骤S4：将目标区域和每个显著子区域均作为深度神经网络模型的输入并分别得到分类结果；基于分别得到的分类结果得到最终的分类结果。本发明通过跨模态影像分析方式，能够快速的定位目标区域并进行分类，大大的提高了深度神经网络模型的训练效率和基于深度学习的多模态影像处理效率。

Description

一种基于深度学习的多模态影像处理方法和系统
【技术领域】
本发明属于影像处理技术领域，尤其涉及一种基于深度学习的多模态影像处理方法和系统。
【背景技术】
目前，人工智能已经取得飞速发展，深度学习算法在图像识别领域已取得较好成效，基于深度学习算法的智能识别系统在医学图像的识别领域已有应用，深度卷积神经网络是近年构建医学人工智能模型的常用方法之一，它通过分层的卷积处理提取图像的不同维度的特征信息，所提取的特征则输入后续特定网络进行特定任务，如分类、分割、配准、检测、降噪等。
全扫面切片技术也可以实现病理切片数字化，随着全切片图像的采集、处理和分析方面技术的发展，数字病理在过去的十年内逐渐的应用到科研及临床中，医学影像已成为临床上辅助疾病诊断的主要方式。相比较钼靶、核磁共振等其他影像，超声具有辐射少、价格便宜、对致密性组织检测敏感等优点。
就结直肠癌来说，结直肠癌(colorectal cancer,CRC)是严重威胁人类健康的常见恶性肿瘤之一，位列全球常见肿瘤的第三位及肿瘤致死因素的第二位。由于直肠的解剖部位特殊，尚缺乏有效的早期诊断方式，大多数患者初诊时即为局部进展期(cT3-4和/或N+)，单纯手术治疗的局部复发率高。局部进展期直肠癌患者的标准治疗模式推荐为新辅助放化疗(neoadjuvant chemoradiotherapy,NACRT)联合全直肠系膜切除术(totalmesorectal excision,TME)，这一治疗模式有效提高了患者局部控制率，局部复发率下降至目前的10％左右。NACRT也被证实对原发肿瘤具有良好的降期作用，10％-30％的患者原发肿瘤和阳性淋巴结可以完全退缩，达到病理完全缓解。(pathological completeresponse，pCR)，极大地改善了患者的远期疗效。pCR是指手术切除的组织标本经过病理学检验，未发现有肿瘤细胞残留。
然而，有部分患者对放化疗不敏感，新辅助放化疗不仅不能让该部分患者获益，同时带来了治疗相关毒性并且增加经济负担，甚至延误治疗导致肿瘤进展。因此，如能预先区别“放疗敏感”与“放疗不敏感”这两类患者显得尤为重要，一方面可对具有较高放射敏感性的直肠癌患者采用观察等待策略，而避免不必要的手术；另一方面可对放疗不敏感的直肠癌患者采用更强烈的治疗方式以获得更好的疗效。对于直肠来说，目标区域的位置结构，图像特征存在较大的差异，这就使得训练和使用效率往往很低；其目标区域往往难以定位和分类，影像数据中蕴含的内部特征也难以被发现；本发明通过跨模态影像分析方式，能够快速的定位目标区域并进行分类，大大的提高了深度神经网络模型的训练效率和基于深度学习的多模态影像处理效率。
【发明内容】
为了解决现有技术中的上述问题，本发明提出了一种基于深度学习的多模态影像处理方法和系统，所述方法包含：
步骤S1：作多模态影像数据获取和分析以获取影像特征；其中：所述影像特征包括多种类型的影像特征；
步骤S2：基于不同模态影像数据的影像特征之间的关系确定显著区域；具体为：确定不同模态影像数据的同类影像特征之间的第一关系，确定不同模态影像数据对应的目标子区域的同类影像特征之间的第二关系；确定针对每个目标子区域的第二关系和第一关系的一致情况，基于一致情况确定显著子区域；
所述步骤S2具体包括如下步骤；
步骤S21：针对每类影像特征，确定两个或者两个以上模态的影像数据之间的第一关系；其中：第一关系分别和每种影像特征类型相对应；每种影像特征类型对应一个第一关系；第一关系是针对影像特征中的全部或者部分特征值的计算关系；
步骤S22：确定目标子区域；具体为：将目标区域按照预设方式划分为多个目标子区域；
步骤S23：针对每种模态的影像数据的每个目标子区域计算影像特征；确定不同模态影像数据的对应目标子区域的同类影像特征之间的第二关系；判断第二关系和第一关系是否一致，并基于一致情况确定显著子区域；
步骤S3：基于显著子区域得到一个或者多个扩大显著子区域；
步骤S4：将目标区域和每个显著子区域均作为深度神经网络模型的输入并分别得到分类结果；基于分别得到的分类结果得到最终的分类结果。
进一步的，所述多模态影像数据包括：CT、MR和/或PET。
进一步的，所述目标区域为结直肠区域。
进一步的，通过人工标注的方式获取目标区域。
进一步的，所述基于分别得到的分类结果得到最终的分类结果，具体为:将分别得到的分类结果做加权求和后得到最终的分类结果。
一种基于深度学习的多模态影像处理系统，所述系统包含：服务器和计算终端；所述服务器用于实现上述基于深度学习的多模态影像处理方法。
进一步的，所述服务器和计算终端均为多个。
进一步的，所述服务器是云服务器。
一种计算机可读存储介质，包括程序，当其在计算机上运行时，使得计算机执行所述的基于深度学习的多模态影像处理方法。
一种执行设备，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现所述的基于深度学习的多模态影像处理方法。
本发明的有益效果包括：
(1)充分的利用影像数据的多模态特点，跨模态确定需关注的显著区域，在确定的过程中全面分析各种类型的影像特征关系，以发现可能存在的差异化特点以定位显著区域，提高了影像处理效率；
(2)通过基于纹理分析的目标子区域划分和一致性判断，在保持合理计算量的同时支持影像特征的增加，使得真正感兴趣的目标能够快速被发现，或者在不同的影像特征类型场景下被发现；
(3)通过显著区域的扩充，在不改变原有神经网络模型的基础上提高不同信息素在神经网络模型中作用的发挥，提高了模型训练和使用效率；
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：
图1为本发明的基于深度学习的多模态影像处理方法示意图。
图2为本发明的卷积神经网络模型示意图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定通过
如附图1所示，本发明提出一种基于深度学习的多模态影像处理方法，所述方法包括如下步骤：
步骤S1：作多模态影像数据获取和分析以获取影像特征；具体为：获取多模态影像数据，针对每个模态的影像数据，分别获取目标区域，提取目标区域的影像特征；
优选的：所述多模态影像数据包括：CT、MR、PET等；
优选的：所述目标区域为结直肠区域；通过人工标注的方式获取目标区域；
所述影像特征包括:灰度特征、纹理特征、和/或梯度纹理特征；
所述提取目标区域的影像特征，具体为：
步骤S1A1：获取一未处理模态的影像数据的目标区域图像；
步骤S1A2：对图像进行灰度值量化和图像重采样预处理；
步骤S1A3：对影像数据做灰度特征、纹理特征分析和小波特征分析；
步骤S1A4：获取目标区域的统计灰度特征；
所述灰度特征包括：偏度，方差，均值，峰度，能量，和/或熵中的一个或其组合；
可替换的：所述灰度特征包括灰度区域大小矩阵特征；
步骤S1A5：获取目标区域的纹理特征；其中：所述纹理特征包括图像灰度共生矩阵特征和基于小波变换的纹理特征；
所述灰度共生矩阵特征是基于灰度共生矩阵的纹理特征通过计算目标区域中相邻体素之间的灰度关系来表征图像的纹理；所述基于小波变换的纹理特征是，将原图像在X方向、Y方向及Z方向的各区分出高频部分和低频部分。对于原图像获得的八个小波变换后的图像后，计算目标区域中相邻体素之间的灰度关系后得到的纹理特征；
优选的：所述步骤还包括获取目标区域的梯度纹理特征；图像目标区域中一些不同的微小子结构可能具有相同灰度级强度，无法被常规的纹理特征和强度特征在局部邻域内捕获识别，但其细微结构在形态上却有所不同，为了充分挖掘局部差异信息，通过分析梯度变化来获取包含梯度纹理特征；
优选的：所述计算梯度纹理特征包括：获取像素梯度信息，计算图像目标区域中像素的局部主梯度方向，获得离散化的梯度图像，量化梯度特征；
步骤S1A6：是否所有模态的影像数据均处理完毕，如果是，则进入下一步骤，否则，返回步骤S1A1；
此时，针对所有模态的影像数据，均获得了很多类型的影像特征数据；
实际上，对医学影像的处理，无论是时域频域转换还是灰度纹理处理，都是一个维度的处理，但是医学影像由于其获取方式是多渠道的，因此，有多模态存在的先天优势，本发明基于充分的利用影像数据的多模态特点，跨模态确定需要关注的显著区域，在确定的过程中全面分析各种类型的影像特征关系，以发现可能发存在差异化特点以定位显著区域，提高了影像处理效率；
步骤S2：基于不同模态影像数据的影像特征之间的关系确定显著区域；具体为：确定不同模态影像数据的同类影像特征之间的第一关系，确定不同模态影像数据对应的目标子区域的同类影像特征之间的第二关系；确定针对每个目标子区域的第二关系和第一关系的一致情况，并基于一致情况确定显著子区域；
通过基于纹理分析的目标子区域划分和一致性判断，在保持合理计算量的同时支持影像特征的增加，使得真正感兴趣的目标能够快速被发现，或者在不同的影像特征类型场景下被发现；
所述步骤S2具体包括如下步骤；
步骤S21：针对每类影像特征，确定两个或者两个以上模态的影像数据之间的第一关系；其中：第一关系分别和每种影像特征类型相对应；也就是说，每种影像特征类型对应一个第一关系；第一关系是针对影像特征中的全部或者部分特征值的计算关系；
优选的：所述计算关系是比例关系、大小关系、相等关系、包含关系中的一个或者多个的组合；
优选的：所述影像特征包括统计灰度特征中的一个或者多个,和/或纹理特征中的一个或者多个、和/或梯度纹理特征中的一个或者多个；
步骤S22：确定目标子区域；具体为：将目标区域按照预设方式划分为多个目标子区域；例如：采用网格平均的划分为多个目标子区域，也可以是符合生理结构的划分为多个目标子区域；
可替换的：基于目标区域的纹理特征将目标区域划分为多个目标子区域；例如：沿着纹理发展的方向，将目标区域划分为预设数量的目标子区域；
步骤S23：针对每种模态的影像数据的每个目标子区域计算影像特征；确定不同模态影像数据的对应目标子区域的同类影像特征之间的第二关系；判断第二关系和第一关系是否一致，并基于一致情况确定显著子区域；
所述第二关系是针对影像特征中的全部或者部分特征值的计算关系，针对每种影像特征，其第一关系和第二关系中的计算关系是相同的；
所述步骤S23具体包括如下步骤：
步骤S231：获取一未处理影像特征类型作为当前影像特征类型；
步骤S232：针对每种模态的影像数据的每个目标子区域，计算其当前影像特征类型的影像特征值；
步骤S233：针对每个目标子区域，确定不同模态影像数据的对应目标子区域的当前影像特征类型的影像特征值之间的第二关系；
步骤S234：判断每个目标子区域的当前影像特征类型的第二关系是否和当前影像特征类型的第一关系一致；如果一致，则设置标记值LBj，k＝1，否则，设置标记值LBj，k＝0；其中：j是目标子区域编号，k是影像特征类型编号；
优选的：所述一致是，数值相同、数值大致相同、包含关系相同、逻辑关系相同、符合相同的规律等；
步骤S235：判断是否所有的影像特征类型均处理完毕，如果是，则进入下一步骤；否则，返回步骤S231；
步骤S236：确定针对每个目标子区域的第二关系和第一关系的一致情况，设置不一致情况显著的目标子区域为显著目标子区域；
步骤S2361:获取一未处理目标子区域；
步骤S2362:计算该目标子区域的显著值SFj＝∑kLBj，k；
可替换的：
Figure BDA0003929899740000041
其中：K是影像特征类型的总数量；
步骤S2363:判断所述显著值是否超过上限显著值，如果是，则确定所述目标子区域为显著目标子区域；
优选的：SFj＝1；
步骤S2364:是否所有目标子区域均处理完毕，如果是，则返回步骤S2361；否则，结束；
步骤S3：基于显著子区域得到一个或者多个扩大显著子区域；具体为：为每个显著子区域作像素插值后得到扩大显著子区域；当然，插值的方式不同，得到的扩大显著子区域的个数也是不同的；
可替换的：以每个显著子区域为基础做显著子区域的扩充，以得到一个或者多个扩大显著子区域；通过显著区域的扩充，在不改变原有神经网络模型的基础上提高不同信息素在神经网络模型中作用的发挥，提高了模型训练和使用效率；对于小小病灶特征，特异质病灶区域也能够被发现
所述步骤S3具体包括如下步骤：
步骤S31：获取一未处理显著子区域；
步骤S32：将当前显著子区域放入扩大显著子区域集合；
步骤S33：在目标区域图像的基础上，以当前显著子区域为基础作全方向外延以得到扩大显著子区域，并放入扩大显著子区域集合中；扩大显著子区域的边界外延距离为U，也就是说，外延后扩大显著子区域的每个边界点距离外延前的显著子区域边界的最小距离为U；
优选的：
Figure BDA0003929899740000051
其中SZ是显著子区域的面积大小；
步骤S34：判断是否扩大完毕，如果是，则进入下一步骤；否则，设置U＝2×U，返回步骤S33；
所述判断是否扩大完毕，具体为：扩大次数超过预设次数则确定扩大完毕；另外，很显然，如果在延伸的过程中遇到显著区域自身的边界，该方向的扩大是停止的；
优选的：所述步骤还包括：在目标区域图像的基础上，以当前显著子区域基础作单方向外延以得到扩大显著子区域，并放入扩大显著子区域集合中；扩大显著子边界外延长度为U，其中：所述单方向是：X轴方向、或Y轴方向；
可替换的：所述判断是否扩大完毕，具体为：扩大次数超过预设次数或外延后形成的区域面积中超过预设面积比例的区域不在目标区域内，则确定扩大完毕；另外，很显然，如果在外伸的过程中遇到显著区域自身的边界，该方向的扩大是停止的，因为延伸的面积超出了感兴趣区域自身的面积；
步骤S35：是否所有显著子区域均处理完毕，如果是，则结束，否则，返回步骤S31；
步骤S4：将目标区域和每个显著子区域均作为深度神经网络模型的输入并分别得到分类结果；基于分别得到的分类结果得到最终的分类结果；
优选的：如附图2所示，所述卷积神经网络模型作为深度神经网络模型，具体为：所述深度神经网络模型包括五个卷积层和三个全连接层；例如：采用Chatfeld深度神经网络模型，参数设置为：权重衰减为5×10-4，动量为0.9，初始学习率为10-2；在输入前，将每个输入图像的灰度值归一化到范围[0,255]；
优选的：所述深度神经网络模型通过网络的前向传播计算，最后从全连接层输出；
所述基于分别得到的分类结果得到最终的分类结果，具体为:将分别得到的分类结果做加权求和后得到最终的分类结果；
可替换的：对分别得到的分类结果作“或”运算后得到最终的分类结果；
优选的：将原始的多模态影像数据和仅包含显著子区域的图像均作为样本集合作样本的训练和验证；例如：7：3比例将样本集合简单划分为训练集(7/10)和验证集(3/10)；计算得到各个样本的损失函数，最后根据均值利用梯度下降法对权重更新，直至集成模型收敛，得到深度神经网络模型；
基于相同的发明构思，本发明提出一种基于深度学习的多模态影像处理系统，所述系统包括：服务器和计算终端；所述服务器用于实现上述基于深度学习的多模态影像处理方法；所述计算终端用于发送处理请求至所述服务器；所述请求中包含待处理的多模态影像数据；
优选的：所述服务器为云服务器；所述服务器为一个或者多个；
所述计算终端设置于医疗机构中；
优选的：所述计算终端为移动终端；
优选的：所述服务器是云服务器；
术语“计算终”、“服务器”、“云服务器”包涵用于处理数据的所有种类的装置、设备和机器，举例包括可编程处理器、计算机、片上系统、或者上述中的多个或其组合。所述装置能够包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件，所述装置还可以包括代码，创建用于所述计算机程序的执行环境，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行环境、虚拟机或上述一个或多个的组合的代码。该装置和执行环境可以实现各种不同计算模型基础设施，诸如web服务、分布式计算、和网格计算基础设施。
计算机程序(也被称为程序、软件、软件应用、脚本或代码)能够以编程语言的任何形式来撰写，包括汇编或解释语言、说明或过程性语言，且其可以以任何形式部署，包括作为单机程序或者作为模块、组件、子例程、对象或适于在计算环境中使用的其他单元。计算机程序可以但不必与文件系统中的文件相对应。程序能够存储在保持其他程序或数据(例如存储在标记语言文档中的一个或多个脚本)的文件的一部分中，在专用于所述程序的单个文件中，或者在多个协同文件中(例如，存储一个或多个模块、子例程或代码部分的文件)。计算机程序可以部署为在一个计算机上或位于一个站点或跨多个站点分布且由通信网络互连的多个计算机上执行。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于深度学习的多模态影像处理方法，其特征在于，包括：
步骤S1：作多模态影像数据获取和分析以获取影像特征；其中：所述影像特征包括多种类型的影像特征；
步骤S2：基于不同模态影像数据的影像特征之间的关系确定显著区域；具体为：确定不同模态影像数据的同类影像特征之间的第一关系，确定不同模态影像数据对应的目标子区域的同类影像特征之间的第二关系；确定针对每个目标子区域的第二关系和第一关系的一致情况，基于一致情况确定显著子区域；
所述步骤S2具体包括如下步骤；
步骤S21：针对每类影像特征，确定两个或者两个以上模态的影像数据之间的第一关系；其中：第一关系分别和每种影像特征类型相对应；每种影像特征类型对应一个第一关系；第一关系是针对影像特征中的全部或者部分特征值的计算关系；
步骤S22：确定目标子区域；具体为：将目标区域按照预设方式划分为多个目标子区域；
步骤S23：针对每种模态的影像数据的每个目标子区域计算影像特征；确定不同模态影像数据的对应目标子区域的同类影像特征之间的第二关系；判断第二关系和第一关系是否一致，并基于一致情况确定显著子区域；
步骤S3：基于显著子区域得到一个或者多个扩大显著子区域；
步骤S4：将目标区域和每个显著子区域均作为深度神经网络模型的输入并分别得到分类结果；基于分别得到的分类结果得到最终的分类结果。
2.根据权利要求1所述的基于深度学习的多模态影像处理方法，其特征在于，所述多模态影像数据包括：CT、MR和/或PET。
3.根据权利要求2所述的基于深度学习的多模态影像处理方法，其特征在于，所述目标区域为结直肠区域。
4.根据权利要求3所述的基于深度学习的多模态影像处理方法，其特征在于，通过人工标注的方式获取目标区域。
5.根据权利要求4所述的基于深度学习的多模态影像处理方法，其特征在于，所述基于分别得到的分类结果得到最终的分类结果，具体为:将分别得到的分类结果做加权求和后得到最终的分类结果。
6.一种基于深度学习的多模态影像处理系统，其特征在于，所述系统包含：服务器和计算终端；所述服务器用于实现上述权利要求1-5中任一项所述的基于深度学习的多模态影像处理方法。
7.根据权利要求6所述的基于深度学习的多模态影像处理系统，其特征在于，所述服务器和计算终端均为多个。
8.根据权利要求7所述的基于深度学习的多模态影像处理系统，其特征在于，所述服务器是云服务器。
9.一种计算机可读存储介质，其特征在于，包括程序，当其在计算机上运行时，使得计算机执行如权利要求1-5中任一项所述的基于深度学习的多模态影像处理方法。
10.一种执行设备，其特征在于，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现如权利要求1-5中任一项所述的基于深度学习的多模态影像处理方法。
CN202211386230.7A 2022-11-07 2022-11-07 一种基于深度学习的多模态影像处理方法和系统 Active CN115880222B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211386230.7A CN115880222B (zh) 2022-11-07 2022-11-07 一种基于深度学习的多模态影像处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211386230.7A CN115880222B (zh) 2022-11-07 2022-11-07 一种基于深度学习的多模态影像处理方法和系统

Publications (2)

Publication Number Publication Date
CN115880222A true CN115880222A (zh) 2023-03-31
CN115880222B CN115880222B (zh) 2023-06-13

Family

ID=85759491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211386230.7A Active CN115880222B (zh) 2022-11-07 2022-11-07 一种基于深度学习的多模态影像处理方法和系统

Country Status (1)

Country Link
CN (1) CN115880222B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930877A (zh) * 2016-05-31 2016-09-07 上海海洋大学 一种基于多模态深度学习的遥感影像分类方法
CN108052911A (zh) * 2017-12-20 2018-05-18 上海海洋大学 基于深度学习的多模态遥感影像高层特征融合分类方法
CN110852292A (zh) * 2019-11-18 2020-02-28 南京邮电大学 一种基于跨模态多任务深度度量学习的草图人脸识别方法
US20200184252A1 (en) * 2018-12-10 2020-06-11 International Business Machines Corporation Deep Learning Network for Salient Region Identification in Images
CN113657503A (zh) * 2021-08-18 2021-11-16 上海交通大学 一种基于多模态数据融合的恶性肝肿瘤分类方法
CN115223678A (zh) * 2022-07-27 2022-10-21 重庆师范大学 基于多任务多模态深度学习的x光胸片诊断报告生成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930877A (zh) * 2016-05-31 2016-09-07 上海海洋大学 一种基于多模态深度学习的遥感影像分类方法
CN108052911A (zh) * 2017-12-20 2018-05-18 上海海洋大学 基于深度学习的多模态遥感影像高层特征融合分类方法
US20200184252A1 (en) * 2018-12-10 2020-06-11 International Business Machines Corporation Deep Learning Network for Salient Region Identification in Images
CN110852292A (zh) * 2019-11-18 2020-02-28 南京邮电大学 一种基于跨模态多任务深度度量学习的草图人脸识别方法
CN113657503A (zh) * 2021-08-18 2021-11-16 上海交通大学 一种基于多模态数据融合的恶性肝肿瘤分类方法
CN115223678A (zh) * 2022-07-27 2022-10-21 重庆师范大学 基于多任务多模态深度学习的x光胸片诊断报告生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
樊凤仙 等: "基于多模态MRI图像的3D卷积神经网络对肝纤维化分类的价值研究", 磁共振成像, vol. 13, no. 9, pages 30 - 34 *

Also Published As

Publication number Publication date
CN115880222B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
Malhotra et al. [Retracted] Deep Neural Networks for Medical Image Segmentation
Gordienko et al. Deep learning with lung segmentation and bone shadow exclusion techniques for chest X-ray analysis of lung cancer
CN107748900B (zh) 基于区分性卷积神经网络的乳腺肿瘤分类装置和存储介质
Tang et al. Cmu-net: a strong convmixer-based medical ultrasound image segmentation network
Shi et al. Automatic segmentation of cardiac magnetic resonance images based on multi-input fusion network
Nemoto et al. Effects of sample size and data augmentation on U-Net-based automatic segmentation of various organs
CN112365980A (zh) 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统
Zhao et al. Segmentation of skin lesions image based on U-Net++
Li et al. Large-kernel attention for 3D medical image segmentation
Ha et al. Automatic Breast Tumor Diagnosis in MRI Based on a Hybrid CNN and Feature‐Based Method Using Improved Deer Hunting Optimization Algorithm
Tummala et al. Liver tumor segmentation from computed tomography images using multiscale residual dilated encoder‐decoder network
Rani et al. Radon transform-based improved single seeded region growing segmentation for lung cancer detection using AMPWSVM classification approach
Kaliyugarasan et al. Pulmonary nodule classification in lung cancer from 3D thoracic CT scans using fastai and MONAI
CN115641957A (zh) 一种基于影像基因组学的新辅助化疗疗效预测方法及系统
Zhai et al. An improved full convolutional network combined with conditional random fields for brain MR image segmentation algorithm and its 3D visualization analysis
Zhang et al. An Algorithm for Automatic Rib Fracture Recognition Combined with nnU‐Net and DenseNet
CN113724185B (zh) 用于图像分类的模型处理方法、装置及存储介质
Almutairi et al. An Efficient USE‐Net Deep Learning Model for Cancer Detection
CN118351300A (zh) 基于U-Net模型的危机器官自动勾画方法及系统
Goel et al. A hybrid of modified YOLOv3 with BBO/EE optimizer for lung cancer detection
Netto et al. Voxel-based comparative analysis of lung lesions in CT for therapeutic purposes
Jadwaa X‐Ray Lung Image Classification Using a Canny Edge Detector
Srilatha et al. Automated ultrasound ovarian tumour segmentation and classification based on deep learning techniques
Gupta et al. Brain Tumor Segmentation from MRI Images Using Deep Learning Techniques
Tang et al. Artificial intelligence and myocardial contrast enhancement pattern

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant