CN114170162A - 一种图像预测方法、图像预测装置以及计算机存储介质 - Google Patents

一种图像预测方法、图像预测装置以及计算机存储介质 Download PDF

Info

Publication number
CN114170162A
CN114170162A CN202111415337.5A CN202111415337A CN114170162A CN 114170162 A CN114170162 A CN 114170162A CN 202111415337 A CN202111415337 A CN 202111415337A CN 114170162 A CN114170162 A CN 114170162A
Authority
CN
China
Prior art keywords
image
prediction
image data
image prediction
prediction score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111415337.5A
Other languages
English (en)
Inventor
王海峰
梁栋
蒋典
杨俊�
刘聪聪
郭一凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202111415337.5A priority Critical patent/CN114170162A/zh
Publication of CN114170162A publication Critical patent/CN114170162A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本申请提供了一种图像预测方法、图像预测装置以及计算机存储介质。该方法包括：获取图像数据集，其中，图像数据集中包括同一图像的至少两种模态的图像数据；分别将至少两种模态的图像数据输入预设神经网络，获取每一种模态的图像数据的预测分数，以及基于至少两种模态的图像数据加权处理的图像预测分数；基于图像预测分数对每一种模态的图像数据对应的加权值进行训练，直至图像预测分数的最终结果满足图像预测模型的训练要求；其中，图像预测模型包括至少一个所述预设神经网络。通过上述方式，本申请的图像预测方法通过对每一种模态的图像数据的加权值进行训练，训练出一种智能图像预测方法，降低人力成本，提高图像预测的准确性和针对性。

Description

一种图像预测方法、图像预测装置以及计算机存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像预测方法、图像预测装置以及计算机存储介质。
背景技术
目前，对于图像中行为或特征的结果预测的主要途径是：对图像中的行为或者重要特征进行人工标注，然后集中对人工标注的区域进行预测。
然后，这种人工参与的方式需要大量的工作人员参与，人力成本高，且人工标注的过程中无可避免存在一些主观判断，导致由于图像预测的标注特征存在一定的误差，图像预测的准确性也随之受到影响。
发明内容
本申请提供了一种图像预测方法、图像预测装置以及计算机存储介质。
本申请提供了一种图像预测方法，所述图像预测方法包括：
获取图像数据集，其中，所述图像数据集中包括同一图像的至少两种模态的图像数据；
分别将至少两种模态的图像数据输入预设神经网络，获取每一种模态的图像数据的预测分数，以及基于至少两种模态的图像数据加权处理的图像预测分数；
基于所述图像预测分数对所述每一种模态的图像数据对应的加权值进行训练，直至所述图像预测分数的最终结果满足图像预测模型的训练要求；
其中，所述图像预测模型包括至少一个所述预设神经网络。
其中，所述获取图像数据集，包括：
将所述同一图像的至少两种模态的图像数据进行数据集扩充处理；
其中，所述数据集扩充处理方式包括：图像剪切、图像旋转和/或图像翻转。
其中，所述图像为磁共振图像；所述获取图像数据集之后，所述图像预测方法还包括：
采用预设深度学习工具识别并去除所述磁共振图像中与预设病灶无关的其他图像信息。
其中，所述预设神经网络包括移动翻转残差瓶颈三维卷积块，三维卷积层，全局平均池化层以及全连接层。
其中，所述至少两种模态的图像数据包括第一模态图像数据，第二模态图像数据以及第三模态图像数据；
所述分别将至少两种模态的图像数据输入待训练神经网络，获取每一种模态的图像数据的预测分数，以及基于至少两种模态的图像数据加权处理的图像预测分数，包括：
将所述第一模态图像数据、所述第二模态图像数据以及所述第三模态图像数据分别输入所述预设神经网络，以获得所述第一模态图像数据的第一预测分数，所述第二模态图像数据的第二预测分数以及所述第三模态图像数据的第三预测分数；
获取图像预测模型的加权值组合，所述加权值组合包括第一加权值，第二加权值以及第三加权值；
利用所述第一加权值对所述第一预测分数进行加权处理，利用所述第二加权值对所述第二预测分数进行加权处理，利用所述第三加权值对所述第三预测分数进行加权处理；
获取加权处理后的图像预测分数。
其中，所述获取加权处理后的图像预测分数，包括：
将所述第一预测分数的加权处理值，所述第二预测分数的加权处理值，所述第三预测分数的加权处理值进行求和平均，计算所述图像预测分数。
其中，所述基于所述图像预测分数对所述每一种模态的图像数据对应的加权值进行训练，直至所述图像预测分数的最终结果满足图像预测模型的训练要求，包括：
基于所述图像预测分数与真实预测分数计算损失值；
在所述损失值小于等于预设损失阈值的情况下，训练完成，输出所述图像预测模型；
在所述损失值大于预设损失阈值的情况下，基于所述损失值训练所述加权值，重新计算所述图像预测分数，直至所述图像预测分数的最终结果满足所述预设损失阈值。
其中，所述图像预测方法，还包括：
获取待预测图像；
将所述待预测图像输入训练好的图像预测模型；
获取并输出所述图像预测模型对于所述待预测图像预测的结果及其预测分数。
本申请还提供了一种图像预测装置，所述图像预测装置包括存储器和处理器，其中，所述存储器与所述处理器耦接；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的图像预测方法。
本申请还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现上述的图像预测方法。
本申请的有益效果是：图像预测装置获取图像数据集，其中，图像数据集中包括同一图像的至少两种模态的图像数据；分别将至少两种模态的图像数据输入预设神经网络，获取每一种模态的图像数据的预测分数，以及基于至少两种模态的图像数据加权处理的图像预测分数；基于图像预测分数对每一种模态的图像数据对应的加权值进行训练，直至图像预测分数的最终结果满足图像预测模型的训练要求；其中，图像预测模型包括至少一个所述预设神经网络。通过上述方式，本申请的图像预测方法通过对每一种模态的图像数据的加权值进行训练，训练出一种智能图像预测方法，降低人力成本，提高图像预测的准确性和针对性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的图像预测方法一实施例的流程示意图；
图2是图1所示图像预测方法中步骤S12的具体流程示意图；
图3是本申请提供的图像预测模型一实施例的结构示意图；
图4是本申请提供的图像预测装置一实施例的结构示意图；
图5是本申请提供的图像预测装置另一实施例的结构示意图；
图6是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供的图像预测方法针对的图像可以为多个领域中的图像，例如视频监控领域中对于监控图像中行为的预测，网络直播领域中对于直播图像中效果的预测，以及医疗检测领域中对于磁共振图像的治疗结果的预测等。在以下的实施例描述中，将采用医疗检测领域的磁共振图像作为图像预测的源材料进行方案的消息描述，在此不再赘述。
下面介绍本申请实施例在医疗检测领域上实施的基础原理：
结节性硬化症(TSC，tuberous sclerosis)是一种罕见的常染色体显性遗传病，由TSC1或TSC2 mTOR通路基因功能丧失突变引起。TSC是一种影响脑、皮肤、心脏、肺、肾脏和癫痫的神经精神疾病。癫痫是TSC患者中最普遍和最具挑战性的症状，影响了大约85％的患者，而且其中将近三分之二的患者在一岁左右会伴随着癫痫首次发作。在TSC诊断后，患者尽早进行癫痫治疗可以预防或控制癫痫发作，改善TSC患者的认知神经发育并提高患者的生活质量。癫痫的经典治疗方案是抗癫痫药物(AEDs)，但超过50％的TSC患者对抗癫痫药物具有耐药性，并且可能需要很长时间才能等到药物失效，并被确定为耐药性，这对于患者的后期治疗很不利。
因此，本申请提供一种图像预测方法，可以帮助医疗人员区分区分药物治疗控制型癫痫和未控制型(药物难治)癫痫患者，能够辅助放射科医生对两种类型的患者做出针对性的治疗，降低患者的死亡率，提高患者的生活质量。
在人工智能诊断方面，目前普遍采用的算法是深度学习和机器学习。在机器学习方面，Yang等人提取了TSC癫痫患者的MRI(磁共振成像，Magnetic Resonance Imaging)中的病变位置、病灶类型和数量等特征，然后采用多种机器学习方法建模，证明了MRI病灶类型对癫痫药物治疗结果的预测影响最大。但这些MRI的特征通常是人工提取的，这些特征通常是定性的、主观的和不具体的。
而深度神经网络是一项先进技术，可以自动从数据中提取特征并基于数据进行表征学习。在深度学习诊断方面，目前普遍采用的深度学习算法是Hinton团队于2012年提出的卷积神经网络(Convolutional Neural Networks,CNN)。深度学习已被广泛用于诊断各种疾，深度卷积神经网络(CNN)模型已经证明能够以高精度对MRI上的肺癌和骨病变进行分类。
基于以上原理，本申请提供的图像预测方法采用深度学习自动提取磁共振图像特征，并基于磁共振图像特征预测TSC癫痫患者的药物治疗结局，对患者的治疗方案指导具有十分重要的意义。
具体请参阅图1，图1是本申请提供的图像预测方法一实施例的流程示意图。
其中，本申请的图像预测方法应用于一种图像预测装置，其中，本申请的图像预测装置可以为服务器，也可以为由服务器和终端设备相互配合的系统。相应地，图像预测装置包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以分别设置于服务器和终端设备中。
进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。在一些可能的实现方式中，本申请实施例的图像预测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
具体而言，如图1所示，本申请实施例的图像预测方法具体包括以下步骤：
步骤S11：获取图像数据集，其中，图像数据集中包括同一图像的至少两种模态的图像数据。
在本申请实施例中，图像预测装置将在医院入院诊断为TSC相关癫痫的患者的信息入组到图像数据集中。其中，入组标准为：1)在AEDs治疗前进行了液体衰减反转恢复(FLAIR)图像、T1加权图像(T1W)和T2加权图像(T2W)磁共振扫描；2)接受了AED治疗至少一年；3)患者没有进行病灶切除手术。治疗原则由资深的结节性硬化症专家根据经验和指南确定。
例如，癫痫药物治疗结局根据1981年的ILAE分类来定义，将所有病人分为控制组和未控制组。如果患者在AEDs治疗的1年之内没有临床癫痫发作，则将其视为控制组。如果患者在一年内至少有一次癫痫发作或死亡，则将其视为未控制组。
在本申请实施例中，图像预测装置入组了某儿童医院的95个TSC相关癫痫的T1W图像数据、T2W图像数据和FLAIR图像数据作为数据集，其中，训练集75个病人，独立测试集20个病人。
在建立图像数据集中，为进一步提高图像预测模型的预测分类结果的准确性，图像预测装置还可以对图像数据集中的图像进行图像预处理。
具体地，由于在神经影像学研究中，病灶位于脑组织中，图像预测装置可以使用深度学习工具HD-bet去除MRI影像中与病灶无关的颅骨信息，还可以去除与病灶无关的其他区域信息，这将有助于分类。
进一步地，医学图像的数据集通常很小，而深度学习训练需要大量数据集，另外深度学习在小的数据集上很容易出现过拟合现象。针对这些问题，本申请的图像训练集由实际采集的三维T1W图像数据、T2W图像数据和FLAIR图像数据组成，并通过将影像剪切、旋转、翻转等手段进行数据集扩充，以增强图像预测模型的鲁棒性。处理后每幅图片大小可以设置为256*256*128，并进行归一化处理。经过处理后图像数据集扩大了4倍。其中，在实现例子中图像训练集有300个病人，独立测试集80个病人。
步骤S12：分别将至少两种模态的图像数据输入预设神经网络，获取每一种模态的图像数据的预测分数，以及基于至少两种模态的图像数据加权处理的图像预测分数。
在本申请实施例中，图像预测装置可以分别将至少两种模态的图像数据输入预设神经网络，以通过预设神经网络提取图像数据中的特征数据。其中，预设神经网络可以为成熟的特征提取网络，在此对特征提取网络的类型和结构不一一列举。
获取至少两种模态的特征数据后，图像预测装置即可通过图像预测模型对至少两种模态的特征数据进行预测，从而得到每种模态的特征数据的预测结果以及预测分数，最终，统计得到该图像的图像预测分数。
需要说明的是，本申请的图像预测模型包括至少一个预设神经网络，其中，预设神经网络的数量可以与图像的模态数量相同，预设神经网络的数量也可以少于图像的模态数量。例如，图像预测模型可以采用一个预设神经网络对多个模态的特征数据进行图像预测，也可以同时对多个模态的特征数据采用多个预设神经网络进行图像预测。
具体请继续参阅图2和图3，图2是图1所示图像预测方法中步骤S12的具体流程示意图，图3是本申请提供的图像预测模型一实施例的结构示意图。
图3所示的图像预测模型具体为一种WAE-net模型结构，WAE-net模型结构的输入由三个EfficientNet3D-B0架构组成。其中，EfficientNet3D是一个先进的卷积神经网络，该模型主要用于图像分类。EfficientNet3D-B0主要由移动翻转残差瓶颈三维卷积块(MBConv3D)，三维卷积层(Conv3D)，全局平均池化层(GAPooling)和全连接层(FC)这几个模块组成。
需要说明的是，EfficientNet3D网络已经在ImageNet数据集上进行了预训练，图像预测装置只需要对预训练的权重进行初始化，然后在图像数据集上微调权重，然后EfficientNet3D网络便可用于从图像数据集中提取特征。而且，EfficientNet3D网络是先进的图像分类网络之一，因为它不仅提高了分类准确性，同时显着减少了网络参数的数量，而且经过了预训练适合小数据集分类。
本申请实施例提供的WAE-net模型结构中的分类模块使用了EfficientNet3D网络，进而基于EfficientNet3D-B0开发了一个加权平均集成网络WAE-net。
如图2所述，WAE-net模型结构的图像预测过程请参阅以下步骤：
步骤S121：将第一模态图像数据、第二模态图像数据以及第三模态图像数据分别输入预设神经网络，以获得第一模态图像数据的第一预测分数，第二模态图像数据的第二预测分数以及第三模态图像数据的第三预测分数。
在本申请实施例中，图像预测装置将第一模态图像数据，即T1W图像输入一个EfficientNet3D网络，并输出第一预测分数；将第二模态图像数据，即T2W图像输入一个EfficientNet3D网络，并输出第二预测分数；将第三模态图像数据，即FLAIR图像输入一个EfficientNet3D网络，并输出第三预测分数。
步骤S122：获取图像预测模型的加权值组合，加权值组合包括第一加权值，第二加权值以及第三加权值。
在本申请实施例中，图像预测装置获取图像预测模型预先设置的加权值组合，即w1表示第一个EfficientNet3D网络的第一加权值，w2表示第二个EfficientNet3D网络的第二加权值，w3表示第三个EfficientNet3D网络的第三加权值。
步骤S123：利用第一加权值对第一预测分数进行加权处理，利用第二加权值对第二预测分数进行加权处理，利用第三加权值对第三预测分数进行加权处理。
步骤S124：获取加权处理后的图像预测分数。
在本申请实施例中，图像预测装置采用以下公式计算加权处理后的图像预测分数，具体公式如下：
Figure BDA0003375605270000091
其中，ScoreT1W代表第一预测分数，ScoreT2W代表第二预测分数，ScoreFLAIR代表第三预测分数，ScoreWAE代表图像预测分数。
步骤S13：基于图像预测分数对每一种模态的图像数据对应的加权值进行训练，直至图像预测分数的最终结果满足图像预测模型的训练要求。
在本申请实施例中，图像预测装置采用五折交叉验证来评估模型。采用Adam算法进行训练网络，学习率设置为0.001、epoch设置为100，损失函数使用交叉熵损失函数采用以下公式计算：
Figure BDA0003375605270000092
通过以上交叉熵损失函数，图像预测装置计算图像预测分数与真实预测分数之间的损失值。在损失值小于等于预设损失阈值的情况下，训练完成，输出图像预测模型；在损失值大于预设损失阈值的情况下，基于损失值训练加权值，即对加权值进行优化，选择最优的加权值来输出最终的图像预测分数。
对于加权值的优化过程具体如下：
为了研究多种模态(T1W、T2W和FLAIR等)的最优组合来提高WAE-net模型的性能，得到图像测试集中每个病人单独的多种模态(T1W、T2W和FLAIR等)的预测分数后，以测试集AUC(模型评估指标，area under the curve)为优化指标，对权重w1、权重w2和权重w3等的值在0.1和1之间进行改变，步长为0.1，得到最佳预测性能的权重w1、权重w2和权重w3等组合。其中，预测性能的好坏可以采用以上交叉熵损失函数计算的损失值来衡量。
在对图3所示的图像预测模型训练完成后，图像预测装置将图像预测模型落实到实际的图像预测任务中，即对待预测图像进行预测，从而获取对于待预测图像的预测结果及其预测分数。
在本申请实施例中，图像预测装置获取图像数据集，其中，图像数据集中包括同一图像的至少两种模态的图像数据；分别将至少两种模态的图像数据输入预设神经网络，获取每一种模态的图像数据的预测分数，以及基于至少两种模态的图像数据加权处理的图像预测分数；基于图像预测分数对每一种模态的图像数据对应的加权值进行训练，直至图像预测分数的最终结果满足图像预测模型的训练要求；其中，图像预测模型包括至少一个所述预设神经网络。通过上述方式，本申请的图像预测方法通过对每一种模态的图像数据的加权值进行训练，训练出一种智能图像预测方法，降低人力成本，提高图像预测的准确性和针对性。
进一步地，本申请提供的图像预测方法降低了医生人力成本。例如，医生只需采集TSC病人的T1W、T2W和FLAIR序列，将3个序列输入所搭建的深度学习网络，就能快速的预测癫痫患者的药物治疗结局，辅助医生为TSC患者制定更好的治疗方案。本申请提供的图像预测方法降低了患者时间成本。在药物治疗开始之前就通过MRI影像来预测患者是否耐药，给患者争取时间进行更合适的治疗，患者不需要长达一年以上的耐药性测试。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
为实现上述实施例的图像预测方法，本申请还提出了一种图像预测装置，具体请参阅图4，图4是本申请提供的图像预测装置一实施例的结构示意图。
本申请实施例的图像预测装置400包括获取模块41、预测模块42以及训练模块43；其中，
所述获取模块41，用于获取图像数据集，其中，所述图像数据集中包括同一图像的至少两种模态的图像数据。
所述预测模块42，用于分别将至少两种模态的图像数据输入预设神经网络，获取每一种模态的图像数据的预测分数，以及基于至少两种模态的图像数据加权处理的图像预测分数。
所述训练模块43，用于基于所述图像预测分数对所述每一种模态的图像数据对应的加权值进行训练，直至所述图像预测分数的最终结果满足图像预测模型的训练要求；其中，所述图像预测模型包括至少一个所述预设神经网络。
为实现上述实施例的图像预测方法，本申请还提出了另一种图像预测装置，具体请参阅图5，图5是本申请提供的图像预测装置另一实施例的结构示意图。
本申请实施例的图像预测装置500包括存储器51和处理器52，其中，存储器51和处理器52耦接。
存储器51用于存储程序数据，处理器52用于执行程序数据以实现上述实施例所述的图像预测方法。
在本实施例中，处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(DSP，Digital Signal Process)、专用集成电路(ASIC，ApplicationSpecific Integrated Circuit)、现场可编程门阵列(FPGA，Field Programmable GateArray)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器52也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质，如图6所示，计算机存储介质600用于存储程序数据61，程序数据61在被处理器执行时，用以实现如上述实施例所述的图像预测方法。
本申请还提供一种计算机程序产品，其中，上述计算机程序产品包括计算机程序，上述计算机程序可操作来使计算机执行如本申请实施例所述的图像预测方法。该计算机程序产品可以为一个软件安装包。
本申请上述实施例所述的图像预测方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种图像预测方法，其特征在于，所述图像预测方法包括：
获取图像数据集，其中，所述图像数据集中包括同一图像的至少两种模态的图像数据；
分别将至少两种模态的图像数据输入预设神经网络，获取每一种模态的图像数据的预测分数，以及基于至少两种模态的图像数据加权处理的图像预测分数；
基于所述图像预测分数对所述每一种模态的图像数据对应的加权值进行训练，直至所述图像预测分数的最终结果满足图像预测模型的训练要求；
其中，所述图像预测模型包括至少一个所述预设神经网络。
2.根据权利要求1所述的图像预测方法，其特征在于，
所述获取图像数据集，包括：
将所述同一图像的至少两种模态的图像数据进行数据集扩充处理；
其中，所述数据集扩充处理方式包括：图像剪切、图像旋转和/或图像翻转。
3.根据权利要求1所述的图像预测方法，其特征在于，
所述图像为磁共振图像；所述获取图像数据集之后，所述图像预测方法还包括：
采用预设深度学习工具识别并去除所述磁共振图像中与预设病灶无关的其他图像信息。
4.根据权利要求1所述的图像预测方法，其特征在于，
所述预设神经网络包括移动翻转残差瓶颈三维卷积块，三维卷积层，全局平均池化层以及全连接层。
5.根据权利要求1所述的图像预测方法，其特征在于，
所述至少两种模态的图像数据包括第一模态图像数据，第二模态图像数据以及第三模态图像数据；
所述分别将至少两种模态的图像数据输入待训练神经网络，获取每一种模态的图像数据的预测分数，以及基于至少两种模态的图像数据加权处理的图像预测分数，包括：
将所述第一模态图像数据、所述第二模态图像数据以及所述第三模态图像数据分别输入所述预设神经网络，以获得所述第一模态图像数据的第一预测分数，所述第二模态图像数据的第二预测分数以及所述第三模态图像数据的第三预测分数；
获取图像预测模型的加权值组合，所述加权值组合包括第一加权值，第二加权值以及第三加权值；
利用所述第一加权值对所述第一预测分数进行加权处理，利用所述第二加权值对所述第二预测分数进行加权处理，利用所述第三加权值对所述第三预测分数进行加权处理；
获取加权处理后的图像预测分数。
6.根据权利要求5所述的图像预测方法，其特征在于，
所述获取加权处理后的图像预测分数，包括：
将所述第一预测分数的加权处理值，所述第二预测分数的加权处理值，所述第三预测分数的加权处理值进行求和平均，计算所述图像预测分数。
7.根据权利要求1所述的图像预测方法，其特征在于，
所述基于所述图像预测分数对所述每一种模态的图像数据对应的加权值进行训练，直至所述图像预测分数的最终结果满足图像预测模型的训练要求，包括：
基于所述图像预测分数与真实预测分数计算损失值；
在所述损失值小于等于预设损失阈值的情况下，训练完成，输出所述图像预测模型；
在所述损失值大于预设损失阈值的情况下，基于所述损失值训练所述加权值，重新计算所述图像预测分数，直至所述图像预测分数的最终结果满足所述预设损失阈值。
8.根据权利要求1所述的图像预测方法，其特征在于，
所述图像预测方法，还包括：
获取待预测图像；
将所述待预测图像输入训练好的图像预测模型；
获取并输出所述图像预测模型对于所述待预测图像预测的结果及其预测分数。
9.一种图像预测装置，其特征在于，所述图像预测装置包括存储器和处理器，其中，所述存储器与所述处理器耦接；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现权利要求1-8任一项所述的图像预测方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现权利要求1-8任一项所述的图像预测方法。
CN202111415337.5A 2021-11-25 2021-11-25 一种图像预测方法、图像预测装置以及计算机存储介质 Pending CN114170162A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111415337.5A CN114170162A (zh) 2021-11-25 2021-11-25 一种图像预测方法、图像预测装置以及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111415337.5A CN114170162A (zh) 2021-11-25 2021-11-25 一种图像预测方法、图像预测装置以及计算机存储介质

Publications (1)

Publication Number Publication Date
CN114170162A true CN114170162A (zh) 2022-03-11

Family

ID=80480620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111415337.5A Pending CN114170162A (zh) 2021-11-25 2021-11-25 一种图像预测方法、图像预测装置以及计算机存储介质

Country Status (1)

Country Link
CN (1) CN114170162A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116911908A (zh) * 2023-07-25 2023-10-20 维妮科技(深圳)有限公司 一种基于人工智能的销售数据预测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275130A (zh) * 2020-02-18 2020-06-12 上海交通大学 基于多模态的深度学习预测方法、系统、介质及设备
CN111640503A (zh) * 2020-05-29 2020-09-08 上海市肺科医院 一种晚期肺癌患者的肿瘤突变负荷的预测系统及方法
CN111738302A (zh) * 2020-05-28 2020-10-02 华南理工大学 一种基于多模态数据对阿尔茨海默病进行分类诊断的系统
US20210150693A1 (en) * 2019-11-15 2021-05-20 Geisinger Clinic Systems and methods for a deep neural network to enhance prediction of patient endpoints using videos of the heart
CN113450294A (zh) * 2021-06-07 2021-09-28 刘星宇 多模态医学图像配准融合方法、装置及电子设备
CN113496493A (zh) * 2021-06-11 2021-10-12 浙江工业大学 一种结合多模态信息的脑肿瘤图像分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210150693A1 (en) * 2019-11-15 2021-05-20 Geisinger Clinic Systems and methods for a deep neural network to enhance prediction of patient endpoints using videos of the heart
CN111275130A (zh) * 2020-02-18 2020-06-12 上海交通大学 基于多模态的深度学习预测方法、系统、介质及设备
CN111738302A (zh) * 2020-05-28 2020-10-02 华南理工大学 一种基于多模态数据对阿尔茨海默病进行分类诊断的系统
CN111640503A (zh) * 2020-05-29 2020-09-08 上海市肺科医院 一种晚期肺癌患者的肿瘤突变负荷的预测系统及方法
CN113450294A (zh) * 2021-06-07 2021-09-28 刘星宇 多模态医学图像配准融合方法、装置及电子设备
CN113496493A (zh) * 2021-06-11 2021-10-12 浙江工业大学 一种结合多模态信息的脑肿瘤图像分割方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116911908A (zh) * 2023-07-25 2023-10-20 维妮科技(深圳)有限公司 一种基于人工智能的销售数据预测方法及系统
CN116911908B (zh) * 2023-07-25 2024-02-27 维妮科技(深圳)有限公司 一种基于人工智能的销售数据预测方法及系统

Similar Documents

Publication Publication Date Title
Wang et al. On OCT image classification via deep learning
Kwasigroch et al. Deep CNN based decision support system for detection and assessing the stage of diabetic retinopathy
Singh et al. Shallow 3D CNN for detecting acute brain hemorrhage from medical imaging sensors
JP6947759B2 (ja) 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法
Mantas Classification of intracranial hemorrhage subtypes using deep learning on CT scans
KR20190042621A (ko) 기계 학습 모델들을 사용한 안저 이미지 프로세싱
Wu et al. Gamma challenge: glaucoma grading from multi-modality images
Skouta et al. Hemorrhage semantic segmentation in fundus images for the diagnosis of diabetic retinopathy by using a convolutional neural network
CN110246109A (zh) 融合ct影像和个性化信息的分析系统、方法、装置及介质
Klimont et al. Automated ventricular system segmentation in paediatric patients treated for hydrocephalus using deep learning methods
Kumar et al. Evolutionary algorithm with memetic search capability for optic disc localization in retinal fundus images
Qu et al. An experimental study of data heterogeneity in federated learning methods for medical imaging
Ou et al. BFENet: A two-stream interaction CNN method for multi-label ophthalmic diseases classification with bilateral fundus images
CN114170162A (zh) 一种图像预测方法、图像预测装置以及计算机存储介质
Maiti et al. Automatic detection and segmentation of optic disc using a modified convolution network
Sambyal et al. Aggregated residual transformation network for multistage classification in diabetic retinopathy
WO2023168728A1 (zh) 基于多模态影像组学的癫痫药物治疗结局预测方法和装置
Duan et al. Prediction of hearing prognosis of large vestibular aqueduct syndrome based on the pytorch deep learning model
Brancati et al. Segmentation of pigment signs in fundus images for retinitis pigmentosa analysis by using deep learning
Syed et al. A diagnosis model for detection and classification of diabetic retinopathy using deep learning
Anastasiadis et al. Transforming urinary stone disease management by artificial intelligence-based methods: A comprehensive review
CN112669929B (zh) 克罗恩病英夫利昔单抗药效预测方法及终端设备
hamzah Abed et al. Diabetic retinopathy diagnosis based on convolutional neural network
Mahadeva et al. Edge Detection and Color Mapping Based Diabetic Retinopathy From Fundus Images
Kumar et al. Detection of diabetic retinopathy using deep mining

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination