CN114463320B - 一种磁共振成像脑胶质瘤idh基因预测方法及系统 - Google Patents

一种磁共振成像脑胶质瘤idh基因预测方法及系统 Download PDF

Info

Publication number
CN114463320B
CN114463320B CN202210143820.0A CN202210143820A CN114463320B CN 114463320 B CN114463320 B CN 114463320B CN 202210143820 A CN202210143820 A CN 202210143820A CN 114463320 B CN114463320 B CN 114463320B
Authority
CN
China
Prior art keywords
network
segmentation
data set
loss
magnetic resonance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210143820.0A
Other languages
English (en)
Other versions
CN114463320A (zh
Inventor
徐丽娜
曾海龙
蔡聪波
蔡淑惠
陈忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202210143820.0A priority Critical patent/CN114463320B/zh
Publication of CN114463320A publication Critical patent/CN114463320A/zh
Application granted granted Critical
Publication of CN114463320B publication Critical patent/CN114463320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像分割及检测技术领域,具体涉及一种磁共振成像脑胶质瘤IDH基因预测方法及系统,该方法包括:构建脑胶质瘤区域预测网络;预测网络包括生成网络、判别网络和分割网络;生成网络用于源域数据集和目标域数据集域间的自适应转换;基于损失目标函数采用源域和目标域数据集训练预测网络;损失目标函数根据对抗损失、循环一致性损失、分割损失和分割一致性损失确定;采用训练好的脑胶质瘤区域预测网络对待预测磁共振图像进行脑胶质瘤区域分割;分别采用放射组学和深度神经网络提取分割后的脑胶质瘤区域组学特征和深度特征;将组学特征和深度特征结合作为随机森林算法的输入,输出IDH基因型的分类。本发明提高了基因型预测的鲁棒性。

Description

一种磁共振成像脑胶质瘤IDH基因预测方法及系统
技术领域
本发明涉及图像分割及检测技术领域,特别是涉及一种磁共振成像脑胶质瘤IDH基因预测方法及系统。
背景技术
脑胶质瘤作为最常见及最恶性的脑部疾病之一,其发生、发展与某些基因的状态密切相关。最明显的基因突变之一与异柠檬酸脱氢酶(IDH)有关,其可作为胶质瘤诊断和分级的生物标志物,对患者治疗规划和预后评估具有重要的临床意义。然而,IDH突变状态通常通过组织病理学活检来获得,该诊断方式具有侵袭和偏倚性。
多参数MRI(Magnetic Resonance Imaging,磁共振成像)数据从成像表型的角度提供了丰富的对比度和互信息。然而,IDH突变体和野生型之间的相似形态给预测带来技术挑战。对于基因型的预测方面,放射基因组学方法得到了越来越多的应用,其可实现成像和肿瘤基因组特征之间的映射,而且高通量的特征提取方法能够将图像转换为可定量分析的基本特征。Peng等人使用基于机器学习模型的放射组学分析IDH基因突变,这也是主流的非侵入性检测方法之一。然而,影像组学通常依赖于对整个病灶的手工描绘,在形态、强度、纹理和其他手工特征方面的分析仍然受到阻碍,因为它不能充分反映复杂的肿瘤特征。此外,Chang等人提出基于深度学习的基因型预测方法,而其本质是基于监督学习的方法。另一方面,肿瘤分割通常作为MR术前评估不可或缺的一步,目前医学图像分割领域涌现了大量的基于深度学习的自动分割方法,往往也都基于监督学习。监督学习依赖于海量数据以及像素级的标签,这在实际临床数据中是极稀缺的。比较有效的方法是通过公开的医学数据集预先训练一个分割模型,再将其迁移到目标的分割任务中。但是用这种方法存在一些明显的缺陷:首先,需要找到网络上公开的完全一致的数据集进行迁移,这对于新的任务非常苛刻;其次,由于临床数据采集时扫描仪器、参数设置、采样设置的不同,导致相同任务的网络公开数据集与临床数据仍然存在着数据集偏差,使迁移学习结果不佳。
发明内容
本发明的目的是提供一种磁共振成像脑胶质瘤IDH基因预测方法及系统,降低了对数据标签的依赖性,提高了基因型预测的鲁棒性。
为实现上述目的,本发明提供了如下方案:
一种磁共振成像脑胶质瘤IDH基因预测方法,包括:
获取源域数据集和目标域数据集,所述源域数据集中图像为有标签的磁共振图像,所述目标域数据集中图像为无标签的磁共振图像;
构建脑胶质瘤区域预测网络;所述脑胶质瘤区域预测网络包括生成网络、判别网络和分割网络;所述生成网络用于源域数据集和目标域数据集域间的自适应相互转换,所述生成网络包括第一生成器和第二生成器,第一生成器和第二生成器互呈双向循环结构;所述判别网络包括第一判别器和第二判别器,所述第一判别器和所述第一生成器组成第一生成对抗网络,所述第二判别器和所述第二生成器组成第二生成对抗网络;所述分割网络用于对输入图像进行脑胶质瘤区域分割;
基于损失目标函数,采用所述源域数据集和所述目标域数据集训练所述脑胶质瘤区域预测网络,获得训练好的脑胶质瘤区域预测网络;所述损失目标函数根据对抗损失、循环一致性损失、分割损失和分割一致性损失确定;所述对抗损失根据所述生成网络和所述判别网络确定,所述分割损失通过所述分割网络输出结果与对应标签图像确定,所述循环一致性损失为所述生成网络保留输入图像全局语义信息的损失,所述分割一致性损失为所述分割网络保留输入图像脑胶质瘤区域语义信息的损失。
采用训练好的脑胶质瘤区域预测网络对待预测磁共振图像进行脑胶质瘤区域分割,获得分割后的脑胶质瘤区域;
采用放射组学提取所述分割后的脑胶质瘤区域组学特征;
采用深度神经网络提取所述分割后的脑胶质瘤区域深度特征;
将所述组学特征和所述深度特征结合后加入年龄特征作为随机森林算法的输入,输出待预测磁共振图像对应的IDH基因型的分类。
可选地,所述损失目标函数为:
其中,λ和γ均表示正则化系数,为对抗损失,/>为循环一致性损失,/>为分割损失,/>为分割一致性损失,GB表示第一生成器,GA表示第二生成器,DB表示第一判别器,DA表示第二判别器,S表示分割网络;
为第二生成对抗网络的对抗损失,/>为第一生成对抗网络的对抗损失。
循环一致性损失
分割一致性损失
xA表示目标域数据集中图像,xB表示源域数据集中图像,pd表示概率分布函数,表示求期望。
可选地,将所述组学特征和所述深度特征结合作为随机森林算法的输入,输出待预测磁共振图像对应的IDH基因型的分类,具体包括:
采用t检验方法分别对所述组学特征和所述深度特征进行特征筛选,获得筛选后的所述组学特征和筛选后的所述深度特征;
将筛选后的所述组学特征和筛选后的所述深度特征结合,获得混合特征;
将所述混合特征和与所述待预测磁共振图像对应的年龄特征作为随机森林算法的输入,输出待预测磁共振图像对应的IDH基因型的分类。
可选地,所述获取源域数据集和目标域数据集之后,还包括:
对所述源域数据集和所述目标域数据集中图像进行归一化处理。
本发明还公开了一种磁共振成像脑胶质瘤IDH基因预测系统,包括:
数据采集模块,用于获取源域数据集和目标域数据集,所述源域数据集中图像为有标签的磁共振图像,所述目标域数据集中图像为无标签的磁共振图像;
脑胶质瘤区域预测网络构建模块,用于构建脑胶质瘤区域预测网络;所述脑胶质瘤区域预测网络包括生成网络、判别网络和分割网络;所述生成网络用于源域数据集和目标域数据集域间的自适应相互转换,所述生成网络包括第一生成器和第二生成器,第一生成器和第二生成器互呈双向循环结构;所述判别网络包括第一判别器和第二判别器,所述第一判别器和所述第一生成器组成第一生成对抗网络,所述第二判别器和所述第二生成器组成第二生成对抗网络;所述分割网络用于对输入图像进行脑胶质瘤区域分割;
脑胶质瘤区域预测网络训练模块,用于基于损失目标函数,采用所述源域数据集和所述目标域数据集训练所述脑胶质瘤区域预测网络,获得训练好的脑胶质瘤区域预测网络;所述损失目标函数根据对抗损失、循环一致性损失、分割损失和分割一致性损失确定;所述对抗损失根据所述生成网络和所述判别网络确定,所述分割损失通过所述分割网络输出结果与对应标签图像确定,所述循环一致性损失为所述生成网络保留输入图像全局语义信息的损失,所述分割一致性损失为所述分割网络保留输入图像脑胶质瘤区域语义信息的损失;
脑胶质瘤区域分割模块,用于采用训练好的脑胶质瘤区域预测网络对待预测磁共振图像进行脑胶质瘤区域分割,获得分割后的脑胶质瘤区域;
组学特征提取模块,用于采用放射组学提取所述分割后的脑胶质瘤区域组学特征;
深度特征提取模块,用于采用深度神经网络提取所述分割后的脑胶质瘤区域深度特征;
IDH基因型分类模块,用于将所述组学特征和所述深度特征结合作为随机森林算法的输入,输出待预测磁共振图像对应的IDH基因型的分类。
可选地,所述损失目标函数为:
其中,λ和γ均表示正则化系数,为对抗损失,/>为循环一致性损失,/>为分割损失,/>为分割一致性损失,GB表示第一生成器,GA表示第二生成器,DB表示第一判别器,DA表示第二判别器,S表示分割网络;
xA表示目标域数据集中图像,xB表示源域数据集中图像,pd表示概率分布函数,表示求期望。
可选地,所述IDH基因型分类模块,具体包括:
特征筛选单元,用于采用t检验方法分别对所述组学特征和所述深度特征进行特征筛选,获得筛选后的所述组学特征和筛选后的所述深度特征;
混合特征获取单元,用于将筛选后的所述组学特征和筛选后的所述深度特征结合,获得混合特征;
IDH基因型分类单元,用于将所述混合特征和与所述待预测磁共振图像对应的年龄特征作为随机森林算法的输入,输出待预测磁共振图像对应的IDH基因型的分类。
可选地,还包括:
归一化处理模块,用于对所述源域数据集和所述目标域数据集中图像进行归一化处理。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明公开了一种磁共振成像脑胶质瘤IDH基因预测方法及系统,通过生成网络和判别网络实现有标签的数据集对无标签的临床数据集即目标数据集的无监督分割,降低了对数据标签的依赖性,损失目标函数中通过循环一致性损失约束多个对比度的MRI图像语义信息的保留,通过分割一致性损失保证图像迁移前后病理信息的不变性并提高迁移学习的分割效果,另外,通过放射组学特征与深度神经网络学习到的深度特征的结合,提高了基因型预测的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种磁共振成像脑胶质瘤IDH基因预测方法流程示意图一;
图2为本发明一种磁共振成像脑胶质瘤IDH基因预测方法流程示意图二;
图3为分割效果对比示意图;
图4为本发明一种磁共振成像脑胶质瘤IDH基因预测系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种磁共振成像脑胶质瘤IDH基因预测方法及系统,降低了对数据标签的依赖性,提高了基因型预测的鲁棒性。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明一种磁共振成像脑胶质瘤IDH基因预测方法流程示意图一,如图1所示,一种磁共振成像脑胶质瘤IDH基因预测方法,包括:
步骤101:获取源域数据集和目标域数据集,源域数据集中图像为有标签的磁共振图像,目标域数据集中图像为无标签的磁共振图像;源域数据集和目标域数据集中图像均为多模态图像。
获取源域数据集和目标域数据集之后,还包括:
对源域数据集和目标域数据集中图像进行归一化处理。
步骤102:构建脑胶质瘤区域预测网络;脑胶质瘤区域预测网络包括生成网络、判别网络和分割网络;生成网络用于源域数据集和目标域数据集域间的自适应相互转换,生成网络包括第一生成器和第二生成器,第一生成器和第二生成器互呈双向循环结构;判别网络包括第一判别器和第二判别器,第一判别器和第一生成器组成第一生成对抗网络,第二判别器和第二生成器组成第二生成对抗网络;分割网络用于对输入图像进行脑胶质瘤区域分割。
第一生成器和第二生成器互呈双向循环结构,即生成网络用于两个域风格的相互转换。第一生成器的输出连接第二生成器的输入。
分割网络的输入包括第一生成器的输入和第一生成器的输出,即目标域的图像和目标域图像经过风格迁移后的图像,以及源域图像及其标签。
步骤103:基于损失目标函数,采用源域数据集和目标域数据集训练脑胶质瘤区域预测网络,获得训练好的脑胶质瘤区域预测网络;损失目标函数根据对抗损失、循环一致性损失、分割损失和分割一致性损失确定;对抗损失根据生成网络和判别网络确定,分割损失通过分割网络输出结果与对应标签图像确定,循环一致性损失为生成网络保留输入图像全局语义信息的损失,分割一致性损失为分割网络保留输入图像脑胶质瘤区域语义信息的损失;分割一致性损失具体为原输入图像通过分割网络的分割结果与原输入图像通过生成网络后再输入分割网络的分割结果之间的差值。
步骤104:采用训练好的脑胶质瘤区域预测网络对待预测磁共振图像进行脑胶质瘤区域分割,获得分割后的脑胶质瘤区域。
步骤105:采用放射组学提取分割后的脑胶质瘤区域组学特征。
步骤106:采用深度神经网络提取分割后的脑胶质瘤区域深度特征。
步骤107:将组学特征和深度特征结合后加入年龄特征作为随机森林算法的输入,输出待预测磁共振图像对应的IDH基因型的分类。
损失目标函数为:
其中,λ和γ均表示正则化系数,为对抗损失,/>为循环一致性损失,/>为分割损失,/>为分割一致性损失,GB表示第一生成器,GA表示第二生成器,DB表示第一判别器,DA表示第二判别器,S表示分割网络;
xA表示目标域数据集中图像,xB表示源域数据集中图像,pd表示概率分布函数,表示求期望。
其中,步骤107具体包括:
采用t检验方法分别对组学特征和深度特征进行特征筛选,获得筛选后的组学特征和筛选后的深度特征。
将筛选后的组学特征和筛选后的深度特征结合,获得混合特征。
将混合特征和与待预测磁共振图像对应的年龄特征作为随机森林算法的输入,输出待预测磁共振图像对应的IDH基因型的分类。
下面以具体实施例说明本发明一种磁共振成像脑胶质瘤IDH基因预测方法。
如图2所示,一种磁共振成像脑胶质瘤IDH基因预测方法包括:
S1:数据预处理;具体包括:
对来自本地医院的无标签的多参数磁共振图像数据集(目标域数据集)及带标签的具有相同模态的公开数据集(源域数据集)进行标准化和归一化处理,将多模态图像进行归一化并重采样至相同尺寸。划分训练及测试数据集,训练集中划分目标域(A域)和源域数据集(B域)。将公开的BraTS数据集全部用作训练集的源域。实际临床收集的数据作为自适应分割的目标域,其中75%划分为训练集,25%划分为测试集。最后,将多个模态图像的同一层串联作为一个采样数据,即多模态图像。
S2:运用生成网络从源域获取输入图像经变换生成目标域风格的图像;具体包括:
生成网络用于两个域风格的相互转换。生成网络由两个生成器组成,每个生成器分别包括编码部分和解码部分。编码部分通过下采样与卷积操作来提取高级语义特征,并在像素层面与特征层面实现两个域之间的自适应转换;解码部分通过反卷积将高维特征上采样至原图大小。利用生成对抗的思想,在对抗损失的监督下,生成器旨在生成与对应的域风格更相似的图像,两个生成器分别实现了从自身的域到对方域的转换。换而言之,风格迁移后图像可以通过对应的另一个生成器重建回自身域风格的图像,再将重建的图像与原图计算重建损失,从而保证在迁移过程中语义信息的保留。以A域输入xA为例,通过生成器GB得到B域风格的图像GB(xA),再通过对应的另外一个生成器GA重建回原风格图像GA[GB(xA)],并与xA再计算重建损失。同理,B域输入为与之一致的循环结构。
S3:运用判别网络鉴别输入图像的真伪;具体包括:
判别网络用于鉴别输入图像的真伪。判别网络由两个判别器组成,分别对应两个生成器,用于监督两个生成器的输出。判别器的输入为某一个域的原图,以及经对应生成器风格转换后输出的图;判别器的输出为二值函数,即真或伪,目标是获得更精确的判断真伪的性能,迫使生成器要生成更逼真于原图的图像,从而与生成器形成一种对抗关系,共同向目标逼近。一个生成器与一个判别器形成一个生成对抗结构,两个生成对抗结构结合形成一个循环网络,实现两个域风格的互相转换。这样设计的目的是为了保证输入图像经过生成网络后,输出的图像既学习到迁移后的风格分布,又能保留其原有的内容特征。判别器由少量的几个卷积层堆叠而成,最后输出一维特征用以判断图像真伪,由此鉴别所输入的图像是来自于原始图像还是经过对应的生成器迁移后得到的图像。
S4:运用分割网络进行肿瘤区域(脑胶质瘤区域)的无监督分割;具体包括:
分割网络用于实现肿瘤区域的自动分割。在训练阶段,源域数据在输入生成器的同时,也会输入至分割网络进行训练。分割网络采用加入残差连接的U-Net结构,每一层由残差模块组成,每个残差模块都包含批归一化与ReLU激活函数,并且通过跳跃连接将不同层次的语义信息传递到下文中。通过下采样提取高级语义特征,通过上采样恢复图像大小并预测病灶区域,将分割结果与标签进行比较,计算分割损失,用于监督分割网络得到更精确的分割性能。同时无标签的目标域数据分别将原图以及迁移至源域风格的图像输入至分割网络,输出得到各自分割后的语义图,并将迁移前后的语义图进行差值对比计算分割一致性损失。这样设计的目的在于约束生成器在风格迁移过程中保留病理的语义信息,同时让分割网络能感知两个域的差别,从而实现在目标域上更精确的分割。在测试阶段,将测试数据先经过生成网络进行模态风格自适应调整,调整后的图像通过分割网络得到预测结果。
S5:在上述模型的训练中,利用生成网络与判别网络计算对抗损失和循环一致性损失/>利用分割结果与参考结果计算分割损失/>利用迁移学习前后图像上病理信息的不变性计算分割一致性损失/>利用随机梯度下降分别对损失函数进行回传,优化相对应的各个模块网络参数。将划分好的训练集进行迭代,重复执行步骤S2至S5,综合观察生成器生成结果以及各模块的损失函数趋于平稳,停止训练。总的损失目标函数为:
其中,λ和γ为正则化系数,为对抗损失,/>为循环一致性损失,/>为分割损失,/>为分割一致性损失。分别表示为
S6:获取分割后的肿瘤区域,并以此为mask;如图3所示,从左至右依次为:多参数磁共振成像中的代表模态T2加权成像(T2w)、参考的肿瘤分割结果(GT)、UNet3+的肿瘤分割结果(U-Net_3Plus)、nnUNet的肿瘤分割结果nnUNet、本发明的肿瘤分割结果(Ours)。
S7:根据分割后的肿瘤区域,获取放射组学提取的肿瘤区域组学特征;具体包括:
基于Pyradiomics工具包,其中包括19个一阶统计量、10个2D形状描述符、16个3D形状描述符、24个灰度共生矩阵、16个灰度行程矩阵、16个灰度区域大小矩阵、14个灰度相关矩阵以及5个邻域灰度差矩阵,共120个组学特征。
S8:根据分割后的肿瘤区域,获取深度网络提取的肿瘤区域深度特征;具体包括:
主要以VGG网络为基本架构,采用预训练的ImageNet作为深度特征提取器的基础,在原网络上去掉了softmax层与最后一层的全连接层,将倒数第二个全连接层的所有神经元作为深度特征直接提取。
S9:对以上提取的两类特征进行t检验的特征筛选,剔除差异不显著的特征。
具体为:对提取的两类特征进行t检验,去除p值大于0.05的部分,得到表现显著的特征。
S10:结合影像组学的组学和深度学习提取的深度特征,得到混合特征,再加入受试者的年龄特征,通过随机森林算法来进行最终IDH基因型的分类。
本发明结合迁移学习的思想,利用带标签的公开数据集实现对临床数据集的无监督分割,创造性地运用多模态域自适应网络框架,有效地解决了实际临床上应用深度学习方法时对数据标签的依赖性。
同时本发明在现有的各种损失函数的基础上创造性提出分割一致性损失,除了运用循环一致性损失约束多个对比度的MRI图像语义信息的保留,所加入的分割一致性损失可保证图像迁移前后病理信息的不变性并提高迁移学习的分割效果。循环一致性损失有利于保留全局的语义信息,而分割一致性损失是为了保留病灶区域的语义信息。由此,网络能从全局和局部的多重约束中学习到更好的对病灶信息的表征。
此外,放射组学特征与深度神经网络学习到的特征的有效结合进一步提高了基因型预测的鲁棒性。
本发明提出一种磁共振成像脑胶质瘤IDH基因预测方法,基于多模态域自适应脑胶质瘤分割,在双向循环结构的迁移学习框架下加入分割一致性损失保证图像迁移前后病理信息的不变性,由此可获得优于目前主流方法的分割结果。该发明解决了实际临床数据标签稀缺的难题,也解决了样本在进行迁移学习时不同数据集的对齐问题;同时本发明运用放射组学和深度网络学习提取的混合特征对基因型进行预测。相比于UNet3+和nnUNet获得ROC曲线下的面积AUC分别为0.818及0.878,准确率ACC分别为0.733及0.767,本发明的AUC可达0.906,ACC可达0.833。预测结果显著提高。
图4为本发明一种磁共振成像脑胶质瘤IDH基因预测系统结构示意图,如图4所示,一种磁共振成像脑胶质瘤IDH基因预测系统,包括:
数据采集模块201,用于获取源域数据集和目标域数据集,源域数据集中图像为有标签的磁共振图像,目标域数据集中图像为无标签的磁共振图像;源域数据集和目标域数据集中图像均为多模态图像。
脑胶质瘤区域预测网络构建模块202,用于构建脑胶质瘤区域预测网络;脑胶质瘤区域预测网络包括生成网络、判别网络和分割网络;生成网络用于源域数据集和目标域数据集域间的自适应相互转换,所述生成网络包括第一生成器和第二生成器,第一生成器和第二生成器互呈双向循环结构;判别网络包括第一判别器和第二判别器,第一判别器和第一生成器组成第一生成对抗网络,第二判别器和第二生成器组成第二生成对抗网络;分割网络用于对输入图像进行脑胶质瘤区域分割。
脑胶质瘤区域预测网络训练模块203,用于基于损失目标函数,采用源域数据集和目标域数据集训练脑胶质瘤区域预测网络,获得训练好的脑胶质瘤区域预测网络;损失目标函数根据对抗损失、循环一致性损失、分割损失和分割一致性损失确定;对抗损失根据生成网络和判别网络确定,分割损失通过分割网络输出结果与对应标签图像确定,循环一致性损失为生成网络保留输入图像全局语义信息的损失,分割一致性损失为分割网络保留输入图像脑胶质瘤区域语义信息的损失。
脑胶质瘤区域分割模块204,用于采用训练好的脑胶质瘤区域预测网络对待预测磁共振图像进行脑胶质瘤区域分割,获得分割后的脑胶质瘤区域。
组学特征提取模块205,用于采用放射组学提取分割后的脑胶质瘤区域组学特征。
深度特征提取模块206,用于采用深度神经网络提取分割后的脑胶质瘤区域深度特征。
IDH基因型分类模块207,用于将组学特征和深度特征结合后加入年龄特征作为随机森林算法的输入,输出待预测磁共振图像对应的IDH基因型的分类。
损失目标函数为:
其中,λ和γ均表示正则化系数,为对抗损失,/>为循环一致性损失,/>为分割损失,/>为分割一致性损失,GB表示第一生成器,GA表示第二生成器,DB表示第一判别器,DA表示第二判别器,S表示分割网络;
xA表示目标域数据集中图像,xB表示源域数据集中图像,pd表示概率分布函数,表示求期望。
IDH基因型分类模块207,具体包括:
特征筛选单元,用于采用t检验方法分别对组学特征和深度特征进行特征筛选,获得筛选后的组学特征和筛选后的深度特征。
混合特征获取单元,用于将筛选后的组学特征和筛选后的深度特征结合,获得混合特征。
IDH基因型分类单元,用于将混合特征和与待预测磁共振图像对应的年龄特征作为随机森林算法的输入,输出待预测磁共振图像对应的IDH基因型的分类。
一种磁共振成像脑胶质瘤IDH基因预测系统还包括:
归一化处理模块,用于对源域数据集和目标域数据集中图像进行归一化处理。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种磁共振成像脑胶质瘤IDH基因预测方法,其特征在于,包括:
获取源域数据集和目标域数据集,所述源域数据集中图像为有标签的磁共振图像,所述目标域数据集中图像为无标签的磁共振图像;
构建脑胶质瘤区域预测网络;所述脑胶质瘤区域预测网络包括生成网络、判别网络和分割网络;所述生成网络用于源域数据集和目标域数据集域间的自适应相互转换,所述生成网络包括第一生成器和第二生成器,第一生成器和第二生成器互呈双向循环结构;所述判别网络包括第一判别器和第二判别器,所述第一判别器和所述第一生成器组成第一生成对抗网络,所述第二判别器和所述第二生成器组成第二生成对抗网络;所述分割网络用于对输入图像进行脑胶质瘤区域分割;
基于损失目标函数,采用所述源域数据集和所述目标域数据集训练所述脑胶质瘤区域预测网络,获得训练好的脑胶质瘤区域预测网络;所述损失目标函数根据对抗损失、循环一致性损失、分割损失和分割一致性损失确定;所述对抗损失根据所述生成网络和所述判别网络确定,所述分割损失通过所述分割网络输出结果与对应标签图像确定,所述循环一致性损失为所述生成网络保留输入图像全局语义信息的损失,所述分割一致性损失为所述分割网络保留输入图像脑胶质瘤区域语义信息的损失;
采用训练好的脑胶质瘤区域预测网络对待预测磁共振图像进行脑胶质瘤区域分割,获得分割后的脑胶质瘤区域;
采用放射组学提取所述分割后的脑胶质瘤区域组学特征;
采用深度神经网络提取所述分割后的脑胶质瘤区域深度特征;
将所述组学特征和所述深度特征结合后加入年龄特征作为随机森林算法的输入,输出待预测磁共振图像对应的IDH基因型的分类;
将所述组学特征和所述深度特征结合作为随机森林算法的输入,输出待预测磁共振图像对应的IDH基因型的分类,具体包括:
采用t检验方法分别对所述组学特征和所述深度特征进行特征筛选,获得筛选后的所述组学特征和筛选后的所述深度特征;
将筛选后的所述组学特征和筛选后的所述深度特征结合,获得混合特征;
将所述混合特征和与所述待预测磁共振图像对应的年龄特征作为随机森林算法的输入,输出待预测磁共振图像对应的IDH基因型的分类。
2.根据权利要求1所述的磁共振成像脑胶质瘤IDH基因预测方法,其特征在于,所述损失目标函数为:
其中,λ和γ均表示正则化系数,为对抗损失,/>为循环一致性损失,/>为分割损失,/>为分割一致性损失,GB表示第一生成器,GA表示第二生成器,DB表示第一判别器,DA表示第二判别器,S表示分割网络;
xA表示目标域数据集中图像,xB表示源域数据集中图像,pd表示概率分布函数,表示求期望。
3.根据权利要求1所述的磁共振成像脑胶质瘤IDH基因预测方法,其特征在于,所述获取源域数据集和目标域数据集之后,还包括:
对所述源域数据集和所述目标域数据集中图像进行归一化处理。
4.一种磁共振成像脑胶质瘤IDH基因预测系统,其特征在于,包括:
数据采集模块,用于获取源域数据集和目标域数据集,所述源域数据集中图像为有标签的磁共振图像,所述目标域数据集中图像为无标签的磁共振图像;
脑胶质瘤区域预测网络构建模块,用于构建脑胶质瘤区域预测网络;所述脑胶质瘤区域预测网络包括生成网络、判别网络和分割网络;所述生成网络用于源域数据集和目标域数据集域间的自适应转换,所述生成网络包括第一生成器和第二生成器,第一生成器和第二生成器互呈双向循环结构;所述判别网络包括第一判别器和第二判别器,所述第一判别器和所述第一生成器组成第一生成对抗网络,所述第二判别器和所述第二生成器组成第二生成对抗网络;所述分割网络用于对输入图像进行脑胶质瘤区域分割;
脑胶质瘤区域预测网络训练模块,用于基于损失目标函数,采用所述源域数据集和所述目标域数据集训练所述脑胶质瘤区域预测网络,获得训练好的脑胶质瘤区域预测网络;所述损失目标函数根据对抗损失、循环一致性损失、分割损失和分割一致性损失确定;所述对抗损失根据所述生成网络和所述判别网络确定,所述分割损失通过所述分割网络输出结果与对应标签图像确定,所述循环一致性损失为所述生成网络保留输入图像全局语义信息的损失,所述分割一致性损失为所述分割网络保留输入图像脑胶质瘤区域语义信息的损失;
脑胶质瘤区域分割模块,用于采用训练好的脑胶质瘤区域预测网络对待预测磁共振图像进行脑胶质瘤区域分割,获得分割后的脑胶质瘤区域;
组学特征提取模块,用于采用放射组学提取所述分割后的脑胶质瘤区域组学特征;
深度特征提取模块,用于采用深度神经网络提取所述分割后的脑胶质瘤区域深度特征;
IDH基因型分类模块,用于将所述组学特征和所述深度特征结合后加入年龄特征作为随机森林算法的输入,输出待预测磁共振图像对应的IDH基因型的分类;
所述IDH基因型分类模块,具体包括:
特征筛选单元,用于采用t检验方法分别对所述组学特征和所述深度特征进行特征筛选,获得筛选后的所述组学特征和筛选后的所述深度特征;
混合特征获取单元,用于将筛选后的所述组学特征和筛选后的所述深度特征结合,获得混合特征;
IDH基因型分类单元,用于将所述混合特征和与所述待预测磁共振图像对应的年龄特征作为随机森林算法的输入,输出待预测磁共振图像对应的IDH基因型的分类。
5.根据权利要求4所述的磁共振成像脑胶质瘤IDH基因预测系统,其特征在于,所述损失目标函数为:
其中,λ和γ均表示正则化系数,为对抗损失,/>为循环一致性损失,/>为分割损失,/>为分割一致性损失,GB表示第一生成器,GA表示第二生成器,DB表示第一判别器,DA表示第二判别器,S表示分割网络;
xA表示目标域数据集中图像,xB表示源域数据集中图像,pd表示概率分布函数,表示求期望。
6.根据权利要求4所述的磁共振成像脑胶质瘤IDH基因预测系统,其特征在于,还包括:
归一化处理模块,用于对所述源域数据集和所述目标域数据集中图像进行归一化处理。
CN202210143820.0A 2022-02-17 2022-02-17 一种磁共振成像脑胶质瘤idh基因预测方法及系统 Active CN114463320B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210143820.0A CN114463320B (zh) 2022-02-17 2022-02-17 一种磁共振成像脑胶质瘤idh基因预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210143820.0A CN114463320B (zh) 2022-02-17 2022-02-17 一种磁共振成像脑胶质瘤idh基因预测方法及系统

Publications (2)

Publication Number Publication Date
CN114463320A CN114463320A (zh) 2022-05-10
CN114463320B true CN114463320B (zh) 2024-01-26

Family

ID=81413308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210143820.0A Active CN114463320B (zh) 2022-02-17 2022-02-17 一种磁共振成像脑胶质瘤idh基因预测方法及系统

Country Status (1)

Country Link
CN (1) CN114463320B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457361A (zh) * 2022-09-19 2022-12-09 京东方科技集团股份有限公司 分类模型获取方法、表达类别确定方法、装置、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596247A (zh) * 2018-04-23 2018-09-28 南方医科大学 一种融合放射组学和深度卷积特征进行图像分类的方法
CN109325951A (zh) * 2018-08-13 2019-02-12 深圳市唯特视科技有限公司 一种基于生成对抗网络的转化和分割医学卷的方法
CN109753992A (zh) * 2018-12-10 2019-05-14 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
CN110070935A (zh) * 2019-03-20 2019-07-30 中国科学院自动化研究所 基于对抗神经网络的医学图像合成方法、分类方法及装置
CN110490881A (zh) * 2019-08-19 2019-11-22 腾讯科技(深圳)有限公司 医学影像分割方法、装置、计算机设备及可读存储介质
CN112070781A (zh) * 2020-08-13 2020-12-11 沈阳东软智能医疗科技研究院有限公司 颅脑断层扫描图像的处理方法、装置、存储介质及电子设备
AU2020103905A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning
CN112862805A (zh) * 2021-03-04 2021-05-28 同济大学 听神经瘤图像自动化分割方法及系统
CN113723535A (zh) * 2021-09-02 2021-11-30 北京大学 基于CycleGAN深度学习的细胞微核组学图像处理方法及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596247A (zh) * 2018-04-23 2018-09-28 南方医科大学 一种融合放射组学和深度卷积特征进行图像分类的方法
CN109325951A (zh) * 2018-08-13 2019-02-12 深圳市唯特视科技有限公司 一种基于生成对抗网络的转化和分割医学卷的方法
CN109753992A (zh) * 2018-12-10 2019-05-14 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
CN110070935A (zh) * 2019-03-20 2019-07-30 中国科学院自动化研究所 基于对抗神经网络的医学图像合成方法、分类方法及装置
CN110490881A (zh) * 2019-08-19 2019-11-22 腾讯科技(深圳)有限公司 医学影像分割方法、装置、计算机设备及可读存储介质
CN112070781A (zh) * 2020-08-13 2020-12-11 沈阳东软智能医疗科技研究院有限公司 颅脑断层扫描图像的处理方法、装置、存储介质及电子设备
AU2020103905A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning
CN112862805A (zh) * 2021-03-04 2021-05-28 同济大学 听神经瘤图像自动化分割方法及系统
CN113723535A (zh) * 2021-09-02 2021-11-30 北京大学 基于CycleGAN深度学习的细胞微核组学图像处理方法及存储介质

Also Published As

Publication number Publication date
CN114463320A (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
CN112819076B (zh) 基于深度迁移学习的医学图像分类模型的训练方法及装置
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
Biffi et al. Explainable anatomical shape analysis through deep hierarchical generative models
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
JP7350582B2 (ja) モデル学習用のシステム、装置、及び学習方法
CN110298364B (zh) 面向功能性脑网络的多阈值下基于多任务的特征选择方法
Yao et al. Pneumonia detection using an improved algorithm based on faster r-cnn
CN112674720A (zh) 基于3d卷积神经网络的阿尔茨海默症的预诊断方法
Cui et al. Bidirectional cross-modality unsupervised domain adaptation using generative adversarial networks for cardiac image segmentation
CN114463320B (zh) 一种磁共振成像脑胶质瘤idh基因预测方法及系统
Wegmayr et al. Generative aging of brain MR-images and prediction of Alzheimer progression
Tyagi et al. Identification and classification of prostate cancer identification and classification based on improved convolution neural network
Zhuang et al. Class attention to regions of lesion for imbalanced medical image recognition
Sriramakrishnan et al. A rapid knowledge‐based partial supervision fuzzy c‐means for brain tissue segmentation with CUDA‐enabled GPU machine
Luong et al. A computer-aided detection to intracranial hemorrhage by using deep learning: a case study
Basu Analyzing Alzheimer's disease progression from sequential magnetic resonance imaging scans using deep convolutional neural networks
Lin et al. Hybrid CNN-SVM for alzheimer’s disease classification from structural MRI and the alzheimer’s disease neuroimaging initiative (ADNI)
Shekerbek et al. APPLICATION OF MATHEMATICAL METHODS AND MACHINE LEARNING ALGORITHMS FOR CLASSIFICATION OF X-RAY IMAGES.
CN113889235A (zh) 一种三维医学影像无监督特征抽取系统
Dai et al. A Generative Data Augmentation Trained by Low-quality Annotations for Cholangiocarcinoma Hyperspectral Image Segmentation
Wibisono et al. Segmentation-based knowledge extraction from chest X-ray images
Lin et al. MCI Conversion Prediction Based on Transfer Learning
Zhao et al. Key techniques for classification of thorax diseases based on deep learning
US20230196557A1 (en) Late Gadolinium Enhancement Analysis for Magnetic Resonance Imaging
Amitava et al. Lung Nodule Detection from Feature Engineering to Deep Learning in Thoracic CT Images: a Comprehensive Review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant