CN111582330A - 基于肺部肿瘤影像划分样本空间下的集成ResNet-NRC方法 - Google Patents

基于肺部肿瘤影像划分样本空间下的集成ResNet-NRC方法 Download PDF

Info

Publication number
CN111582330A
CN111582330A CN202010323907.7A CN202010323907A CN111582330A CN 111582330 A CN111582330 A CN 111582330A CN 202010323907 A CN202010323907 A CN 202010323907A CN 111582330 A CN111582330 A CN 111582330A
Authority
CN
China
Prior art keywords
sample
pet
resnet
roi
nrc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010323907.7A
Other languages
English (en)
Inventor
周涛
陆惠玲
霍兵强
贺钧
丁红胜
张飞飞
董雅丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North Minzu University
Original Assignee
North Minzu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North Minzu University filed Critical North Minzu University
Priority to CN202010323907.7A priority Critical patent/CN111582330A/zh
Publication of CN111582330A publication Critical patent/CN111582330A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

本发明公开了一种基于肺部肿瘤影像划分样本空间下的集成ResNet‑NRC方法，包括如下步骤：收集同一肺部肿瘤的三种维度下的医学图像信息，即三模态数据集CT、PET、PET/CT；根据三模态数据集CT、PET、PET/CT划分出三个模态的样本特征空间；根据三个模态的样本特征空间构建三种模态的残差神经网络模型，即基分类器；采用相对多数投票法对三种基分类器进行组合，形成最终分类识别结果。本发明分类精确度优，满足对基分类器的精确度高和差异性大的条件，可有效解决高维数据的优化问题，特异性和灵敏度等各项评价指标也较高，该方法具有较好的鲁棒性和泛化能力。

Description

基于肺部肿瘤影像划分样本空间下的集成ResNet-NRC方法
技术领域
本发明涉及医疗影像识别技术领域，更具体的说是涉及一种基于肺部肿瘤影像划分样本空间下的集成ResNet-NRC方法。
背景技术
医学影像学方法检查广泛应用于肺部肿瘤的诊断，其中包括X线成像、电子计算机断层扫描(Computed Tomography,CT)、正电子发射型计算机断层显像(Positron EmissionComputed Tomography,PET)及磁共振成像(Magnetic Resonance Imaging,MRI)等,PET主要根据示踪剂来选择性地反映组织器官的代谢情况。从分子水平上反映人体组织的生理、病理、生化及代谢等改变，适合于人体生理功能方面的研究。18F-FDG PET/CT结合PET和CT的优点，将解剖图像(CT)与功能代谢图像(PET)同机融合，既有精细的解剖结构又有丰富生理、生化及分子功能信息。实现了高灵敏度、高特异性、高准确性。可用于肿瘤诊断、治疗及预后随诊全过程。
集成学习技术由于与单分类器相比具有更高的准确性和良好的泛化能力而获得广泛关注，通过生成多个模型并将其组合以获得最终的预测结果来解决问题，集成学习在图像分类识别任务中具显著性的优势，目前基于集成学习的计算机辅助诊断技术(CAD)已经广泛应用于各种疾病影像的识别过程中，引入计算机辅助技术对肺癌的早期发现与诊疗有着重要的积极作用，它在辅助医生诊疗肺癌领域有着巨大的发展前景。
但是现有的集成学习方法无法满足对基分类器的精确度高和差异性大的条件，其对于医学影像识别的特异性和灵敏度无法达标。
因此，如何提供一种具有较好的鲁棒性和泛化能力的基于肺部肿瘤影像划分样本空间下的集成ResNet-NRC方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于肺部肿瘤影像划分样本空间下的集成 ResNet-NRC方法，通过建立多个同质且存在差异的个体学习器，整体分类性能优于单一个体分类器，且特异性和灵敏度等各项评价指标也较高，该方法具有较好的鲁棒性和泛化能力。
为了实现上述目的，本发明提供如下技术方案：
一种基于肺部肿瘤影像划分样本空间下的集成ResNet-NRC方法，具体步骤如下：
S1、收集同一肺部肿瘤的三种维度下的医学图像信息，即三模态数据集 CT、PET、PET/CT；
S2、根据三模态数据集CT、PET、PET/CT划分出三个模态的样本特征空间；
S3、根据三个模态的样本特征空间构建三种模态的残差神经网络模型，即基分类器；
S4、采用相对多数投票法对三种基分类器进行组合，形成最终分类识别结果。
优选的，所述S1中三模态数据集CT、PET、PET/CT中每个数据集均包括阴性样本集和阳性样本集。
优选的，所述S2中还包括对三模态数据集进行ROI区域提取的步骤：
S21、灰度图像转化，将加伪彩的PET/CT数据集影像转化为灰度图像；
S22、ROI区域图像提取，从三模态数据集的全局灰度图像中根据临床标记提取局部特征，即病灶区域对应的ROI区域图像，将ROI区域图像归一化；
S23、构造不同的样本特征空间，三模态数据集中样本数量相同，提取局部特征得到病灶的ROI区域图像得到与原始图像规模一样的集合 Sample-CT-ROI＝{Sample-CT-ROI，sample-PET-ROI，Sample-PET/CT-ROI}，其中，每个样本子集中，阴性样本和阳性样本规模一样；
S24、基于划分构造五折交叉实验数据集，在三个样本子集 Sample-CT-ROI，Sample-PET-ROI和Sample-PET/CT-ROI中，分别采用划分的算法，把每个样本子集的阴性样本集和阳性样本集划分成均匀的5份，得到5 折交叉的样本划分集合。
优选的，所述S3具体包括：
S31、采用迁移学习对残差神经网络ResNet-50进行预训练，并将预训练网络中的参数作为网络中的初始化参数，ResNet-NRC＝Transfer learning(ResNet-50,NRC)；
S32、在三个样本子集Sample-CT-ROI，Sample-PET-ROI和 Sample-PET/CT-ROI中，分别对ResNet-NRC网络进行再训练，得到基分类器，即：
ResNet-NRC-CT＝ResNet-NRC(Sample-CT-ROI)；
ResNet-NRC-PET＝ResNet-NRC(Sample-PET-ROI)；
ResNet-NRC-PET/CT＝ResNet-NRC(Sample-PET/CT-ROI)。
本发明设计的一种基于肺部肿瘤影像划分样本空间下的集成ResNet-NRC 方法与现有技术相比的优点在于：
第一，本发明使用迁移学习构造残差神经网络模型；第二，分别用CT， PET和PET/CT三个模态的数据集训练网络，提取全连接层的特征向量；第三，采用非负表示分类器(NRC)对特征向量进行非负表示，利用残差相似度进行分类；第四，采用“相对多数投票法”对三个模态NRC-ResNet分类器集成；最后，通过AlexNet和ResNet-50模型进行对比试验，本发明集成NRC-ResNet 整体分类性能优于单一个体分类器，且分类精确度优，满足对基分类器的精确度高和差异性大的条件，可有效解决高维数据的优化问题，特异性和灵敏度等各项评价指标也较高，该方法具有较好的鲁棒性和泛化能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的基于肺部肿瘤影像划分样本空间下的集成 ResNet-NRC方法的流程图；
图2为本发明实施例提供的CT、PET、PET/CT原始图像；
图3为本发明实施例提供的肺部肿瘤ROI区域图像提取过程；
图4为本发明实施例提供的肺部肿瘤图像ROI图像；
图5为本发明实施例提供的AlexNet与ResNet-50在物种不同指标下的折线图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于肺部肿瘤影像划分样本空间下的集成 ResNet-NRC方法，建立多个同质且存在差异的基分类器来解决同一个问题，然后将所有基分类器的预测结果通过一定的策略组合即得到集成学习的最终预测结果。在集成学习中，通常认为集成多个完全一致的分类器是不会对性能有任何帮助，如果存在完美的分类器，则集成也是没必要，既然分类器不完美，必须是存在差异的，对于存在差异且精确度要高于随机概率的分类器，分类器集成中的数目越多，集成的精度就越高，所以，要想构建一个好的网络模型，一方面应尽可能提高个体网络的泛化能力，另一方面要增大集成中各网络之间的差异。
本实施例采用同质型方法生成基分类器，即采用基于划分样本空间的 bagging算法，bagging算法采用随机划分样本空间的方式构造分类器，而本文在肺部肿瘤的数据图像采集中，收集同一肺部肿瘤的三种维度下度的医学图像信息，而三模态的数据集(CT,PET,PET/CT)由于对肺部肿瘤诊断作用不同，对病人同一位置的肺部肿瘤产生不同纹理结构信息，自然产生差异性，自然划分出三个不同模态的样本特征空间，进而可以训练三种模态的残差神经网络模型，满足基分类器的精确度高和差异性大两方面要求，最后采用“相对多数投票法”对基分类器组合，形成最终分类结果。
残差神经网络通过恒等映射重构了学习过程,恒等映射在不增加额外的参数和计算量的情况下，保证了网络性能不会下降，加快模型的训练速度，优化训练效果。但残差神经网络对学习到的高维特征维度较高，数据冗余，而NRC算法针对高维数据识别在提高稀疏表示能力和分类性能方面具有明显优势。通过18F-FDG PET/CT全身显像肺部肿瘤诊断，构建划分样本空间下的集成残差神经网络Bagging-ResNet，即划分出具有差异性的三个模态的样本特征空间(CT,PET,PET/CT)，采用ResNet-50提取特征，NRC分类构建三个模态的个体分类器，三个个体分类器集成构成Bagging-ResNet模型，基于以上讨论，本文提出了划分样本空间下的集成残差神经网络Bagging-ResNet 模型。实施例执行过程如下：
S1、收集同一肺部肿瘤的三种维度下的医学图像信息，即三模态数据集 CT、PET、PET/CT。
共获取CT、PET和PET/CT融合的肺部影像数据9000例，其中CT、PET 和PET/CT三种模态数据各3000例，每一种模态的数据包括经专家标记为肺部肿瘤的1500例和正常的1500例，为了避免因数据集太小而造成的过拟合现象，肺部肿瘤不限于具体的某一种肺部肿瘤，只要专家标记为肺部肿瘤的影像数据都作为实验数据。在获取临床图像中，PET/CT是将放射性标记物 18F-FDG注射入人体内，让其随着血液流动，通过计算机技术对放射性物质进行定位，构建出图像。通过其断层逐渐积累放射性物质，肺部活动较强的区域放射性物质积累的较多，肺部活动较弱的区域放射性物质积累的就较少，根据放射性标记物的分布就可以建立起肺部的图像。该技术一次检测实现解剖图像与功能图像同机融合，既有精细的解剖结构又有丰富生理、生化及分子功能信息，图2为其中一幅原始数据，左上图为肺部肿瘤PET影像，左下图为肺部肿瘤CT影像，右上图为全身影像，右下图为肺部肿瘤PET/CT图像。
设有肺部医学影像样本集Sample-Lung，其样本规模|Sample-Lung|＝9000，根据医学影像的种类(CT，PET，PET/CT)，Sample-Lung＝{Sample-CT Sample-PET Sample-PET/CT}，将肺部医学影像样本集Sample-lung划分为三个样本子集，Sample-CT、Sample-PET和Sample-PET/CT，其样本规模分别为 |Sample-CT|＝3000，|Sample-PET|＝3000，|Sample-PET/CT|＝3000，每个样本子集的阴性样本和阳性样本相同，即Sample-CT＝{Sample-CT-Negative Sample-CT-Positive}，|Sample-CT-Negativ|＝|Sample-CT-Positive|＝1500，Sample-PET＝{Sample-PET-Negative Sample-PET-Positive}， |Sample-PET-Negativ|＝|Sample-PET-Positive|＝1500， Sample-PET/CT＝{Sample-PET/CT-Negative Sample-PET/CT-Positive}， |Sample-PET/CT-Negativ|＝|Sample-PET/CT-Positive|＝1500。
S2、根据三模态数据集CT、PET、PET/CT划分出三个模态的样本特征空间。
首先将三模态数据集按照医学影像的种类进行划分，提取ROI区域，构造三个不同的样本特征空间，具体包括：
S21、灰度图像转化，将加伪彩的PET/CT数据集影像转化为灰度图像： Sample-Lung＝rgb2gra(Sample-Lung)；
S22、ROI区域图像提取，从三模态数据集的全局灰度图像中根据临床标记提取局部特征，即病灶区域对应的ROI区域图像，将ROI区域图像归一化实验数据，如50px×50px，Sample-Lung＝ROI-Lung(Sample-Lung)，对应三个样本子集的ROI区域提取过程分别是：即Sample-CT-ROI＝ROI-Lung(Sample-CT)， Sample-PET-ROI＝ROI-Lung(Sample-PET)，Sample-PET/CT-ROI＝ROI-Lung(Sample-PET/CT)，肺部肿瘤ROI区域图像提取过程见图3所示。
S23、构造不同的样本特征空间，三模态数据集中样本数量相同，提取局部特征得到病灶的ROI区域图像得到与原始图像规模一样的集合 Sample-CT-ROI＝{Sample-CT-ROI，sample-PET-ROI，Sample-PET/CT-ROI}，其中，每个样本子集中，每个3000例，阴性样本和阳性样本规模一样都是1500 例，即Sample-CT-ROI＝{Sample-CT-ROI-NegativeSample-CT-ROI-Positive}， |Sample-CT-ROI-Negativ|＝|Sample-CT-ROI-Positive|＝1500， Sample-PET-ROI＝{Sample-PET-ROI-Negative Sample-PET-ROI-Positive}， |Sample-PET-ROI-Negativ|＝|Sample-PET-ROI-Positive|＝1500， Sample-PET/CT-ROI＝{Sample-PET/CT-ROI-Negative Sample-PET/CT-ROI-Positive}，|Sample-PET/CT-ROI-Negativ|＝|Sample-PET/CT-ROI-Positive|＝1500。这里给出三个样本子集中具有代表性的阴性样本和阳性样本实例如图4所示。
S24、基于划分构造五折交叉实验数据集，在三个样本子集 Sample-CT-ROI，Sample-PET-ROI和Sample-PET/CT-ROI中，分别采用划分的算法，把每个样本子集的阴性样本集和阳性样本集划分成均匀的5份，得到5折交叉的样本划分集合。
S3、根据三个模态的样本特征空间构建三种模态的残差神经网络模型，即基分类器。
S31、采用迁移学习对残差神经网络ResNet-50进行预训练，并将预训练网络中的参数作为网络中的初始化参数，ResNet-NRC＝Transfer learning(ResNet-50,NRC)；
S32、在三个样本子集Sample-CT-ROI，Sample-PET-ROI和 Sample-PET/CT-ROI中，分别对ResNet-NRC网络进行再训练，得到个体分类器，即：
ResNet-NRC-CT＝ResNet-NRC(Sample-CT-ROI)；
ResNet-NRC-PET＝ResNet-NRC(Sample-PET-ROI)；
ResNet-NRC-PET/CT＝ResNet-NRC(Sample-PET/CT-ROI)。
本实施例使用预训练残差神经网络ResNet-50，将预训练网络中的参数作为网络中的初始化参数并训练，构建基于ResNet模型的三个单模态ResNet 网络，即CT模态的ResNet-NRC，PET模态的ResNet-NRC，PET/CT模态的 ResNet-NRC。
基于ResNet-NRC模型分类识别如下：整体流程如图3。
输入：三个样本子集Sample-CT-ROI，Sample-PET-ROI和 Sample-PET/CT-ROI
输出：ResNet-NRC个体分类器ResNet-NRC-CT、ResNet-NRC-PET和 ResNet-NRC-PET/CT
具体步骤如下：
(1)采用迁移学习对残差神经网络ResNet-50进行训练，ResNet＝Transferlearning(ResNet-50)；
(2)在三个将预训练网络中的参数作为网络中的初始化参数，在残差神经网络中训练并提取全连接层特征，即 ResNet-CT＝Training(ResNet,Sample-i-ROI)，i＝1，2，3分别对应CT、PET和 PET/CT；
(3)以用样本集Sample-CT-ROI进行训练为例：对于训练样本 X＝[X1,...,XK]，Xi∈Sample-CT-ROI，测试样本y＝[y1,…,yn]， yi∈Sample-CT-ROI，经残差神经网络ResNet特征提取，得到特征空间的训练样本矩阵X′＝[X1′,…,X′K]和测试样本矩阵y＝[y′1,…,y′n]；
(4)将矩阵X′和查询样本y′每一列标准化为单位L2范数；
(5)对y′用特征空间的训练样本X′进行非负表示，得表示非负系数
Figure BDA0002462464860000093
Figure BDA0002462464860000091
(6)通过训练样本对测试样本的非负表示进行残差相似度分类:
Figure BDA0002462464860000092
(7)输出残差结果所对应的标签类别:
Label(y')＝arg min{rk}
本实施例中采用五折交叉法进行训练，将每次结果进行平均得到最终的实验结果,即每次的训练样本数为2400幅,测试样本数为600幅，进行五次实验取平均值。
下面示例给出了不同网络与分类器算法组合的精确度与时间的比较结果：
其中，采用六个算法(AlexNet+NNC、AlexNet+Softmax、AlexNet+NRC、ResNet-50+NNC、ResNet-50+Softmax、ResNet-50+NRC)在三个不同模态(CT、PET、PET/CT)的样本空间上进行训练和识别时的识别精度和训练时间，以及集成以后的识别精度和训练时间，探究不同的网络模型、不同的分类算法和不同的样本空间对残差神经网络识别率和训练时间的影响，结果如下表1：
表1不同分类器的精确度与时间结果比较
Figure BDA0002462464860000101
可见，对于没有采用集成学习的网络模型，第一种情况，不同的网络模型，相同的分类算法。在上述示例中有三组对比实验，即：AlexNet+NNC和 ResNet-50+NNC，AlexNet+Softmax和ResNet-50+Softmax，AlexNet+NRC和 ResNet-50+NRC。以第三组为例进行说明，在CT'样本空间中，本发明提出的分类器ResNet-50+NRC模型比AlexNet+NRC模型的精确度提高0.7％，训练时间提高1019.04s，不难看出，残差神经网络ResNet与AlexNet相比，网络层数深，提取的图像特征丰富，分类精确度高，但是付出的代价是训练时间大幅提高。
第二种情况，采用相同的网络，不同的分类算法。在上述示例中有两组对比实验，即AlexNet+NNC、AlexNet+Softmax和AlexNet+NRC； ResNet-50+NNC、ResNet-50+Softmax和ResNet-50+NRC。以第二组为例进行说明，在CT样本空间中，本发明提出的分类器Net-50+NRC模型的分类精确度比ResNet-50+NNC高1.07％，比ResNet-50+Softmax高0.5％，从训练时间来看，比ResNet-50+NNC模型多28.04s，比ResNet-50+Softmax模型多22.67s，与第一种情况相比，整体训练时间都大幅提高，但在网络模型确定后，训练时间增幅不大。不难看出，在相同的网络模型下，非负表示分类算法NRC与 NNC和Softmax相比，具有较好的分类精度，较好解决高维数据的优化问题，付出的时间代价与第一种情况相比，降低了很多。
对于集成学习网络模型，相同的网络模型，相同的分类算法，不同的样本空间。在上述示例中有六组对比实验，即AlexNet+NNC和E-AlexNet+NNC， AlexNet+Softmax和E-AlexNet+Softmax，AlexNet+NRC和E-AlexNet+NRC， ResNet-50+NNC和E-ResNet-50+NNC，ResNet-50+Softmax和 E-ResNet-50+Softmax，ResNet-50+NRC和E-ResNet-50+NRC。以第三组为例，在三个不同的样本空间中，E-AlexNet+NRC模型的的分类精确度比 AlexNet+NRC模型在CT和PET/CT模态的样本空间中分别提高0.93％和 1.46％，训练时间分别提高305.28s和328.82s。以第六组为例，在三个模态的样本空间中，本发明提出的E-ResNet-50+NRC模型的的分类精确度比 ResNet-50+NR模型在CT和PET/CT模态的样本空间中分别提高0.37％和1.24％，训练时间分别提高1974.43和1992.16。不难看出，在相同的网络模型，相同的分类算法，样本空间不同的的条件下，集成学习能够提高分类准确率，付出的代价同样是训练时间大幅提高。在上述示例中有一组对比实验，即 E-AlexNet+NNC、E-AlexNet+Softmax、E-AlexNet+NRC、E-ResNet-50+NNC、 E-ResNet-50+Softmax、E-ResNet-50+NRC，本发明提出的E-ResNet-50+NRC 模型分类精确度99.57，是六个集成模型中最高。
S4、采用相对多数投票法对三种基分类器进行组合，即：ResNet-NRC＝Ensemble(ResNet-NRC-CT,ResNet-NRC-PET,ResNet-NRC-PET)，形成最终分类识别结果。
下面实施例给出了不同网络与分类器算法组合的比较结果：
实验在CT、PET、PET/CT和集成四个模态数据集进行，采用两种网络模型：AlexNet、ResNet-50模型，及三种分类算法：最近邻分类算法(NNC)、 Softmax、和非负表示分类算法(NRC)，两两组合的模型进行试验比较，从精确度、灵敏度、特异度、F值、MCC共5个指标评价算法的优劣。
评价指标具体如下：
精确度是最常见的评价指标，精确度越高，分类器性能越好，计算公式如下：
Figure BDA0002462464860000121
灵敏性和特异性分别用来衡量分类器对正例和负例的识别能力，值越大，识别性能越高，计算公式如下：
Figure BDA0002462464860000122
Figure BDA0002462464860000123
F值是查全率与查准率加权调和平均，用来权衡精确度和召回率，计算公式如下：
Figure BDA0002462464860000124
MCC是描述实际分类与预测分类之间的相关系数，全面考虑了真阳性、真阴性、假阳性和假阴性，是一种更加均衡的指标，它的取值范围是[-1,1]，值越接近于1表示受试对象的预测越准确，计算公式如下：
Figure BDA0002462464860000125
比较结果如下表：
表2不同网络模型及分类算法的精确度结果比较
Figure BDA0002462464860000126
Figure BDA0002462464860000131
表3不同网络模型及分类算法的灵敏性结果比较
Figure BDA0002462464860000132
表4不同网络模型及分类算法的特异性度结果比较
Figure BDA0002462464860000133
表5不同网络模型及分类算法的F值结果比较
Figure BDA0002462464860000134
表6不同网络模型及分类算法的MCC结果比较
Figure BDA0002462464860000135
Figure BDA0002462464860000141
为了全面衡量算法的性能，采用五折交叉的平均值作为该算法的最终分类结果。由表2-6可见，本实施例提出的分类器ResNet50+NRC与Alexnet+NRC 相比，精确度、灵敏度、特异度、F值、MCC分别提高了0.27％、0.33％、0.2％、 0.13％、0.48％；本实施例提出的E-ResNet50+NRC与E-Alexnet+NRC相比，精确度、灵敏度、特异度、F值、MCC分别提高了0.14％、0.2％、0.07％、0.14％、 0.36％，将这5个指标的平均值绘制折线图如图5所示。实验结果表明在CT 和PET/CT和集成三个模态上ResNet优于AlexNet模型，残差神经网络重构了学习过程，重定向了深层卷积神经网络信息流，从而很好地解决了深层卷积神经网络退化问题，在加深网络的同时不增加额外的参数和计算量，提高模型表达能力，并且加速网络收敛。相同网络模型、相同分类算法的前提下，在三个模态的样本空间上进行模型集成，实验结果表明，集成模型的性能优于个体模型的性能，尤其是本发明提出的E-ResNet-50+NRC模型网络深度深、网络泛化能力强，分类准确度高，其精确度，灵敏度、特异度、F值、MCC 等评价指标优于其它六个模型及其相应的集成模型，针对残差神经网络在CT、 PET、PET/CT和集成多模态医学图像提取到的特征出现维度较高，数据冗余等问题，本实施例提供的ResNet-NRC算法具有较好鲁棒性。
对于同一分类算法，本文比较AlexNet、ResNet-50两种网络模型模型，实验表明在CT和PET/CT和集成三个模态上ResNet优于AlexNet模型，残差神经网络重构了学习过程,重定向了深层卷积神经网络信息流,从而很好地解决了深层卷积神经网络退化问题，在加深网络的同时不增加额外的参数和计算量，提高模型表达能力，并且加速网络收敛，ResNet-50分类性能比 AlexNet较好，在单一模态和集成模态比较中，集成模态优于单一模态的CT和PET/CT，其中，集成模态ResNet-50分类效果最优，且精确度，灵敏度、特异度、F值、MCC等评价指标优于单一模态的AlexNet和ResNet-50、集成模态的AlexNet等模型。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种基于肺部肿瘤影像划分样本空间下的集成ResNet-NRC方法，其特征在于，包括如下步骤：
S1、收集同一肺部肿瘤的三种维度下的医学图像信息，即三模态数据集CT、PET、PET/CT；
S2、根据三模态数据集CT、PET、PET/CT划分出三个模态的样本特征空间；
S3、根据三个模态的样本特征空间构建三种模态的残差神经网络模型，即基分类器；
S4、采用相对多数投票法对三种基分类器进行组合，形成最终分类识别结果。
2.根据权利要求1所述的一种基于肺部肿瘤影像划分样本空间下的集成ResNet-NRC方法，其特征在于，所述S1中三模态数据集CT、PET、PET/CT中每个数据集均包括阴性样本集和阳性样本集。
3.根据权利要求1所述的一种基于肺部肿瘤影像划分样本空间下的集成ResNet-NRC方法，其特征在于，所述S2中还包括对三模态数据集进行ROI区域提取的步骤：
S21、灰度图像转化，将加伪彩的PET/CT数据集影像转化为灰度图像；
S22、ROI区域图像提取，从三模态数据集的全局灰度图像中根据临床标记提取局部特征，即病灶区域对应的ROI区域图像，将ROI区域图像归一化；
S23、构造不同的样本特征空间，三模态数据集中样本数量相同，提取局部特征得到病灶的ROI区域图像得到与原始图像规模一样的集合Sample-CT-ROI＝{Sample-CT-ROI，sample-PET-ROI，Sample-PET/CT-ROI}，其中，每个样本子集中，阴性样本和阳性样本规模一样；
S24、基于划分构造五折交叉实验数据集，在三个样本子集Sample-CT-ROI，Sample-PET-ROI和Sample-PET/CT-ROI中，分别采用划分的算法，把每个样本子集的阴性样本集和阳性样本集划分成均匀的5份，得到5折交叉的样本划分集合。
4.根据权利要求1所述的一种基于肺部肿瘤影像划分样本空间下的集成ResNet-NRC方法，其特征在于，所述S3具体包括：
S31、采用迁移学习对残差神经网络ResNet-50进行预训练，并将预训练网络中的参数作为网络中的初始化参数，ResNet-NRC＝Transferlearning(ResNet-50,NRC)；
S32、在三个样本子集Sample-CT-ROI，Sample-PET-ROI和Sample-PET/CT-ROI中，分别对ResNet-NRC网络进行再训练，得到基分类器，即：
ResNet-NRC-CT＝ResNet-NRC(Sample-CT-ROI)；
ResNet-NRC-PET＝ResNet-NRC(Sample-PET-ROI)；
ResNet-NRC-PET/CT＝ResNet-NRC(Sample-PET/CT-ROI)。
CN202010323907.7A 2020-04-22 2020-04-22 基于肺部肿瘤影像划分样本空间下的集成ResNet-NRC方法 Pending CN111582330A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010323907.7A CN111582330A (zh) 2020-04-22 2020-04-22 基于肺部肿瘤影像划分样本空间下的集成ResNet-NRC方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010323907.7A CN111582330A (zh) 2020-04-22 2020-04-22 基于肺部肿瘤影像划分样本空间下的集成ResNet-NRC方法

Publications (1)

Publication Number Publication Date
CN111582330A true CN111582330A (zh) 2020-08-25

Family

ID=72111687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010323907.7A Pending CN111582330A (zh) 2020-04-22 2020-04-22 基于肺部肿瘤影像划分样本空间下的集成ResNet-NRC方法

Country Status (1)

Country Link
CN (1) CN111582330A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114202524A (zh) * 2021-12-10 2022-03-18 中国人民解放军陆军特色医学中心 多模态医学图像的性能评价方法与系统
CN117649400A (zh) * 2024-01-25 2024-03-05 江西省肿瘤医院(江西省第二人民医院、江西省癌症中心) 一种异常检测框架下的影像组学分析方法及系统
CN117649400B (zh) * 2024-01-25 2024-05-03 江西省肿瘤医院(江西省第二人民医院、江西省癌症中心) 一种异常检测框架下的影像组学分析方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815601A (zh) * 2017-01-10 2017-06-09 西安电子科技大学 基于递归神经网络的高光谱图像分类方法
CN107680082A (zh) * 2017-09-11 2018-02-09 宁夏医科大学 基于深度卷积神经网络和全局特征的肺部肿瘤识别方法
CN109978880A (zh) * 2019-04-08 2019-07-05 哈尔滨理工大学 采用高维特征选择对肺部肿瘤ct图像进行判别的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815601A (zh) * 2017-01-10 2017-06-09 西安电子科技大学 基于递归神经网络的高光谱图像分类方法
CN107680082A (zh) * 2017-09-11 2018-02-09 宁夏医科大学 基于深度卷积神经网络和全局特征的肺部肿瘤识别方法
CN109978880A (zh) * 2019-04-08 2019-07-05 哈尔滨理工大学 采用高维特征选择对肺部肿瘤ct图像进行判别的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ERIC-JUWEI CHENG 等: "Deep Sparse Representation Classifier for facial recognition and detection system" *
王媛媛 等: "基于集成卷积神经网络的肺部肿瘤计算机辅助诊断模型" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114202524A (zh) * 2021-12-10 2022-03-18 中国人民解放军陆军特色医学中心 多模态医学图像的性能评价方法与系统
CN117649400A (zh) * 2024-01-25 2024-03-05 江西省肿瘤医院(江西省第二人民医院、江西省癌症中心) 一种异常检测框架下的影像组学分析方法及系统
CN117649400B (zh) * 2024-01-25 2024-05-03 江西省肿瘤医院(江西省第二人民医院、江西省癌症中心) 一种异常检测框架下的影像组学分析方法及系统

Similar Documents

Publication Publication Date Title
Yang et al. EMS-Net: Ensemble of multiscale convolutional neural networks for classification of breast cancer histology images
Piccialli et al. A survey on deep learning in medicine: Why, how and when?
CN108364006B (zh) 基于多模式深度学习的医学图像分类装置及其构建方法
Shahzadi et al. CNN-LSTM: Cascaded framework for brain tumour classification
Loddo et al. Deep learning based pipelines for Alzheimer's disease diagnosis: a comparative study and a novel deep-ensemble method
Wu et al. Discrimination and conversion prediction of mild cognitive impairment using convolutional neural networks
Tseng et al. DNetUnet: a semi-supervised CNN of medical image segmentation for super-computing AI service
Banerjee et al. Deep radiomics for brain tumor detection and classification from multi-sequence MRI
Wang et al. Learning methods of convolutional neural network combined with image feature extraction in brain tumor detection
Lei et al. Magnetic resonance imaging-based pseudo computed tomography using anatomic signature and joint dictionary learning
Altini et al. Liver, kidney and spleen segmentation from CT scans and MRI with deep learning: A survey
Wu et al. A supervoxel classification based method for multi-organ segmentation from abdominal ct images
Qian et al. Stratification of pseudoprogression and true progression of glioblastoma multiform based on longitudinal diffusion tensor imaging without segmentation
Tang et al. Research on medical image classification based on machine learning
Banerjee et al. Glioma classification using deep radiomics
Lu Computer-aided diagnosis research of a lung tumor based on a deep convolutional neural network and global features
CN115496720A (zh) 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备
Özbay et al. Interpretable features fusion with precision MRI images deep hashing for brain tumor detection
Esmaeili et al. Generative adversarial networks for anomaly detection in biomedical imaging: A study on seven medical image datasets
CN117422704A (zh) 一种基于多模态数据的癌症预测方法、系统及设备
CN111582330A (zh) 基于肺部肿瘤影像划分样本空间下的集成ResNet-NRC方法
CN117195027A (zh) 基于成员选择的簇加权聚类集成方法
Peng et al. A multi-task network for cardiac magnetic resonance image segmentation and classification
Menze et al. Proceedings of the miccai challenge on multimodal brain tumor image segmentation (brats) 2012
Liu et al. Large margin and local structure preservation sparse representation classifier for Alzheimer’s magnetic resonance imaging classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination