CN114708347A - 一种基于自适应选择的双源域异构迁移学习的肺结节ct图像分类方法 - Google Patents

一种基于自适应选择的双源域异构迁移学习的肺结节ct图像分类方法 Download PDF

Info

Publication number
CN114708347A
CN114708347A CN202210280434.6A CN202210280434A CN114708347A CN 114708347 A CN114708347 A CN 114708347A CN 202210280434 A CN202210280434 A CN 202210280434A CN 114708347 A CN114708347 A CN 114708347A
Authority
CN
China
Prior art keywords
source
feature
convolution
network
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210280434.6A
Other languages
English (en)
Inventor
崔恩铭
冯宝
陈业航
龙晚生
马长宜
陆森良
侍江峰
刘昱
何婧
胡子建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangmen Central Hospital
Guilin University of Aerospace Technology
Original Assignee
Jiangmen Central Hospital
Guilin University of Aerospace Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangmen Central Hospital, Guilin University of Aerospace Technology filed Critical Jiangmen Central Hospital
Priority to CN202210280434.6A priority Critical patent/CN114708347A/zh
Publication of CN114708347A publication Critical patent/CN114708347A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于CT图像分类技术领域，具体地涉及一种基于自适应选择的双源域异构迁移学习的肺结节CT图像分类方法。本发明方法利用CT图像对SPSN患者进行PT与LA的术前辅助诊断。该方法包括两个部分：①基于自适应选择的双源域异构迁移学习的特征提取，②基于稀疏贝叶斯极限学习机的集成分类器构建。基于自适应选择的双源域异构迁移学习模型通过设计基于自适应选择的双源域特征匹配网络自适应确定源网络与目标网络之间每对特征图的匹配权重，以及源网络特征块和目标网络之间每对卷积块的匹配权重，以自动选择源网络中有利于目标任务学习的特征以及特征迁移的目的地，从而约束目标网络的训练，进而提高目标网络在小样本情况下的鲁棒性。

Description

一种基于自适应选择的双源域异构迁移学习的肺结节CT图像 分类方法
技术领域
本发明属于CT图像分类技术领域，具体地涉及一种基于自适应选择的双源域异构迁移学习的肺结节CT图像分类方法。
背景技术
随着计算机断层扫描(Computed Tomography，CT)技术的发展，极大的提高了孤立型肺实性结节(Solitary Pulmonary SolidNodule，SPSN)的检出率。SPSN是孤立型肺实性结节的英文缩写，PT是肺结核的英文缩写；LA是肺腺癌的英文缩写，肺结核(PulmonaryTuberculosis,PT)是良性SPSN的一种典型组织病理学表现；另一方面，肺腺癌(LungAdenocarcinomas,LA)是肺癌中最常见的组织学类型。在临床中，LA患者应采用更积极的治疗方案，以改善预后；而PT患者应避免不必要的治疗程序(如手术、化疗等)。因此，一旦发现SPSN，必须评估其恶性风险，以确定适当的治疗计划。然而，由于SPSN中的PT在放射影像学上的表现与LA相似，从而给临床医生带来诊断困境。因此，开发一种准确，高效的方法术前鉴别SPSN中的PT与LA是非常有必要的。
近年来，随着医学影像技术和计算机技术的迅速发展，计算机辅助诊断受到广泛的关注。由于卷积神经网络(Convolutional Neural Network，CNN)具有优异的特征学习能力，使得CNN在医学影像研究中得到了大量的应用。然而，医学领域数据集的规模往往较小，CNN在小样本的情况下容易发生过拟合的问题。为了改善CNN在小样本下的效果，学者们将迁移学习引入CNN中。在肺结节医学影像研究中，基于模型微调是常用的迁移学习策略。基于模型微调的方法首先在一个大型数据集(如ImageNet)上训练一个源网络，然后将学到的权重作为目标网络的初始权重，并利用目标数据对目标网络进行微调。然而，当源域数据和目标域数据在语义上不相似时，基于模型微调的迁移学习模型在目标数据上仍然会出现过拟合。
为此，学者们提出异构迁移学习的方法。在异构迁移学习中，通过特征匹配的方式实现知识在不同领域之间的迁移，从而实现利用源域数据中学习到的知识帮助目标网络的训练。Romero等提出一个教师-学生训练模式，通过计算教师特征与学生特征之间l2匹配损失，将知识从更深的教师网络迁移至更浅的学生网络。Zagoruyko等和Srinivas等分别提出注意力迁移和雅可比矩阵匹配方法，使用特征图或雅可比矩阵生成注意力图实现知识的迁移。
上述方法虽然使得模型在异构数据源的情况下具有一定的效果，但存在两个问题：①在一个源网络中，不同的特征对目标任务的重要性是不一样的，甚至有些特征是冗余的。当冗余特征迁移至目标网络时，可能会产生负迁移。②仅仅根据经验确定源网络中的特征如何迁移至目标网络，这将耗费大量的人力物力，且结果可能不是最优的。
此外，有研究表明，当源域数据与目标域数据更相近时，迁移学习的效果更好。在医学影像领域，一般将ImageNet作为迁移学习的源域数据，因为ImageNet训练的网络具有丰富的基础纹理信息。然而，在医学影像中，与ImageNet相比，相同组织的医学影像(如，肺的全视野数字切片图像(Whole Slide Images，WSI)与肺的CT图像)在语义上更相近。肺的WSI被认为是肺部病理诊断的金标准，因为它能在显微镜下提供大量的肿瘤微观信息；相比之下，肺的CT图像可在宏观尺度上反映肿瘤的影像学信息。因此，利用CT图像对SPSN患者进行辅助诊断时，结合ImageNet和肺WSI的双源域异构迁移学习的效果可能会更好。
发明内容
本发明针对上述现有技术存在的问题，本发明提出了一种基于自适应选择的双源域异构迁移学习的肺结节CT图像分类方法，利用CT图像对SPSN患者进行PT与LA的术前辅助诊断。该方法包括两个部分：①基于自适应选择的双源域异构迁移学习的特征提取，②基于稀疏贝叶斯极限学习机(Extreme Learning Machine，ELM)的集成分类器构建。
首先，提出基于自适应选择的双源域异构迁移学习模型。该模型通过设计基于自适应选择的双源域特征匹配网络自适应确定源网络(基于ImageNet的源网络1与基于肺WSI的源网络2)与目标网络之间每对特征图的匹配权重，以及源网络特征块和目标网络特征块之间的匹配权重。这两个权重可自动选择源网络中有利于目标任务学习的特征以及特征迁移的目的地，从而约束目标网络的训练，进而提高目标网络在小样本情况下的鲁棒性。
同时，提出基于多样化分支块(Diverse Branch Block，DBB)结构的目标网络，使得目标网络具有不同的感受野和复杂性的路径，进一步提高目标网络的特征表达能力。训练好目标网络后，将目标网络中DBB结构等效转换为一个卷积核，这将使目标网络既具有丰富特征空间，又可以保持原有的推理时间成本。
然后，将目标网络的卷积核作为特征提取器提取特征。此外，将患者的临床特征与CT征象纳入分析，以对患者进行全面分析。之后，提出基于稀疏贝叶斯ELM的集成分类器。该集成学习以基分类器的输出作为集成分类器隐藏层的输出，并可自动倾向于如何结合不同基分类器的输出来提高分类性能。最后，在两个医疗中心的数据上评估本文方法的效果。
为了实现上述目的，本发明所采用的技术方案如下：
一种基于自适应选择的双源域异构迁移学习的肺结节CT图像分类方法，包括：
步骤1：获取原始肺部SPSN的CT图像数据集、肺癌WSI数据集、自然图像的ImageNet数据集；
步骤2：利用步骤1获取的肺癌WSI数据集训练ResNet34，作为源网络1；利用步骤1获取的自然图像的ImageNet数据集训练另一个ResNet34，作为源网络2；
步骤3：在步骤2的基础上，利用步骤1获取的肺部SPSN的CT图像数据集分别通过源网络1和源网络2得到源特征空间1和源特征空间2，源网络1和源网络2中每一个卷积核的输出分别作为源特征空间1和源特征空间2的某个特征图；
步骤4：在步骤3的基础上，利用肺部SPSN的CT图像数据集训练基于自适应选择的双源域特征匹配模型以及基于多样化分支块结构的ResNet18，作为目标模型；
步骤5：在步骤4的基础上，以肺部SPSN的CT图像作为等效变换后的目标模型的输入数据，将目标模型等效变换后的卷积核作为特征提取器提取深度学习特征；
步骤6：获取每个患者的临床特征、CT主观征像，并串联步骤5中的深度学习特征形成新的特征集；
步骤7：在步骤6的基础上，训练基于稀疏贝叶斯极限学习机的集成学习分类器，集成学习分类器中的基分类器和集成分类器都是基于稀疏贝叶斯的极限学习机，得到肺结节CT图像分类结果。
优选的，所述步骤4包括：
步骤4.1：在步骤3获取的源特征空间1和源特征空间2的基础上，基于自适应选择的双源域特征匹配网络自适应确定源特征空间1、源特征空间2与目标网络之间每对特征图的匹配权重，以及源网络1、源网络2特征块和目标网络每对卷积块之间的匹配权重，根据这两个匹配权重构建迁移损失函数，并结合目标网络的损失函数获得基于自适应选择的双源域异构迁移学习模型的损失函数；
步骤4.2：使用步骤4.1获得基于自适应选择的双源域异构迁移学习模型的损失函数，使用四阶段训练方法，进行基于自适应选择的双源域异构迁移学习中的特征匹配模型与基于多样化分支块结构的目标网络训练；
优选的，所述步骤4.1具体为：
步骤4.1.1：设x为基于多样化分支块结构的目标网络以及源网络1、源网络2的输入，
Figure BDA0003557620340000051
表示源特征空间1的第m1块的特征图，
Figure BDA0003557620340000052
表示源网络2第m2块的特征图，
Figure BDA0003557620340000053
表示参数为θ的目标网络第n块的特征图，基于自适应选择的双源域特征匹配网络的目标是利用S1和S2中有利于目标任务学习的特征约束Tθ的训练，定义一个
Figure BDA0003557620340000054
与
Figure BDA0003557620340000055
和
Figure BDA0003557620340000056
之间的l2范数距离，通过最小化l2范数距离实现有利于目标任务学习的特征选择，该l2范数距离定义为：
Figure BDA0003557620340000057
其中，rθ(·)是逐点卷积，保证
Figure BDA0003557620340000058
与源特征空间
Figure BDA0003557620340000059
具有相同的通道数；
步骤4.1.2：定义源网络1、源网络2中的每个特征图的加权特征匹配损失为：
Figure BDA00035576203400000510
Figure BDA00035576203400000511
其中，H×W是
Figure BDA0003557620340000061
和
Figure BDA0003557620340000062
的特征图大小，
Figure BDA0003557620340000063
为第c1个通道中
Figure BDA0003557620340000064
和
Figure BDA0003557620340000065
之间的待学习权重，
Figure BDA0003557620340000066
为第c2个通道中
Figure BDA0003557620340000067
(x)和
Figure BDA0003557620340000068
之间的待学习权重，且
Figure BDA0003557620340000069
待学习权重即一对特征图的匹配权重；
步骤4.1.3：对步骤4.1.2中的
Figure BDA00035576203400000610
和
Figure BDA00035576203400000611
定义两个全连接神经网络
Figure BDA00035576203400000612
和
Figure BDA00035576203400000613
分别学习
Figure BDA00035576203400000614
和
Figure BDA00035576203400000615
的取值，
Figure BDA00035576203400000616
和
Figure BDA00035576203400000617
分别以
Figure BDA00035576203400000618
和
Figure BDA00035576203400000619
中每个特征图的全局均值池化为输入，以softmax形式作为网络的输出，则：
Figure BDA00035576203400000620
其中φ1和φ2分别是
Figure BDA00035576203400000621
和
Figure BDA00035576203400000622
的参数，对于给定的
Figure BDA00035576203400000623
与
Figure BDA00035576203400000624
与
Figure BDA00035576203400000625
在每个输入图像中，针对
Figure BDA00035576203400000626
中不同的特征图给予不同的可训练权重，越重要的特征图所对应的权重越大，这使得对应特征图的损失越受到关注；
步骤4.1.4：分别以
Figure BDA00035576203400000627
中的每个卷积块的输出为一个单位，分别为每队卷积块(m1,n)、(m2,n)引入一个可学习参数
Figure BDA00035576203400000628
和
Figure BDA00035576203400000629
Figure BDA00035576203400000630
和
Figure BDA00035576203400000631
分别表示
Figure BDA00035576203400000632
对
Figure BDA00035576203400000633
对
Figure BDA00035576203400000634
的迁移程度，即一对卷积块的匹配权重，
Figure BDA00035576203400000635
和
Figure BDA00035576203400000636
越大，则表示该对卷积块的特征对目标任务的学习越有利；同样的，定义两个全连接神经网络
Figure BDA00035576203400000637
和
Figure BDA00035576203400000638
分别学习
Figure BDA00035576203400000639
和
Figure BDA00035576203400000640
的取值，
Figure BDA00035576203400000641
和
Figure BDA00035576203400000642
分别以
Figure BDA00035576203400000643
和
Figure BDA00035576203400000644
的全局均值池化为输入，网络的输出以ReLU6形式给出，以确保
Figure BDA00035576203400000645
和
Figure BDA00035576203400000646
的非负性，并防止
Figure BDA00035576203400000647
和
Figure BDA00035576203400000648
变得过大，即：
Figure BDA00035576203400000649
该网络自动学习源网络特征图对目标网络特征图的重要块对；
步骤4.1.5：在得到
Figure BDA0003557620340000071
相对于目标网络的每对特征图的匹配权重
Figure BDA0003557620340000072
和
Figure BDA0003557620340000073
以及每对卷积块的匹配权重
Figure BDA0003557620340000074
和
Figure BDA0003557620340000075
后，则迁移的损失被定义为：
Figure BDA0003557620340000076
其中，P1和P2分别是
Figure BDA0003557620340000077
与
Figure BDA0003557620340000078
与
Figure BDA0003557620340000079
的候选卷积块对的集合；
则基于自适应选择的双源域异构迁移学习模型的最终损失函数定义为：
Ltotal(θ|x,y,φ)＝Lorg(θ|x,y)+βLwfm(θ|x,φ) (5)
其中，Lorg(θ|x,y)为目标网络原始的损失函数，β是一个超参数。
优选的，基于自适应选择的双源域异构迁移学习模型中的特征匹配网络以及基于多样化分支块的目标模型的训练方法，所述步骤4.2具体包括：
步骤4.2.1：初始化θ和φ，定义θ为θ0；
步骤4.2.2：针对当前参数θ0，利用肺部SPSN的CT图像数据集对基于自适应选择的双源域异构迁移学习中的目标网络进行T次更新，使Lwfm(θx,φ)最小化，更新后的θ定义为θT；
步骤4.2.3：针对当前参数θT，利用肺部SPSN的CT图像数据集对基于自适应选择的双源域异构迁移学习中的目标网络进行单步更新，使Lorg(θx,y)最小化，更新后的θ定义为θT+1；
步骤4.2.4：在步骤4.2.2-步骤4.2.3阶段使用的样本下，根据Lorg(θT|x,y)到Lorg(θT+1|x,y)的变化衡量目标网络适应目标任务的速度，最后，通过最小化Lorg(θT+1|x,y)更新特征匹配网络的参数φ；
步骤4.2.5：训练过程迭代重复步骤4.2.2至步骤4.2.4，直至满足目标网络的收敛条件，收敛条件为目标网络的损失趋于稳定或达到最大训练次数。
优选的，当目标模型训练时，使用基于多样化分支块结构的目标网络，即将传统ResNet18中的卷积核替换为多样化分支块结构，当目标模型训练好后，提取深度学习特征前，需将目标模型的多样化分支块结构等效变换为一个卷积核；所述步骤5具体包括：
步骤5.1：设卷积核的输入为
Figure BDA0003557620340000081
V是输入特征图的个数，H×W为输入特征图的大小，卷积核的参数为
Figure BDA0003557620340000082
C为输入通道数，与输入特征图的个数相等，D为输出通道数，K×K为卷积尺寸；卷积核偏置的矩阵形式为
Figure BDA0003557620340000083
卷积核输出为
Figure BDA0003557620340000084
H′×W′是输出特征图的大小，卷积的齐次性和可加性分别为公式(6)和(7)所示：
Figure BDA0003557620340000085
Figure BDA0003557620340000086
其中F1和F2分别是卷积核1和卷积核2的参数，p为实数；
步骤5.2：根据步骤5.1卷积的齐次性和可加性，可得5个等效变换公式，以进行等价转换，最后使用5个等价变换公式将DBB结构转换为单个卷积核，提高特征表达能力。
优选的，所述步骤5.2的5个等效变换公式包括：
等价变换1：卷积核与批归一化的融合；
卷积核和批归一化是成对出现，而两者根据卷积的齐次性可合并为一个卷积，设j是通道索引，μj和σj分别是批处理数据的均值和方差，γj和βj分别为批归一化的比例因子和偏差项，根据批归一化的原理，可得合并后第j个输出通道的输出为
Figure BDA0003557620340000091
根据卷积的齐次性，合并后的卷积核的参数为
Figure BDA0003557620340000092
等价变换2：卷积分支相加；
当两个或多个具有相同参数的卷积核的输出相加时，根据卷积的可加性，上述卷积组合的输出可合并为一个卷积核的输出，合并后的卷积核参数为：
F′←F1+F2,b′←b1+b2 (10)
其中，F1和F2分别是卷积核1、2的参数，b1和b2分别是卷积核1、2的偏置；
等价变换3：串联卷积的融合；
对于1×1卷积串联K×K卷积，设1×1卷积的参数为
Figure BDA0003557620340000093
K×K卷积的参数为
Figure BDA0003557620340000094
可得两个卷积核的合并输出为：
Figure BDA0003557620340000095
其中REP(b1)表示偏置b1的矩阵形式，矩阵里的值全部为b1，矩阵大小跟随相应卷积核的大小；
由于F1是一个1×1卷积，只进行逐通道的线性组合而不进行空间聚合，因此可将1×1卷积串联K×K卷积合并为一个新的卷积核
Figure BDA0003557620340000096
即公式(11)可变换为：
Figure BDA0003557620340000097
式中，
Figure BDA0003557620340000101
TRANS(F1)表示卷积核F1的转置，即将F1的输入通道个数的位置与输出通道个数的位置进行转置，如TRANS(F1 D×C×1×1)＝FC×D×1×1，由于
Figure BDA0003557620340000102
是一个常数矩阵，则
Figure BDA0003557620340000103
等价变换4：平均池化转换；
核大小为K、步长为s的平均池化操作可等价于具有相同K和s的卷积核，这个卷积核
Figure BDA0003557620340000104
被定义为：
Figure BDA0003557620340000105
与平均池化一样，当s>1时，表现为下采样；但当s＝1时，是平滑操作；
等价变换5：多尺度卷积融合；
对于零padding的尺寸为kh×kw(kh≤K,kw≤K)的卷积核可等价变换为一个K×K的卷积核，如步长为1，零padding的卷积核
Figure BDA0003557620340000106
可等价为步长为1，padding为K/2的卷积核
Figure BDA0003557620340000107
b′∈RD为：
Figure BDA0003557620340000108
偏置b′＝b∈RD。
优选的，所述步骤7包括：
步骤7.1：使用曼-惠特尼U检验分别对步骤5提取的深度学习特征和6提取患者的临床特征与CT征象进行检验，选取对PT与LA的诊断具有显著差异的深度学习特征、临床特征与CT征象；
步骤7.2：将具有显著差异的深度学习特征、临床特征与CT征象串联起来，形成新的特征集，特征集的大小为N*K，总样本数为N表示样本数，K表示每个样本的特征数；
步骤7.3：将N*K的特征集随机抽样，变成M个样本集(m1*K，m2*K……mM*K)；
步骤7.4：利用M个样本集分别训练M个基分类器，基分类器为基于稀疏贝叶斯的极限学习机；
步骤7.5：训练好M个基分类器后，将M个基分类器的输出作为集成分类器的隐藏层输出，集成分类器是基于稀疏贝叶斯的极限学习机；
步骤7.6：训练集成分类器的隐藏层与输出层的权重，训练好隐藏层与输出层的权重后，集成分类器的结果即为肺结节CT图像分类结果。
与现有技术相比，本发明的有益效果是：
1.本发明提出基于自适应选择的双源域异构迁移学习模型。该模型通过设计基于自适应选择的双源域特征匹配网络自适应确定源网络(基于ImageNet的源网络1与基于肺WSI的源网络2)与目标网络之间每对特征图的匹配权重，以及源网络特征块和目标网络特征块之间的匹配权重。这两个权重可自动选择源网络中有利于目标任务学习的特征以及特征迁移的目的地，从而约束目标网络的训练，进而提高目标网络在小样本情况下的鲁棒性；
2.本发明提出基于多样化分支块(Diverse Branch Block，DBB)结构的目标网络，使得目标网络具有不同的感受野和复杂性的路径，进一步提高目标网络的特征表达能力；
3.本发明训练好目标网络后，将目标网络中DBB结构等效转换为一个卷积核，这将使目标网络既具有丰富特征空间，又可以保持原有的推理时间成本。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
在附图中：
图1为本发明的方法流程图；
图2为本发明方法的框架图；
图3为本发明基于自适应选择的双源域特征匹配网络，(a)为选择源网络中有利于目标任务学习的特征，(b)为两个源网络与目标网络之间卷积块的匹配；
图4(a)为本发明基于DBB结构的目标网络，(b)为训练时的DBB结构；
图5为本发明特征提取过程；
图6为本发明基于稀疏贝叶斯ELM的集成分类器。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例：
参照附图1-6所示，一种基于自适应选择的双源域异构迁移学习的肺结节CT图像分类方法，如图1所示，包含两个部分：①基于自适应选择的双源域异构迁移学习的特征提取、②基于稀疏贝叶斯ELM的集成学习的分类器构建。具体包括：
步骤1：从数据库中获取原始肺部SPSN的CT图像数据集、肺癌WSI数据集、自然图像的ImageNet数据集；
步骤2：利用步骤1获取的肺癌WSI数据集训练ResNet34，作为源网络1；利用步骤1获取的自然图像的ImageNet数据集训练另一个ResNet34，作为源网络2；
步骤3：在步骤2的基础上，利用步骤1获取的肺部SPSN的CT图像数据集分别通过源网络1和源网络2得到源特征空间1和源特征空间2，源网络1和源网络2中每一个卷积核的输出分别作为源特征空间1和源特征空间2的某个特征图；
步骤4：在步骤3的基础上，利用肺部SPSN的CT图像数据集训练基于自适应选择的双源域特征匹配模型以及基于多样化分支块结构的ResNet18，作为目标模型，特征匹配模型的作用是选择源特征空间1和源特征空间2中有利于目标任务学习的特征约束基于多样化分支块结构的目标模型训练；
本实施例提出基于DBB结构的ResNet18作为目标网络，如图4所示，该网络将原始3×3卷积替换为DBB结构。DBB结构通过结合不同尺度以及不同复杂性的分支结构(包括多尺度卷积序列、序列卷积和平均池化)，使目标网络具有不同的感受野和不同复杂性的路径，提高网络的特征表达能力。同时在每个卷积核或平均池化后都跟随一个批归一化，以加快模型的收敛速度以及避免梯度消失。进一步的，根据卷积的齐次性和可加性，DBB结构可等价转换为单个卷积核。因此，在目标网络训练时使用基于DBB结构的网络结构，而在验证/推理时，使用等价转换后的网络结构。这使得目标网络既可以具有丰富特征空间，又可以保持原有的推理时间成本。
因此，步骤4具体的包括：
步骤4.1：在步骤3获取的源特征空间1和源特征空间2的基础上，基于自适应选择的双源域特征匹配网络自适应确定源特征空间1、源特征空间2与目标网络之间每对特征图的匹配权重，以及源网络1、源网络2特征块和目标网络每对卷积块之间的匹配权重，根据这两个匹配权重构建迁移损失函数，并结合目标网络的损失函数获得基于自适应选择的双源域异构迁移学习模型的损失函数；
在给定源网络和目标网络的情况下，如图3所示，特征匹配网络决定了：①源网络中哪些特征应该被迁移以及迁移的权重(选择性源网络中有利于目标任务学习的特征)；②源网络和目标网络之间哪些块的特征应该匹配以进行迁移。图3中线条的粗细代表权重的大小，线条越粗代表权重越大。
所述步骤4.1具体为：
步骤4.1.1：设x为基于多样化分支块结构的目标网络以及源网络1、源网络2的输入，
Figure BDA0003557620340000141
表示源特征空间1的第m1块的特征图，
Figure BDA0003557620340000142
表示源网络2第m2块的特征图，
Figure BDA0003557620340000143
表示参数为θ的目标网络第n块的特征图，基于自适应选择的双源域特征匹配网络的目标是利用S1和S2中有利于目标任务学习的特征约束Tθ的训练，定义一个
Figure BDA0003557620340000144
与
Figure BDA0003557620340000145
和
Figure BDA0003557620340000146
之间的l2范数距离，通过最小化l2范数距离实现有利于目标任务学习的特征选择，该l2范数距离定义为：
Figure BDA0003557620340000147
其中，rθ(·)是逐点卷积，保证
Figure BDA0003557620340000148
与源特征空间
Figure BDA0003557620340000149
具有相同的通道数；
步骤4.1.2：定义源网络1、源网络2中的每个特征图的加权特征匹配损失为：
Figure BDA0003557620340000151
Figure BDA0003557620340000152
其中，H×W是
Figure BDA0003557620340000153
和
Figure BDA0003557620340000154
的特征图大小，
Figure BDA0003557620340000155
为第c1个通道中
Figure BDA0003557620340000156
和
Figure BDA0003557620340000157
之间的待学习权重，
Figure BDA0003557620340000158
为第c2个通道中
Figure BDA0003557620340000159
和
Figure BDA00035576203400001510
之间的待学习权重，且
Figure BDA00035576203400001511
待学习权重即一对特征图的匹配权重；
步骤4.1.3：对步骤4.1.2中的
Figure BDA00035576203400001512
和
Figure BDA00035576203400001513
定义两个全连接神经网络
Figure BDA00035576203400001514
和
Figure BDA00035576203400001515
分别学习
Figure BDA00035576203400001516
和
Figure BDA00035576203400001517
的取值，
Figure BDA00035576203400001518
和
Figure BDA00035576203400001519
分别以
Figure BDA00035576203400001520
和
Figure BDA00035576203400001521
中每个特征图的全局均值池化为输入，以softmax形式作为网络的输出，则：
Figure BDA00035576203400001522
其中φ1和φ2分别是
Figure BDA00035576203400001523
和
Figure BDA00035576203400001524
的参数，对于给定的
Figure BDA00035576203400001525
与
Figure BDA00035576203400001526
与
Figure BDA00035576203400001527
如图3(a)所示，在每个输入图像中，针对
Figure BDA00035576203400001528
中不同的特征图给予不同的可训练权重，越重要的特征图所对应的权重越大，这使得对应特征图的损失越受到关注；
步骤4.1.4：如图3(b)所示，分别以
Figure BDA00035576203400001529
中的每个卷积块的输出为一个单位，分别为每队卷积块(m1,n)、(m2,n)引入一个可学习参数
Figure BDA00035576203400001530
和
Figure BDA00035576203400001531
和
Figure BDA00035576203400001532
分别表示
Figure BDA00035576203400001533
对
Figure BDA00035576203400001534
对
Figure BDA00035576203400001535
的迁移程度，即一对卷积块的匹配权重，
Figure BDA00035576203400001536
和
Figure BDA00035576203400001537
越大，则表示该对卷积块的特征对目标任务的学习越有利；同样的，定义两个全连接神经网络
Figure BDA00035576203400001538
和
Figure BDA00035576203400001539
分别学习
Figure BDA00035576203400001540
和
Figure BDA00035576203400001541
的取值，
Figure BDA00035576203400001542
和
Figure BDA00035576203400001543
分别以
Figure BDA00035576203400001544
和
Figure BDA00035576203400001545
的全局均值池化为输入，网络的输出以ReLU6形式给出，以确保
Figure BDA0003557620340000161
和
Figure BDA0003557620340000162
的非负性，并防止
Figure BDA0003557620340000163
和
Figure BDA0003557620340000164
变得过大，即：
Figure BDA0003557620340000165
该网络自动学习源网络特征图对目标网络特征图的重要块对；
步骤4.1.5：在得到
Figure BDA0003557620340000166
相对于目标网络的每对特征图的匹配权重
Figure BDA0003557620340000167
和
Figure BDA0003557620340000168
以及每对卷积块的匹配权重
Figure BDA0003557620340000169
和
Figure BDA00035576203400001610
后，则迁移的损失被定义为：
Figure BDA00035576203400001611
其中，P1和P2分别是
Figure BDA00035576203400001612
与
Figure BDA00035576203400001613
与
Figure BDA00035576203400001614
的候选卷积块对的集合；
则基于自适应选择的双源域异构迁移学习模型的最终损失函数定义为：
Ltotal(θ|x,y,φ)＝Lorg(θ|x,y)+βLwfm(θ|x,φ) (5)
其中，Lorg(θ|x,y)为目标网络原始的损失函数，β是一个超参数。
步骤4.2：使用步骤4.1获得基于自适应选择的双源域异构迁移学习模型的损失函数，使用四阶段训练方法，进行基于自适应选择的双源域异构迁移学习中的特征匹配模型与基于多样化分支块结构的目标网络训练；基于自适应选择的双源域异构迁移学习模型中的特征匹配网络以及基于多样化分支块的目标模型的训练方法，所述步骤4.2具体包括：
步骤4.2.1：初始化θ和φ，定义θ为θ0；
步骤4.2.2：针对当前参数θ0，利用肺部SPSN的CT图像数据集对基于自适应选择的双源域异构迁移学习中的目标网络进行T次更新，使Lwfm(θ|x,φ)最小化，更新后的θ定义为θT；
步骤4.2.3：针对当前参数θT，利用肺部SPSN的CT图像数据集对基于自适应选择的双源域异构迁移学习中的目标网络进行单步更新，使Lorg(θ|x,y)最小化，更新后的θ定义为θT+1；
步骤4.2.4：在步骤4.2.2-步骤4.2.3阶段使用的样本下，根据Lorg(θT|x,y)到Lorg(θT+1|x,y)的变化衡量目标网络适应目标任务的速度，最后，通过最小化Lorg(θT+1|x,y)更新特征匹配网络的参数φ；
步骤4.2.5：训练过程迭代重复步骤4.2.2至步骤4.2.4，直至满足目标网络的收敛条件，收敛条件为目标网络的损失趋于稳定或达到最大训练次数。
步骤5：图5展示了一个SPSN患者的特征提取过程。在步骤4的基础上，以肺部SPSN的CT图像作为等效变换后的目标模型的输入数据，将目标模型等效变换后的卷积核作为特征提取器提取深度学习特征；深度学习特征提取的目的是寻找一组能够准确反映SPSN内在属性且鲁棒性高的图像特征，是分类器具有高性能的保障。当目标模型训练时，使用基于多样化分支块结构(见图3)的目标网络，即将传统ResNet18中的卷积核替换为多样化分支块结构，当目标模型训练好后，提取深度学习特征前，需将目标模型的多样化分支块结构等效变换为一个卷积核；所述步骤5具体包括：
步骤5.1：设卷积核的输入为
Figure BDA0003557620340000171
V是输入特征图的个数，H×W为输入特征图的大小，卷积核的参数为
Figure BDA0003557620340000172
C为输入通道数，即与输入特征图的个数相等，D为输出通道数，K×K为卷积尺寸；卷积核偏置的矩阵形式为
Figure BDA0003557620340000173
卷积核输出为
Figure BDA0003557620340000174
H′×W′是输出特征图的大小，卷积的齐次性和可加性分别为公式(6)和(7)所示：
Figure BDA0003557620340000175
Figure BDA0003557620340000181
其中F1和F2分别是卷积核1和卷积核2的参数，p为实数；
步骤5.2：根据步骤5.1卷积的齐次性和可加性，可得5个等效变换公式，以进行等价转换，最后使用5个等价变换公式将DBB结构转换为单个卷积核，提高特征表达能力。
优选的，所述步骤5.2的5个等效变换公式包括：
等价变换1：卷积核与批归一化的融合；
卷积核和批归一化是成对出现，而两者根据卷积的齐次性可合并为一个卷积，设j是通道索引，μj和σj分别是批处理数据的均值和方差，γj和βj分别为批归一化的比例因子和偏差项，根据批归一化的原理，可得合并后第j个输出通道的输出为
Figure BDA0003557620340000182
根据卷积的齐次性，合并后的卷积核的参数为
Figure BDA0003557620340000183
等价变换2：卷积分支相加；
当两个或多个具有相同参数的卷积核的输出相加时，根据卷积的可加性，上述卷积组合的输出可合并为一个卷积核的输出，合并后的卷积核参数为：
F′←F1+F2,b′←b1+b2 (10)
其中，F1和F2分别是卷积核1、2的参数，b1和b2分别是卷积核1、2的偏置；
等价变换3：串联卷积的融合；
对于1×1卷积串联K×K卷积，设1×1卷积的参数为
Figure BDA0003557620340000191
K×K卷积的参数为
Figure BDA0003557620340000192
可得两个卷积核的合并输出为：
Figure BDA0003557620340000193
其中REP(b1)表示偏置b1的矩阵形式，矩阵里的值全部为b1，矩阵大小跟随相应卷积核的大小；
由于F1是一个1×1卷积，只进行逐通道的线性组合而不进行空间聚合，因此可将1×1卷积串联K×K卷积合并为一个新的卷积核
Figure BDA0003557620340000194
即公式(11)可变换为：
Figure BDA0003557620340000195
式中，
Figure BDA0003557620340000196
TRANS(F1)表示卷积核F1的转置，即将F1的输入通道个数的位置与输出通道个数的位置进行转置，如TRANS(F1 D×C×1×1)＝FC×D×1×1，由于
Figure BDA0003557620340000197
是一个常数矩阵，则
Figure BDA0003557620340000198
等价变换4：平均池化转换；
核大小为K、步长为s的平均池化操作可等价于具有相同K和s的卷积核，这个卷积核
Figure BDA0003557620340000199
被定义为：
Figure BDA00035576203400001910
与平均池化一样，当s>1时，表现为下采样；但当s＝1时，是平滑操作；
等价变换5：多尺度卷积融合；
对于零padding的尺寸为kh×kw(kh≤K,kw≤K)的卷积核可等价变换为一个K×K的卷积核，如步长为1，零padding的卷积核
Figure BDA0003557620340000201
可等价为步长为1，padding为K/2的卷积核
Figure BDA0003557620340000202
b′∈RD为：
Figure BDA0003557620340000203
偏置b′＝b∈RD。
最后，将目标模型等效变换后的卷积核作为特征提取器提取深度学习特征；图5展示了一个SPSN患者的特征提取过程。
步骤6：获取每个患者的临床特征、CT主观征像，并串联步骤5中的深度学习特征形成新的特征集；临床特征包括性别、年龄。CT征象是放射科医生根据SPSN的CT图像读取的特征，主要包括：肺结节的均径，毛刺征、分叶征以及形状征等。
步骤7：在步骤6的基础上，训练基于稀疏贝叶斯极限学习机的集成学习分类器，集成学习分类器中的基分类器和集成分类器都是基于稀疏贝叶斯的极限学习机，得到肺结节CT图像分类结果。包括：
步骤7.1：使用曼-惠特尼U检验分别对步骤5提取的深度学习特征和6提取患者的临床特征与CT征象进行检验，选取对PT与LA的诊断具有显著差异的深度学习特征、临床特征与CT征象；曼-惠特尼U检验是一种非参数秩和假设检验，目的是检验两个样本的均值是否有显著的差别。当曼-惠特尼U检验的p值小于0.05时，代表该特征在SPSN的肺结核与肺腺癌诊断中具有显著作用。
步骤7.2：将具有显著差异的深度学习特征、临床特征与CT征象串联起来，形成新的特征集，特征集的大小为N*K，总样本数为N表示样本数，K表示每个样本的特征数；
步骤7.3：将N*K的特征集随机抽样，变成M个样本集(m1*K，m2*K……mM*K)；
步骤7.4：利用M个样本集分别训练M个基分类器，基分类器为基于稀疏贝叶斯的极限学习机；
步骤7.5：训练好M个基分类器后，将M个基分类器的输出作为集成分类器的隐藏层输出，集成分类器是基于稀疏贝叶斯的极限学习机；
步骤7.6：训练集成分类器的隐藏层与输出层的权重，训练好隐藏层与输出层的权重后，集成分类器的结果即为肺结节CT图像分类结果。
如图6所示，基于稀疏贝叶斯ELM分别作为集成学习的基分类器与集成分类器，其中，基分类器与集成分类器隐藏层和输出层之间的参数通过下面的稀疏贝叶斯进行求解。
在ELM中引入l1范数对模型进行约束，使模型具有稀疏解，然而，引入l1范数不可避免的引入了超参数。因此，本文提出基于稀疏贝叶斯的ELM，既避免使用耗时的交叉验证求解超参数，又具有良好的泛化性能。
基于稀疏贝叶斯的ELM的目标函数为
Figure BDA0003557620340000211
其中t表示样本的真实标签；
Figure BDA0003557620340000221
表示隐藏层和输出层之间的权重；L是隐藏层神经元的个数；λ＞0表示约束项的系数。X表示隐藏层的输出，当输入层与隐含层之间的连接权值、隐含层的偏置被随机确定后，X是确定的。
关于公式(16)中参数的求解，本文提出一种基于稀疏贝叶斯学习和自动相关确定的求解方法。将高斯共轭稀疏先验引入经典经验贝叶斯线性模型中，得到稀疏贝叶斯模型。即，假设
Figure BDA0003557620340000222
是逆方差为β的零均值高斯随机变量，标签t被建模为具有加性高斯噪声的线性组合。针对训练样本(X,t)，其中
Figure BDA0003557620340000223
N表示样本数，将权重向量w的似然性写成多元高斯分布
p(t|X,w,β)＝N(t|XTw,β-1) (17)
为了得到w的后验概率，引入一个关于w的具有零均值和对角协方差矩阵的多元高斯分布的稀疏先验。该稀疏先验可表达为
Figure BDA0003557620340000224
从公式(18)看出，稀疏先验为每个权重向量ωi设置单独的超参数αi，从而产生超参数向量α＝(αi,…,αD)T，该向量即是w协方差矩阵的对角元素。由于高斯先验对高斯似然(相对于均值)的共轭性，可知w后验概率是一个封闭形式的高斯解。w的后验概率可以表示为：
p(w|t,X,α,β)＝N(w|m,∑) (19)
然后，通过最大化后验概率可以求得最有可能的w值，w后验概率分布的均值m和协方差∑定义为
m＝β∑XTt (20)
∑-1＝A+βXTX (21)
其中，A＝diag(α)。超参数α和β可使用最大边际似然方法进性计算，通过对输出权重w进行积分得到边际似然p(tα,β)，即
p(t|α,β)＝∫p(t|w，β)p(w|α)dw (22)
然后通过对指数的平方，利用高斯函数的标准化系数的标准形式，可得到对数似然
Figure BDA0003557620340000231
将对超参数α和β的对数似然的偏导数设为零，可得到超参数的极大似然估计，可得
Figure BDA0003557620340000232
Figure BDA0003557620340000233
其中，mi是后验均值m的第i个分量；γi定义
γi＝1-αi∑ii，i∈{1,2,…,D} (26)
其中，∑ii是后验分布协方差∑的第i个对角线分量。在自动相关确定中，当最大化关于α的边际似然时，α中的一些元素趋于无穷，相应的权值具有集中于零的后验分布。因此，与这些权值相关的特征在模型的预测中不起作用，形成一个稀疏模型。
为了使对数似然最大化，使用一种迭代训练方案：①初始化超参数α和β；②然后根据公式(20)和(21)计算后验分布的超参数m和∑；③检查对数似然或权重w的收敛性，如果不满足收敛准则，则根据公式(24)、(25)和(26)更新超参数α和β，再返回第二步；如果满足收敛准则，则有
Figure BDA0003557620340000234
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于自适应选择的双源域异构迁移学习的肺结节CT图像分类方法，其特征在于：包括：
步骤1：获取原始肺部SPSN的CT图像数据集、肺癌WSI数据集、自然图像的ImageNet数据集；
步骤2：利用步骤1获取的肺癌WSI数据集训练ResNet34，作为源网络1；利用步骤1获取的自然图像的ImageNet数据集训练另一个ResNet34，作为源网络2；
步骤3：在步骤2的基础上，利用步骤1获取的肺部SPSN的CT图像数据集分别通过源网络1和源网络2得到源特征空间1和源特征空间2，源网络1和源网络2中每一个卷积核的输出分别作为源特征空间1和源特征空间2的某个特征图；
步骤4：在步骤3的基础上，利用肺部SPSN的CT图像数据集训练基于自适应选择的双源域特征匹配模型以及基于多样化分支块结构的ResNet18，作为目标模型；
步骤5：在步骤4的基础上，以肺部SPSN的CT图像作为等效变换后的目标模型的输入数据，将目标模型等效变换后的卷积核作为特征提取器提取深度学习特征；
步骤6：获取每个患者的临床特征、CT主观征像，并串联步骤5中的深度学习特征形成新的特征集；
步骤7：在步骤6的基础上，训练基于稀疏贝叶斯极限学习机的集成学习分类器，集成学习分类器中的基分类器和集成分类器都是基于稀疏贝叶斯的极限学习机，得到肺结节CT图像分类结果。
2.根据权利要求1所述的一种基于自适应选择的双源域异构迁移学习的肺结节CT图像分类方法，其特征在于：所述步骤4包括：
步骤4.1：在步骤3获取的源特征空间1和源特征空间2的基础上，基于自适应选择的双源域特征匹配网络自适应确定源特征空间1、源特征空间2与目标网络之间每对特征图的匹配权重，以及源网络1、源网络2特征块和目标网络每对卷积块之间的匹配权重，根据这两个匹配权重构建迁移损失函数，并结合目标网络的损失函数获得基于自适应选择的双源域异构迁移学习模型的损失函数；
步骤4.2：使用步骤4.1获得基于自适应选择的双源域异构迁移学习模型的损失函数，使用四阶段训练方法，进行基于自适应选择的双源域异构迁移学习中的特征匹配模型与基于多样化分支块结构的目标网络训练。
3.根据权利要求2所述的一种基于自适应选择的双源域异构迁移学习的肺结节CT图像分类方法，其特征在于：所述步骤4.1具体为：
步骤4.1.1：设x为基于多样化分支块结构的目标网络以及源网络1、源网络2的输入，
Figure FDA0003557620330000021
表示源特征空间1的第m1块的特征图，
Figure FDA0003557620330000022
表示源网络2第m2块的特征图，
Figure FDA0003557620330000023
表示参数为θ的目标网络第n块的特征图，基于自适应选择的双源域特征匹配网络的目标是利用S1和S2中有利于目标任务学习的特征约束Tθ的训练，定义一个
Figure FDA0003557620330000024
与
Figure FDA0003557620330000025
和
Figure FDA0003557620330000026
之间的l2范数距离，通过最小化l2范数距离实现有利于目标任务学习的特征选择，该l2范数距离定义为：
Figure FDA0003557620330000031
其中，rθ(·)是逐点卷积，保证
Figure FDA0003557620330000032
与源特征空间
Figure FDA0003557620330000033
具有相同的通道数；
步骤4.1.2：定义源网络1、源网络2中的每个特征图的加权特征匹配损失为：
Figure FDA0003557620330000034
Figure FDA0003557620330000035
其中，H×W是
Figure FDA0003557620330000036
和
Figure FDA0003557620330000037
的特征图大小，
Figure FDA0003557620330000038
为第c1个通道中
Figure FDA0003557620330000039
和
Figure FDA00035576203300000310
之间的待学习权重，
Figure FDA00035576203300000311
为第c2个通道中
Figure FDA00035576203300000312
和
Figure FDA00035576203300000313
之间的待学习权重，且
Figure FDA00035576203300000314
Figure FDA00035576203300000315
待学习权重即一对特征图的匹配权重；
步骤4.1.3：对步骤4.1.2中的
Figure FDA00035576203300000316
和
Figure FDA00035576203300000317
定义两个全连接神经网络
Figure FDA00035576203300000318
和
Figure FDA00035576203300000319
分别学习
Figure FDA00035576203300000320
和
Figure FDA00035576203300000321
的取值，
Figure FDA00035576203300000322
和
Figure FDA00035576203300000323
分别以
Figure FDA00035576203300000324
和
Figure FDA00035576203300000325
中每个特征图的全局均值池化为输入，以softmax形式作为网络的输出，则：
Figure FDA00035576203300000326
其中φ1和φ2分别是
Figure FDA00035576203300000327
和
Figure FDA00035576203300000328
的参数，对于给定的
Figure FDA00035576203300000329
与
Figure FDA00035576203300000330
Figure FDA00035576203300000331
与
Figure FDA00035576203300000332
在每个输入图像中，针对
Figure FDA00035576203300000333
中不同的特征图给予不同的可训练权重，越重要的特征图所对应的权重越大，这使得对应特征图的损失越受到关注；
步骤4.1.4：分别以
Figure FDA0003557620330000041
中的每个卷积块的输出为一个单位，分别为每队卷积块(m1,n)、(m2,n)引入一个可学习参数
Figure FDA0003557620330000042
和
Figure FDA0003557620330000043
Figure FDA0003557620330000044
Figure FDA0003557620330000045
和
Figure FDA0003557620330000046
分别表示
Figure FDA0003557620330000047
对
Figure FDA0003557620330000048
Figure FDA0003557620330000049
对
Figure FDA00035576203300000410
的迁移程度，即一对卷积块的匹配权重，
Figure FDA00035576203300000411
和
Figure FDA00035576203300000412
越大，则表示该对卷积块的特征对目标任务的学习越有利；同样的，定义两个全连接神经网络
Figure FDA00035576203300000413
和
Figure FDA00035576203300000414
分别学习
Figure FDA00035576203300000415
和
Figure FDA00035576203300000416
的取值，
Figure FDA00035576203300000417
和
Figure FDA00035576203300000418
分别以
Figure FDA00035576203300000419
和
Figure FDA00035576203300000420
的全局均值池化为输入，网络的输出以ReLU6形式给出，以确保
Figure FDA00035576203300000421
和
Figure FDA00035576203300000422
的非负性，并防止
Figure FDA00035576203300000423
和
Figure FDA00035576203300000424
变得过大，即：
Figure FDA00035576203300000425
该网络自动学习源网络特征图对目标网络特征图的重要块对；
步骤4.1.5：在得到
Figure FDA00035576203300000426
相对于目标网络的每对特征图的匹配权重
Figure FDA00035576203300000427
和
Figure FDA00035576203300000428
以及每对卷积块的匹配权重
Figure FDA00035576203300000429
和
Figure FDA00035576203300000430
后，则迁移的损失被定义为：
Figure FDA00035576203300000431
其中，P1和P2分别是
Figure FDA00035576203300000432
与
Figure FDA00035576203300000433
Figure FDA00035576203300000434
与
Figure FDA00035576203300000435
的候选卷积块对的集合；
则基于自适应选择的双源域异构迁移学习模型的最终损失函数定义为：
Ltotal(θ|x,y,φ)＝Lorg(θ|x,y)+βLwfm(θ|x,φ) (5)
其中，Lorg(θ|x,y)为目标网络原始的损失函数，β是一个超参数。
4.根据权利要求3所述的一种基于自适应选择的双源域异构迁移学习的肺结节CT图像分类方法，其特征在于：基于自适应选择的双源域异构迁移学习模型中的特征匹配网络以及基于多样化分支块的目标模型的训练方法，所述步骤4.2具体包括：
步骤4.2.1：初始化θ和φ，定义θ为θ0；
步骤4.2.2：针对当前参数θ0，利用肺部SPSN的CT图像数据集对基于自适应选择的双源域异构迁移学习中的目标网络进行T次更新，使Lwfm(θ|x,φ)最小化，更新后的θ定义为θT；
步骤4.2.3：针对当前参数θT，利用肺部SPSN的CT图像数据集对基于自适应选择的双源域异构迁移学习中的目标网络进行单步更新，使Lorg(θ|x,y)最小化，更新后的θ定义为θT+1；
步骤4.2.4：在步骤4.2.2-步骤4.2.3阶段使用的样本下，根据Lorg(θT|x,y)到Lorg(θT+1|x,y)的变化衡量目标网络适应目标任务的速度，最后，通过最小化Lorg(θT+1|x,y)更新特征匹配网络的参数φ；
步骤4.2.5：训练过程迭代重复步骤4.2.2至步骤4.2.4，直至满足目标网络的收敛条件，收敛条件为目标网络的损失趋于稳定或达到最大训练次数。
5.根据权利要求4所述的一种基于自适应选择的双源域异构迁移学习的肺结节CT图像分类方法，其特征在于：当目标模型训练时，使用基于多样化分支块结构的目标网络，即将传统ResNet18中的卷积核替换为多样化分支块结构，当目标模型训练好后，提取深度学习特征前，需将目标模型的多样化分支块结构等效变换为一个卷积核；所述步骤5具体包括：
步骤5.1：设卷积核的输入为
Figure FDA0003557620330000061
V是输入特征图的个数，H×W为输入特征图的大小，卷积核的参数为
Figure FDA0003557620330000062
C为输入通道数，与输入特征图的个数相等，D为输出通道数，K×K为卷积尺寸；卷积核偏置的矩阵形式为
Figure FDA0003557620330000063
卷积核输出为
Figure FDA0003557620330000064
H′×W′是输出特征图的大小，卷积的齐次性和可加性分别为公式(6)和(7)所示：
Figure FDA0003557620330000065
Figure FDA0003557620330000066
其中F1和F2分别是卷积核1和卷积核2的参数，p为实数；
步骤5.2：根据步骤5.1卷积的齐次性和可加性，可得5个等效变换公式，以进行等价转换，最后使用5个等价变换公式将DBB结构转换为单个卷积核，提高特征表达能力。
6.根据权利要求5所述的一种基于自适应选择的双源域异构迁移学习的肺结节CT图像分类方法，其特征在于：所述步骤5.2的5个等效变换公式包括：
等价变换1：卷积核与批归一化的融合；
卷积核和批归一化是成对出现，而两者根据卷积的齐次性可合并为一个卷积，设j是通道索引，μj和σj分别是批处理数据的均值和方差，γj和βj分别为批归一化的比例因子和偏差项，根据批归一化的原理，可得合并后第j个输出通道的输出为
Figure FDA0003557620330000071
根据卷积的齐次性，合并后的卷积核的参数为
Figure FDA0003557620330000072
等价变换2：卷积分支相加；
当两个或多个具有相同参数的卷积核的输出相加时，根据卷积的可加性，上述卷积组合的输出可合并为一个卷积核的输出，合并后的卷积核参数为：
F′←F1+F2,b′←b1+b2 (10)
其中，F1和F2分别是卷积核1、2的参数，b1和b2分别是卷积核1、2的偏置；
等价变换3：串联卷积的融合；
对于1×1卷积串联K×K卷积，设1×1卷积的参数为
Figure FDA0003557620330000073
K×K卷积的参数为
Figure FDA0003557620330000074
可得两个卷积核的合并输出为：
Figure FDA0003557620330000075
其中REP(b1)表示偏置b1的矩阵形式，矩阵里的值全部为b1，矩阵大小跟随相应卷积核的大小；
由于F1是一个1×1卷积，只进行逐通道的线性组合而不进行空间聚合，因此可将1×1卷积串联K×K卷积合并为一个新的卷积核
Figure FDA0003557620330000081
即公式(11)可变换为：
Figure FDA0003557620330000082
式中，
Figure FDA0003557620330000083
TRANS(F1)表示卷积核F1的转置，即将F1的输入通道个数的位置与输出通道个数的位置进行转置，如TRANS(F1 D×C×1×1)＝FC×D×1×1，由于
Figure FDA0003557620330000084
是一个常数矩阵，则
Figure FDA0003557620330000085
等价变换4：平均池化转换；
核大小为K、步长为s的平均池化操作可等价于具有相同K和s的卷积核，这个卷积核
Figure FDA0003557620330000086
被定义为：
Figure FDA0003557620330000087
与平均池化一样，当s>1时，表现为下采样；但当s＝1时，是平滑操作；
等价变换5：多尺度卷积融合；
对于零padding的尺寸为kh×kw(kh≤K,kw≤K)的卷积核可等价变换为一个K×K的卷积核，如步长为1，零padding的卷积核
Figure FDA0003557620330000088
可等价为步长为1，padding为K/2的卷积核
Figure FDA0003557620330000089
b′∈RD为：
Figure FDA00035576203300000810
偏置b′＝b∈RD。
7.根据权利要求6所述的一种基于自适应选择的双源域异构迁移学习的肺结节CT图像分类方法，其特征在于：所述步骤7包括：
步骤7.1：使用曼-惠特尼U检验分别对步骤5提取的深度学习特征和6提取患者的临床特征与CT征象进行检验，选取对PT与LA的诊断具有显著差异的深度学习特征、临床特征与CT征象；
步骤7.2：将具有显著差异的深度学习特征、临床特征与CT征象串联起来，形成新的特征集，特征集的大小为N*K，总样本数为N表示样本数，K表示每个样本的特征数；
步骤7.3：将N*K的特征集随机抽样，变成M个样本集(m1*K，m2*K……mM*K)；
步骤7.4：利用M个样本集分别训练M个基分类器，基分类器为基于稀疏贝叶斯的极限学习机；
步骤7.5：训练好M个基分类器后，将M个基分类器的输出作为集成分类器的隐藏层输出，集成分类器是基于稀疏贝叶斯的极限学习机；
步骤7.6：训练集成分类器的隐藏层与输出层的权重，训练好隐藏层与输出层的权重后，集成分类器的结果即为肺结节CT图像分类结果。
CN202210280434.6A 2022-03-22 2022-03-22 一种基于自适应选择的双源域异构迁移学习的肺结节ct图像分类方法 Pending CN114708347A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210280434.6A CN114708347A (zh) 2022-03-22 2022-03-22 一种基于自适应选择的双源域异构迁移学习的肺结节ct图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210280434.6A CN114708347A (zh) 2022-03-22 2022-03-22 一种基于自适应选择的双源域异构迁移学习的肺结节ct图像分类方法

Publications (1)

Publication Number Publication Date
CN114708347A true CN114708347A (zh) 2022-07-05

Family

ID=82167871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210280434.6A Pending CN114708347A (zh) 2022-03-22 2022-03-22 一种基于自适应选择的双源域异构迁移学习的肺结节ct图像分类方法

Country Status (1)

Country Link
CN (1) CN114708347A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439449A (zh) * 2022-09-06 2022-12-06 抖音视界有限公司 全视野组织学图像的处理方法、装置、介质和电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439449A (zh) * 2022-09-06 2022-12-06 抖音视界有限公司 全视野组织学图像的处理方法、装置、介质和电子设备
CN115439449B (zh) * 2022-09-06 2023-05-09 抖音视界有限公司 全视野组织学图像的处理方法、装置、介质和电子设备

Similar Documents

Publication Publication Date Title
CN112241766B (zh) 基于样本生成和迁移学习的肝脏ct图像多病变分类方法
Nithya et al. Evaluation of machine learning based optimized feature selection approaches and classification methods for cervical cancer prediction
Zaidi et al. Alleviating naive Bayes attribute independence assumption by attribute weighting
CN111180068A (zh) 一种基于多任务学习模型的慢病预测系统
CN112270666A (zh) 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法
CN113113130A (zh) 一种肿瘤个体化诊疗方案推荐方法
Chi et al. Deep semisupervised multitask learning model and its interpretability for survival analysis
Banerjee et al. Glioma classification using deep radiomics
Wahid et al. Lung and colon cancer detection with convolutional neural networks on histopathological images
CN114708347A (zh) 一种基于自适应选择的双源域异构迁移学习的肺结节ct图像分类方法
CN114898872A (zh) 多模态概率分布自适应的原发性肝癌病理分级预测方法
Bandaru et al. A review on advanced methodologies to identify the breast cancer classification using the deep learning techniques
CN116759076A (zh) 一种基于医疗影像的无监督疾病诊断方法及系统
CN115985513B (zh) 一种基于多组学癌症分型的数据处理方法、装置及设备
Lu et al. Data enhancement and deep learning for bone age assessment using the standards of skeletal maturity of hand and wrist for chinese
CN112086174B (zh) 一种三维知识诊断模型构建方法和系统
CN115035346A (zh) 一种基于协作学习方法增强的阿尔兹海默病的分类方法
Vo-Ho et al. Neural architecture search for medical image applications
CN108304546B (zh) 一种基于内容相似度和Softmax分类器的医学图像检索方法
Bhalla et al. Basic principles of AI simplified for a Medical Practitioner: Pearls and Pitfalls in Evaluating AI algorithms
Munappa et al. Minimizing False Negatives in Metastasis Prediction for Breast Cancer Patients Through a Deep Stacked Ensemble Analysis of Whole Slide Images
Haji Aghabozorgi et al. Clustering and estimation of finite mixture models under bivariate ranked set sampling with application to a breast cancer study
Im et al. Bayesian hierarchical finite mixture of regression for histopathological imaging‐based cancer data analysis
CN117611599B (zh) 融合中心线图和增强对比度网络的血管分割方法及其系统
Liu et al. Multi-site incremental image quality assessment of structural mri via consensus adversarial representation adaptation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination