CN111739076B - 面向多种ct肺部纹理识别的非监督保内容域适应方法 - Google Patents

面向多种ct肺部纹理识别的非监督保内容域适应方法 Download PDF

Info

Publication number
CN111739076B
CN111739076B CN202010541959.1A CN202010541959A CN111739076B CN 111739076 B CN111739076 B CN 111739076B CN 202010541959 A CN202010541959 A CN 202010541959A CN 111739076 B CN111739076 B CN 111739076B
Authority
CN
China
Prior art keywords
domain
target domain
loss function
representing
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010541959.1A
Other languages
English (en)
Other versions
CN111739076A (zh
Inventor
徐睿
叶昕辰
丛臻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202010541959.1A priority Critical patent/CN111739076B/zh
Publication of CN111739076A publication Critical patent/CN111739076A/zh
Priority to US17/112,623 priority patent/US11501435B2/en
Application granted granted Critical
Publication of CN111739076B publication Critical patent/CN111739076B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种面向多种CT肺部纹理识别的非监督保内容域适应方法，属于图像处理和计算机视觉领域。该方法能使在一种CT数据上(源域上)事先训练的肺部纹理识别的深层网络模型，在应用到另一种CT图像上(目标域上)时，在仅获得目标域的CT图像并无需人工标注典型肺部阴影的前提下，运用对抗学习机制和特殊设计的内容一致性网络模块，就可以对深层网络模型进行微调，使目标域上的肺部纹理识别保持较高性能。此方法不仅能节省开发的人力和时间成本，而且易于实现并具有较高的实用性。

Description

面向多种CT肺部纹理识别的非监督保内容域适应方法
技术领域
本发明属于医学图像处理和计算机视觉领域，具体涉及到一种面向多种CT肺部纹理识别的非监督保内容域适应方法。
背景技术
弥漫性肺疾患是指肺部区域内由于炎症或损伤等因素造成的肺间质异常纹理的总称。弥漫性肺疾患计算机辅助诊断(Computer-Aided Diagnosis，CAD)系统可辅助放射科医生对弥漫性肺疾患进行诊断，其中CT图像弥漫性肺疾患纹理的准确识别是构建该CAD系统的关键步骤。目前已有基于深层卷积神经网络的方法被发明，应用于弥漫性肺疾患纹理识别，并得到较好结果。
然而，由于医疗数据的难以获取，在基于深层网络的算法研发时，通常只收集一种CT图像数据，并在此数据上进行算法的设计和验证。在算法研发阶段，研制的深层网络模型，仅能在相同种类CT图像数据上得到较好的识别结果；在实际应用阶段，直接将此模型应用于不同种类CT图像数据上时，肺部阴影的识别精度会大大降低。这是因为不同种类CT图像在噪声、成像等方面存在不同，这导致仅针对一种CT数据设计和的网络模型，在其他种类CT数据上直接应用时，存在网络模型的泛化性不足的问题。
针对这一问题，虽然可通过采集不同种类CT图像数据，并将其混合共同对网络模型进行训练的方式，提高网络模型对不同种类CT图像数据的泛化性(Yongjun Chang,Jonghyuck Lim and et al.,“A support vector machine classifier reducesinterscanner variation in the hrct classification of regional disease patternin diffuse lung diseases:comparison to a Bayesian classifier,”MedicalPhysics,vol.40,no.5,pp.051912,2013.)。但是，这种方式不仅需要收集其他不同种类CT图像数据，还需要对这些新的CT图像中的典型肺部阴影区域进行繁琐和费事人工标注。因此，需要一种更加方便、有效的技术，解决不同种类CT数据的深层网络模型泛化性问题。
发明内容
本发明旨在克服现有技术的不足，提供了一种面向多种CT肺部纹理识别的非监督保内容域适应方法。该方法能使在一种CT数据上(源域上)事先训练的深层网络模型，包含CT图像和典型肺部阴影区域的人工标注，在应用到另一种CT图像上(目标域上)时，在仅获得目标域的CT图像并无需人工标注典型肺部阴影的前提下，运用对抗学习机制和特殊设计的内容一致性网络模块，就可以对深层网络模型进行微调，使目标域上的肺部纹理识别保持较高性能。
本发明的具体技术方案为，一种面向多种CT肺部纹理识别的非监督保内容域适应方法，包括下列步骤：
1)训练和测试数据准备：采集了两组不同种类的CT图像，并利用人工方式在这两组CT图像上标注典型肺部纹理区域。此后，随机指定一组图像为源域数据，另一组图像为目标域数据。源域上的CT图像和人工标注的肺部纹理区域，将处理成带标签(纹理类别)的CT小块，用于在源域上监督训练深层网络模型。目标域的数据，将处理成带标签和不带标签的CT小块，其中不带标签的CT小块，用于非监督方式对预先训练深层网络模型进行微调，带标签的CT小块用于测试本发明所提技术方案的最终结果；
2)源域上识别网络的构建和监督训练：使用残差网络(Kaiming He,XiangyuZhang,and et.al.,“Deep residual learning for image recognition,”in ComputerVision and Pattern Recognition,2016,pp.770–778.)构建深层网络模型，其结构包括编码器和分类器两部分。编码器提取输入CT肺部纹理图像特征表示，分类器使用特征表示生成识别结果。使用源域中的带标签CT小块，采用监督方式训练该深层网络，使网络模型在源域的数据中达到良好的识别性能；
3)目标域上的深层模型微调：针对步骤(2)中获得的源域深层网络模型，使用目标域的不带标签的CT小块，利用基于对抗学习机制的损失函数进行非监督域适应，同时利用内容一致性模块和内容一致性损失函数对目标域编码器进行保持内容的约束，再结合源域中的监督分类训练，需再次利用源域中带标签的CT小块，共同对目标域的深层模型进行微调，最终使深层网络模型能在目标域保持良好的肺部纹理识别性能；
4)深层网络模型的性能测试：使用目标域上的带标签CT小块，通过计算衡量识别性能的常用指标，如正确识别准确率和F值，对最终得到的深层网络模型的性能进行测试。
源域上识别网络的构建和监督训练，具体包括以下步骤：
2-1)使用残差网络构建识别网络，包括编码器和分类器两部分。编码器由若干卷积模块组成，提取输入CT肺部纹理图像特征表示。分类器包括若干卷积模块、全局平均池化层以及全连接层，使用特征表示生成识别结果；
2-2)每个卷积模块由卷积层、批标准化层和整流线性单元层组成，这些都是深层卷积神经网络的通用结构；
2-3)除首个卷积模块外，识别网络中剩余卷积模块通过跳跃连接构成残差模块。残差模块也是通用的网络结构，可参照已有文献(Kaiming He,Xiangyu Zhang,andet.al.,“Deep residual learning for image recognition,”in Computer Vision andPattern Recognition,2016,pp.770–778.)；
2-4)使用源域的带标签CT小块，对深层网络进行监督式的网络训练。具体是以小批量方式计算分类交叉熵损失函数，并通过随机梯度下降算法，优化分类交叉熵损失函数，得到源域的深层网络模型。分类交叉熵损失函数的计算公式如下：
Figure BDA0002539264890000031
式中，Ltask(·)表示交叉熵损失函数值，f表示编码器，h表示分类器，
Figure BDA0002539264890000032
表示数学期望，xs表示单次批量中参与训练的源域CT图像数据矩阵，ys表示xs对应类别标签矩阵，Xs表示源域CT图像矩阵集合，Ys表示Xs对应类别标签矩阵集合，∑表示求和运算符，K表示分类类别数，本发明中K为6，log(·)表示对数运算。
目标域上的深层模型微调，具体包括以下步骤：
3-1)为目标域数据构建一个与源域网络模型结构相同的深层网络，并使这两个网络的编码器和分类器共享同样的网络参数权重，以在(2-4)中在源域数据中训练得到的网络模型的参数权重为初始值，进行目标域上的网络模型微调；
3-2)使用对抗学习机制，构建判别器，通过优化对抗损失函数进行域适应，缩小源域和目标域编码器特征表示域偏差。判别器由卷积模块和全连接层组成，以源域和目标域编码器特征表示为输入，将源域编码器特征表示判定为源域结果(标签为1)，将目标域编码器特征表示判定为目标域结果(标签为0)。对抗损失函数公式如下：
Figure BDA0002539264890000041
式中，Ladv(·)表示对抗损失函数值，D表示判别器，f表示编码器，
Figure BDA0002539264890000042
表示数学期望，xs表示单次批量中参与训练的源域CT图像数据矩阵，xt表示单次批量中参与训练的目标域CT图像数据矩阵，Xs表示源域CT图像矩阵集合，Xt表示目标域CT图像矩阵集合，log(·)表示对数运算；
3-3)使用内容一致性模块通过内容一致性损失函数约束目标域编码器特征表示及输入的目标域CT肺部纹理图像，保持目标域内容一致性。内容一致性模块包括卷积模块和残差模块，将目标域编码器特征表示重建为单通道图像，与输入目标域CT肺部纹理图像通过L1范数约束。内容一致性损失函数公式如下：
Figure BDA0002539264890000043
式中，Lcp(·)表示内容一致性损失函数值，f表示编码器，g表示内容一致性模块，
Figure BDA0002539264890000044
表示数学期望，xt表示单次批量中参与训练的目标域CT图像数据矩阵，Xt表示目标域CT图像矩阵集合，‖·‖1表示L1范数；
3-4)使用目标域中不带标签的CT小块，并再次使用源域中带标签的CT小块，计算对抗损失函数、内容一致性损失函数和源域中的分类交叉熵损失函数的和，作为网络微调的整体损失函数，具体公式如下：
Ltotal(f，h，g，D)＝Ladv(D，f)+λcpLcp(f，g)+λtaskLtask(f，h)
式中，Ltotal(·)表示非监督保内容域适应的整体损失函数值，f表示编码器，h表示分类器，g表示内容一致性模块，D表示判别器，Ladv表示对抗损失函数值，λcp表示内容一致性损失函数系数，本发明中λcp为1.0，Lcp为内容一致性损失函数值，λtask表示分类交叉熵损失函数系数，本发明中λtask为100.0，Ltask表示分类交叉熵损失函数值(其定义参见步骤(2-4)中的公式)。
3-5)通过随机梯度下降算法对(3-4)中的整体优化损失函数进行优化，得到最终针对目标域微调的深层网络模型。
本发明的有益效果是：
本发明是一种面向多种CT肺部纹理识别的非监督保内容域适应方法。该方法能使在一种CT数据(源域)上事先训练的深层网络模型，在应用到另一种CT图像(目标域)上时，在仅获得新种类CT图像并无需人工标注典型肺部阴影的前提下，运用对抗学习机制和特殊设计的内容一致性网络模块，就可以对深层网络模型进行微调，使目标域上的肺部纹理识别保持较高性能。该系统具有以下特点：
1、对目标域的网络微调，不需要在目标域数据上进行繁琐和费时的人工标注，节省人力和时间成本，提升方法的实用性；
2、方法简单，易于实现；
3、使用基于对抗学习机制的非监督域适应方式，缩小源域和目标域编码器特征表示域偏差；
4、设计内容一致性模块，通过内容一致性损失函数对目标域编码器进行保持内容的约束，保证域网络微调中目标域内容的一致性。
附图说明
图1为具体实施流程图。
图2为非监督保内容域适应网络结构图。
图3为基于对抗学习机制的判别器结构图。
图4为内容一致性模块结构图。
具体实施方式
本发明结合附图及实施例详细说明如下：
本发明提供了一种面向多种CT肺部纹理识别的非监督保内容域适应方法。该方法能使在一种CT数据上(源域上)事先训练的深层网络模型，在应用到另一种CT图像上(目标域上)时，在仅获得目标域的CT图像并无需人工标注典型肺部阴影的前提下，运用对抗学习机制和特殊设计的内容一致性网络模块，就可以对深层网络模型进行微调，使目标域上的肺部纹理识别保持较高性能。具体实施流程如图1所示，所述方法包括下列步骤：
1)训练和测试数据准备：采集了两组不同种类的CT图像，并利用人工方式在这两组CT图像上标注典型肺部纹理区域。此后，随机指定一组图像为源域数据，另一组图像为目标域数据。源域上的CT图像和人工标注的肺部纹理区域，将处理成带标签(纹理类别)的CT小块，用于在源域上监督训练深层网络模型。目标域的数据，将处理成带标签和不带标签的CT小块，其中不带标签的CT小块，用于非监督方式对预先训练深层网络模型进行微调，带标签的CT小块用于测试本发明所提技术方案的最终结果。具体步骤是：
1-1)收集两组不同种类的CT图像，这两组CT图像中包含6种常用的肺部典型纹理，即整合型、毛玻璃状、蜂窝状、肺气肿、结节状和正常肺部纹理；
1-2)在这两组CT图像上，让有经验的放射线医生每个CT图像上选择3个冠状面断层，并在这些断层上手动勾勒包含上述典型纹理的肺部区域；
1-3)在算法设计和测试时，任意选择一组图像数据为源域上的数据，另一组图像数据为目标域数据；
1-4)对源域上的CT图像和标注的典型肺部纹理区域进行处理，生成若干带标签(纹理类别)CT图像小块，大小为32×32。具体是在标注的CT冠状面断层上，左上角开始在水平和垂直方向以定步为16像素移动32×32的扫描框，搜索框的中心点位于标注的典型纹理区域内时，截取此时扫描框中的CT图像并记录纹理的类别。源域中的这些带标签的CT小块，将用于在源域上监督训练深层网络模型；
1-5)目标域的CT图像分为两部分，分别用于生成带标签和不带标签的若干32×32的CT小块。其中带标签的CT小块生成方式，与步骤(1-4)中一样。不带标签CT小块生成方式是，利用肺部区域自动分割算法(Rui,Xu,Jiao Pan and et al.,“A pilot study toutilize a deep convolutional network to segment lungs with complexopacities,”in 2017Chinese Automation Congress(CAC).IEEE,2017,pp.3291-3295.)对CT图像进行肺部区域自动分割，确定肺部区域，然后随机选择若干冠状轴上的断层，并在每个断层上用32×32的扫描框从左上角开始在水平和垂直方向以定步为16像素进行扫描，扫描框的中心落在肺内部时，就将扫描框覆盖的32×32的CT小块截取出来，作为不带标签的CT小块。
1-6)目标域上不带标签的CT小块，将用于基于非监督训练方式的深层网络模型微调，带标签的CT小块将用于最终模型的性能测试。
2)源域上识别网络的构建和监督训练：使用残差网络构建深层网络模型，其结构包括编码器和分类器两部分，具体结构如图2上半部分虚框内所示。编码器提取输入CT肺部纹理图像特征表示，分类器使用特征表示生成识别结果。使用源域中的带标签CT小块，采用监督方式训练该深层网络，使网络模型在源域的数据中达到良好的识别性能，具体步骤是：
2-1)使用残差网络构建识别网络，包括编码器和分类器两部分。编码器包括7个卷积模块，提取输入CT肺部纹理图像特征表示。分类器包括12个卷积模块，1个全局平均池化层和一个全连接层，使用特征表示生成识别结果；
2-2)每个卷积模块由卷积层、批标准化层和整流线性单元层组成，这些都是深层卷积神经网络的通用和常用结构；
2-3)除第1个卷积模块外，识别网络中剩余卷积模块每两个模块为一组，通过跳跃连接构成9个残差模块，其中编码器有3个残差模块，分类器有6个残差模块。残差模块也是通用的网络结构，可参照已有文献(Kaiming He,Xiangyu Zhang,and et.al.,“Deepresidual learning for image recognition,”in Computer Vision and PatternRecognition,2016,pp.770–778.)；
2-4)使用源域的带标签CT小块，对深层网络进行监督式的网络训练。具体是以小批量方式计算分类交叉熵损失函数，并通过随机梯度下降算法，优化分类交叉熵损失函数，得到源域的深层网络模型。分类交叉熵损失函数的计算公式如下：
Figure BDA0002539264890000081
式中，Ltask(·)表示交叉熵损失函数值，f表示编码器，h表示分类器，
Figure BDA0002539264890000082
表示数学期望，xs表示单次批量中参与训练的源域CT图像数据矩阵，ys表示xs对应类别标签矩阵，Xs表示源域CT图像矩阵集合，Ys表示Xs对应类别标签矩阵集合，∑表示求和运算符，K表示分类类别数，本发明中K为6，log(·)表示对数运算。
3)目标域上的深层模型微调：针对步骤(2)中获得的源域深层网络模型，使用目标域的不带标签的CT小块，利用基于对抗学习机制的损失函数进行非监督域适应，同时利用内容一致性模块和内容一致性损失函数对目标域编码器进行保持内容的约束，再结合源域中的监督分类训练(需再次利用源域中带标签的CT小块)，共同对目标域的深层模型进行微调，最终使深层网络模型能在目标域保持良好的肺部纹理识别性能，具体步骤是：
3-1)如图2下半部分虚框所示，为目标域数据构建一个与源域网络模型结构相同的深层网络，并使这两个网络的编码器和分类器共享同样的网络参数权重，并以在(2-4)中在源域数据中训练得到的网络模型的参数权重为初始值，进行目标域上的网络模型微调；
3-2)使用对抗学习机制，构建如图3所示的判别器，通过优化对抗损失函数进行域适应，缩小源域和目标域编码器特征表示域偏差。判别器由4个卷积模块和3个全连接层组成，以源域和目标域编码器特征表示为输入，将源域编码器特征表示判定为源域结果(标签为1)，将目标域编码器特征表示判定为目标域结果(标签为0)。对抗损失函数公式如下：
Figure BDA0002539264890000091
式中，Ladv(·)表示对抗损失函数值，D表示判别器，f表示编码器，
Figure BDA0002539264890000093
表示数学期望，xs表示单次批量中参与训练的源域CT图像数据矩阵，xt表示单次批量中参与训练的目标域CT图像数据矩阵，Xs表示源域CT图像矩阵集合，Xt表示目标域CT图像矩阵集合，log(·)表示对数运算；
3-3)使用内容一致性模块通过内容一致性损失函数约束目标域编码器特征表示及输入的目标域CT肺部纹理图像，保持目标域内容一致性。内容一致性模块如图4所示，包括2个卷积模块和3个残差模块，将目标域编码器特征表示重建为单通道图像，与输入目标域CT肺部纹理图像通过L1范数约束。内容一致性损失函数公式如下：
Figure BDA0002539264890000092
式中，Lcp(·)表示内容一致性损失函数值，f表示编码器，g表示内容一致性模块，
Figure BDA0002539264890000094
表示数学期望，xt表示单次批量中参与训练的目标域CT图像数据矩阵，Xt表示目标域CT图像矩阵集合，‖·‖1表示L1范数；
3-4)使用目标域中不带标签的CT小块，并再次使用源域中带标签的CT小块，计算对抗损失函数、内容一致性损失函数和源域中的分类交叉熵损失函数的和，作为网络微调的整体损失函数，具体公式如下：
Ltotal(f，h，g，D)＝Ladv(D，f)+λcpLcp(f，g)+λtaskLtask(f，h)
式中，Ltotal(·)表示非监督保内容域适应的整体损失函数值，f表示编码器，h表示分类器，g表示内容一致性模块，D表示判别器，Ladv表示对抗损失函数值，λcp表示内容一致性损失函数系数，本发明中λcp为1.0，Lcp为内容一致性损失函数值，λtask表示分类交叉熵损失函数系数，本发明中λtask为100.0，Ltask表示分类交叉熵损失函数值(其定义参见步骤(2-4)中的公式)。
3-5)通过随机梯度下降算法对(3-4)中的整体优化损失函数进行优化，得到最终针对目标域微调的深层网络模型。
4)深层网络模型的性能测试：使用目标域上的带标签CT小块，通过计算衡量识别性能的常用指标，如正确识别准确率和F值，对最终得到的深层网络模型的性能进行测试。本发明方法的测试结果及与其他两种公认的非监督域适应方法的比较结果如表1所示，其中(a)基于ADDA(Eric Tzeng,Judy Hoffman and et al.,“Adversarial discriminativedomain adaptation,”in Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition,2017,pp.7167-7176.)方法的正确识别准确率及F值；(b)基于Cycle-GAN(Jun-Yan Zhu,Taesung Park and et al.,“Unpaired image-to-imagetranslation using cycle-consistent adversarial networks,”in Proceedings ofthe IEEE International Conference on Computer Vision,2017,pp.2223-2232.)的正确识别准确率及F值；(c)本发明(CPDA-Net)正确识别准确率及F值。组1→组2的意思是以第一组CT数据作为源域，以第二组CT数据作为目标域，来训练和微调深层网络模型。组2→组1的意思是以第二组CT数据作为源域，以第一组CT数据作为目标域，来训练和微调深层网络模型。
表1本发明方法的性能评估以及与其他方法的比较
Figure BDA0002539264890000101
这两种方法分别基于ADDA和CycleGAN虽然并不是针对不同种类CT图像的肺部纹理识别所提出的方法，但他们是公认的深层网络领域自适应的有效方法。本发明提出的技术方案，较这两种方法更为有效。

Claims (2)

1.面向多种CT肺部纹理识别的非监督保内容域适应方法，其特征在于，包括下列步骤：
1)训练和测试数据准备：采集了两组不同种类的CT图像，并利用人工方式在这两组CT图像上标注典型肺部纹理区域；此后，随机指定一组图像为源域数据，另一组图像为目标域数据；源域上的CT图像和人工标注的肺部纹理区域，处理成带标签的CT小块，用于在源域上监督训练深层网络模型；目标域的数据，处理成带标签和不带标签的CT小块，其中不带标签的CT小块，用于非监督方式对预先训练深层网络模型进行微调，带标签的CT小块用于测试本发明所提技术方案的最终结果；
2)源域上识别网络的构建和监督训练：使用残差网络构建深层网络模型，其结构包括编码器和分类器两部分；编码器提取输入CT肺部纹理图像特征表示，分类器使用特征表示生成识别结果；使用源域中的带标签CT小块，采用监督方式训练该深层网络，使网络模型在源域的数据中达到良好的识别性能；
3)目标域上的深层模型微调：针对步骤2)中获得的源域深层网络模型，使用目标域的不带标签的CT小块，利用基于对抗学习机制的损失函数进行非监督域适应，同时利用内容一致性模块和内容一致性损失函数对目标域编码器进行保持内容的约束，再结合源域中的监督分类训练，再次利用源域中带标签的CT小块，共同对目标域的深层模型进行微调，最终使深层网络模型能在目标域保持良好的肺部纹理识别性能。
2.根据权利要求1所述的面向多种CT肺部纹理识别的非监督保内容域适应方法，其特征在于，步骤3)中的目标域上的深层模型微调，具体包括以下步骤：
3-1)为目标域数据构建一个与源域网络模型结构相同的深层网络，并使这两个网络的编码器和分类器共享同样的网络参数权重，以步骤(2)中在源域数据中训练得到的网络模型的参数权重为初始值，进行目标域上的网络模型微调；
3-2)使用对抗学习机制，构建判别器，通过优化对抗损失函数进行域适应，缩小源域和目标域编码器特征表示域偏差；判别器由卷积模块和全连接层组成，以源域和目标域编码器特征表示为输入，将源域编码器特征表示判定为源域结果，标签为1，将目标域编码器特征表示判定为目标域结果，标签为0；对抗损失函数公式如下：
Figure FDA0002539264880000021
式中，Ladv(·)表示对抗损失函数值，D表示判别器，f表示编码器，
Figure FDA0002539264880000022
表示数学期望，xs表示单次批量中参与训练的源域CT图像数据矩阵，xt表示单次批量中参与训练的目标域CT图像数据矩阵，Xs表示源域CT图像矩阵集合，Xt表示目标域CT图像矩阵集合，log(·)表示对数运算；
3-3)使用内容一致性模块通过内容一致性损失函数约束目标域编码器特征表示及输入的目标域CT肺部纹理图像，保持目标域内容一致性；内容一致性模块包括卷积模块和残差模块，将目标域编码器特征表示重建为单通道图像，与输入目标域CT肺部纹理图像通过L1范数约束；内容一致性损失函数公式如下：
Figure FDA0002539264880000023
式中，Lcp(·)表示内容一致性损失函数值，f表示编码器，g表示内容一致性模块，
Figure FDA0002539264880000024
表示数学期望，xt表示单次批量中参与训练的目标域CT图像数据矩阵，Xt表示目标域CT图像矩阵集合，‖·‖1表示L1范数；
3-4)使用目标域中不带标签的CT小块，并再次使用源域中带标签的CT小块，计算对抗损失函数、内容一致性损失函数和源域中的分类交叉熵损失函数的和，作为网络微调的整体损失函数，具体公式如下：
Ltotal(f,h,g,D)＝Ladv(D,f)+λcpLcp(f,g)+λtaskLtask(f,h)
式中，Ltotal(·)表示非监督保内容域适应的整体损失函数值，f表示编码器，h表示分类器，g表示内容一致性模块，D表示判别器，Ladv表示对抗损失函数值，λcp表示内容一致性损失函数系数，Lcp为内容一致性损失函数值，λtask表示分类交叉熵损失函数系数，Ltask表示分类交叉熵损失函数值；分类交叉熵损失函数的计算公式如下：
Figure FDA0002539264880000031
式中，Ltask(·)表示交叉熵损失函数值，f表示编码器，h表示分类器，
Figure FDA0002539264880000032
表示数学期望，xs表示单次批量中参与训练的源域CT图像数据矩阵，ys表示xs对应类别标签矩阵，Xs表示源域CT图像矩阵集合，Ys表示Xs对应类别标签矩阵集合，∑表示求和运算符，K表示分类类别数，log(·)表示对数运算。
CN202010541959.1A 2020-06-15 2020-06-15 面向多种ct肺部纹理识别的非监督保内容域适应方法 Active CN111739076B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010541959.1A CN111739076B (zh) 2020-06-15 2020-06-15 面向多种ct肺部纹理识别的非监督保内容域适应方法
US17/112,623 US11501435B2 (en) 2020-06-15 2020-12-04 Unsupervised content-preserved domain adaptation method for multiple CT lung texture recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010541959.1A CN111739076B (zh) 2020-06-15 2020-06-15 面向多种ct肺部纹理识别的非监督保内容域适应方法

Publications (2)

Publication Number Publication Date
CN111739076A CN111739076A (zh) 2020-10-02
CN111739076B true CN111739076B (zh) 2022-09-30

Family

ID=72649178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010541959.1A Active CN111739076B (zh) 2020-06-15 2020-06-15 面向多种ct肺部纹理识别的非监督保内容域适应方法

Country Status (2)

Country Link
US (1) US11501435B2 (zh)
CN (1) CN111739076B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332787A (zh) * 2021-12-30 2022-04-12 福州大学 无源域无监督域自适应车辆再识别方法
CN114549322B (zh) * 2022-02-24 2024-04-16 中山大学 基于无监督领域自适应的图像超分辨方法及装置
CN114565613B (zh) * 2022-04-29 2022-08-23 之江实验室 基于有监督深度子空间学习的胰腺术后糖尿病预测系统
CN115050032A (zh) * 2022-05-02 2022-09-13 清华大学 一种基于特征对齐和熵正则化的域适应文本图像识别方法
CN115049627B (zh) * 2022-06-21 2023-06-20 江南大学 基于域自适应深度迁移网络的钢表面缺陷检测方法及系统
CN115292532B (zh) * 2022-06-24 2024-03-15 中南大学 基于伪标签一致性学习的遥感图像域适应检索方法
CN115410088B (zh) * 2022-10-10 2023-10-31 中国矿业大学 一种基于虚拟分类器的高光谱图像领域自适应方法
CN116523840B (zh) * 2023-03-30 2024-01-16 苏州大学 一种基于深度学习的肺部ct图像检测系统以及方法
CN116935447B (zh) * 2023-09-19 2023-12-26 华中科技大学 基于自适应师生结构的无监督域行人重识别方法及系统
CN117058266B (zh) * 2023-10-11 2023-12-26 江西师范大学 一种基于骨架和轮廓的书法字生成方法
CN117132841B (zh) * 2023-10-26 2024-03-29 之江实验室 一种保守渐进的领域自适应图像分类方法和装置
CN117557843A (zh) * 2023-11-13 2024-02-13 江苏君立华域信息安全技术股份有限公司 一种基于半监督学习的流量识别方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10127659B2 (en) * 2016-11-23 2018-11-13 General Electric Company Deep learning medical systems and methods for image acquisition
CN108428229B (zh) * 2018-03-14 2020-06-16 大连理工大学 一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法
US11730387B2 (en) * 2018-11-02 2023-08-22 University Of Central Florida Research Foundation, Inc. Method for detection and diagnosis of lung and pancreatic cancers from imaging scans
CN109753992B (zh) * 2018-12-10 2020-09-01 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
US11360180B2 (en) * 2019-12-19 2022-06-14 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for using a trained adversarial network for performing retrospective magnetic resonance imaging (MRI) artifact correction
US11282192B2 (en) * 2019-12-19 2022-03-22 Varian Medical Systems International Ag Training deep learning engines for radiotherapy treatment planning

Also Published As

Publication number Publication date
US11501435B2 (en) 2022-11-15
CN111739076A (zh) 2020-10-02
US20210390686A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
CN111739076B (zh) 面向多种ct肺部纹理识别的非监督保内容域适应方法
CN111476292B (zh) 医学图像分类处理人工智能的小样本元学习训练方法
CN108428229B (zh) 一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN110889853B (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN109584209B (zh) 血管壁斑块识别设备、系统、方法及存储介质
CN110739070A (zh) 一种基于3d卷积神经网络的脑疾病诊断方法
CN109598220B (zh) 一种基于多元输入多尺度卷积的人数统计方法
CN107527326A (zh) 一种基于高光谱成像的小麦赤霉病诊断方法
CN111539247B (zh) 一种超光谱人脸识别方法、装置、电子设备及其存储介质
CN110879982A (zh) 一种人群计数系统及方法
CN111009324A (zh) 脑网络多特征分析的轻度认知障碍辅助诊断系统及方法
CN112396587A (zh) 一种基于协同训练和密度图的公交车厢内拥挤度检测方法
CN114782298B (zh) 一种具有区域注意力的红外与可见光图像融合方法
CN115049629A (zh) 基于线图扩展的多模态脑超图注意力网络的分类方法
CN110503078A (zh) 一种基于深度学习的远距离人脸识别方法和系统
WO2024021461A1 (zh) 缺陷检测方法及装置、设备、存储介质
CN106067165B (zh) 基于聚类化稀疏随机场的高光谱图像去噪方法
CN115131503A (zh) 一种虹膜三维识别的健康监测方法及其系统
CN110033448B (zh) 一种aga临床图像的ai辅助雄秃汉密尔顿分级预测分析方法
CN112967296B (zh) 一种点云动态区域图卷积方法、分类方法及分割方法
CN112420170B (zh) 一种提高计算机辅助诊断系统图片分类准确度的方法
CN107330948B (zh) 一种基于流行学习算法的fMRI数据二维可视化方法
CN116763295B (zh) 牲畜体尺测量方法、电子设备及存储介质
CN116912265A (zh) 一种遥感图像分割方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant