CN113344044A - 一种基于领域自适应的跨物种医疗影像分类方法 - Google Patents

一种基于领域自适应的跨物种医疗影像分类方法 Download PDF

Info

Publication number
CN113344044A
CN113344044A CN202110557951.9A CN202110557951A CN113344044A CN 113344044 A CN113344044 A CN 113344044A CN 202110557951 A CN202110557951 A CN 202110557951A CN 113344044 A CN113344044 A CN 113344044A
Authority
CN
China
Prior art keywords
domain
classifier
field
target
cross
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110557951.9A
Other languages
English (en)
Inventor
贾熹滨
李启铭
杨正汉
曾檬
杨大为
任浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202110557951.9A priority Critical patent/CN113344044A/zh
Publication of CN113344044A publication Critical patent/CN113344044A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Abstract

本发明公开了一种基于领域自适应的跨物种医疗影像分类方法，通过领域自适应算法，提取大鼠和人的NAFLD影像数据间的领域不变特征与领域差异特征，并通过特征对齐和领域对抗的方式使无标定的人类肝脏影像数据能够通过有标定的大鼠肝脏影像数据训练的分类器进行类别判别。构建基于源领域和目标领域分布一致性的约束和基于条件对抗学习的领域不变性约束，通过控制分类器预测结果的不确定性以保证分类器的可迁移性的同时，通过计算特征与分类器预测结果之间的互协方差以提升分类器的判别性，从而在源领域和目标领域样本分布差异较大的医疗影像数据上能够获得适用于目标领域的病理分类器，实现跨物种数据的迁移学习。

Description

一种基于领域自适应的跨物种医疗影像分类方法
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种基于领域自适应的跨物种医疗影像分类方法。
背景技术
在国家政策支持与驱动下，以智慧医疗为首的智能领域，在近年来逐渐受到社会的关注。而智能医疗也利用先进技术，实现患者与医务人员、医疗机构、医疗设备之间的信息化互动。其中医学影像智能分析技术作为智能医疗中一项不可或缺的技术，在医学影像分类任务中应用广泛，辅助医生诊断决策，进一步提升诊断效率，减轻病人就医压力。然而分析技术依赖于大规模的标准标定数据，而这些数据由于收集时间长、标定过程繁琐且耗时等问题使得数据不充足，从而导致直接训练分类模型存在一定困难。并且由于医疗影像数据涉及到伦理与病人隐私，可能无法获得充足的数据支持模型的训练。
为了解决以上问题，我们选用易通过实验获得的大鼠肝脏影像标准标定数据进行分类模型的训练，由于大鼠和人类的非酒精性脂肪肝(NAFLD)的病理表现相同，故我们通过领域自适应算法，提取大鼠和人的影像数据间的领域不变特征与领域差异特征，并通过特征对齐和领域对抗的方式使无标定的人类肝脏影像数据能够通过有标定的大鼠肝脏影像数据训练的分类器进行类别判别。
目前主流深度领域自适应主要有以下四种方法，其一是基于领域分布差异的方法，领域间差异dHΔH是影响目标领域泛化误差上界的因素之一。基于领域分布差异的法通过减少两个领域间的差异来减少目标领域泛化误差。其二是基于对抗学习的方法，基于对抗学习的领域自适应方法将生成对抗网络(Generative Adversarial Networks GANs)的思想引入到领域自适应问题当中。其三为基于重构的方法，自编码器是实现重构的基本网络结构，是一种可以用来抑制信息损失的无监督学习方法。其四为基于样本生成的方法，使用源领域样本合成带标签的目标领域样本，并使用合成样本训练目标领域网络。
发明内容
本发明的目的在于提供一种基于领域自适应的跨物种医疗影像分类方法，该方法利用减小领域分布差异和对抗学习的思想，构建基于源领域和目标领域分布一致性的约束和基于条件对抗学习的领域不变性约束，通过控制分类器预测结果的不确定性以保证分类器的可迁移性的同时，通过计算特征与分类器预测结果之间的互协方差以提升分类器的判别性，从而在源领域和目标领域样本分布差异较大的医疗影像数据上能够获得适用于目标领域的病理分类器。
为实现上述目的，本发明采用以下技术方案：首先将大鼠与人的数据分别输入基于CNN的多尺度特征提取网络中，从而解决由于大鼠与人影像大小不同导致无法提取有效特征的问题。得到有效的低层特征后，通过高斯核函数将低层特征映射到再生核希尔伯特空间(Reproducing Kernel Hilbert Space,RKHS)，并利用多核最大均值差异(MK-MMD)进行约束，从而在源领域和目标领域的公共特征映射空间上进行高层语义特征的对齐，而后将高层特征输入到分类器中计算分类损失，通过减小领域差异保证分类器的判别性。将高层特征与分类器的分类结果结合，采用对抗的思想，利用判别器跟特征提取器做一个极小极大博弈，计算跨领域数据特征与其对应的类别标签之间的结构关系，利用伪标签对抗学习，提取领域不变特征。
一种基于领域自适应的跨物种医疗影像分类方法，包括以下步骤：
步骤1，将源领域数据和目标领域数据扩容并进行数据预处理，与源领域标签一同输入到模型当中。
步骤2，利用多尺度注意力特征提取网络，提取样本的低层特征。
步骤3，构建基于边缘分布对齐的主任务模块。通过高斯核函数将低层特征映射到高维空间，使用多核MMD进行源领域与目标领域的距离度量，对齐高层跨领域特征的全局差异，将输出的高层特征输入到分类器中进行类别判别。
步骤4，构建基于条件对抗机制的辅助任务模块。计算跨领域特征与类别标签的条件分布组合特征，利用目标领域的伪标签进行对抗学习，引入混淆矩阵在训练过程中提升伪标签的准确性，实现类别特征对齐。。
步骤5，将目标领域样本输入已训练好的模型，输出人类NAFLD影像的分类结果。
与现有技术相比，本发明具有以下明显优势：
本发明针对样本大小不同，样本分布存在较大差异的跨物种医学影像数据，通过设计多尺度特征提取器解决样本尺寸与病灶大小不一导致底层特征提取效果差的问题，通过领域分布一致性的约束与条件对抗学习的领域不变性约束，实现跨物种医疗影像分类器的迁移。
附图说明
图1为本发明的模型结构图；
图2为本发明的方法流程图；
图3为多尺度特征提取示例图；
图4为实例批量归一化示例图。
具体实施方式
以下结合具体实施例，并参照附图，对本发明进一步详细说明。
本发明方法模型结构如图1所示，所述方法的流程图如图2所示，具体包括以下步骤：
步骤1，将数据进行扩容，包括分别顺时针旋转、随机上下翻转、随机左右翻转、对角转置、副对角线转置，提升数据总量，将经过随机过采样与灰度均衡化后的数据存为矩阵形式，作为网络模型的输入。
步骤2，利用多尺度特征提取模块，提取样本的低层特征。
步骤2.1，将源领域和目标领域的样本输入基于通道注意力的卷积神经网络SE-Net当中，通过该特征提取模块提取样本的低层特征，SE的特征提取过程主要包括三个步骤：压缩(Squeeze)、激活(Excitation)、重加权(Reweight)。数学表达式分别如下所示：
xsqueeze＝GAP(x)
xexcit＝softmax(σ(W×xsqueeze+b))
Figure BDA0003077994480000031
将样本依次输入不同的多尺度特征学习分支，残差模块的输出
Figure BDA0003077994480000034
的数学表达式如下所示：
Figure BDA0003077994480000035
F由多条SE模块构成的注意力分支Ft组成，相邻分支的层数t逐层增加，因各分支的层数不同，其特征图的感受野不同，所包含的语义信息也各有差异，层数相对较浅的网络分支提取的是全局特征，而层数相对较深的分支提取的是局部特征，因此不同的分支可以提取到不同尺度下的特征信息。
步骤2.2，构建注意力分支共享的聚合门(Aggregation Gate，AG)，将各条分支的多尺度信息进行融合，为不同的尺度特征动态分配不同的权重，计算过程如下所示：
Figure BDA0003077994480000032
步骤2.3，在每个SE模块中进行实例批量归一化，加强可迁移特征的提取，加速网络训练速度，增强判别器的判别性能。
步骤3，构建主任务模块，提取可进行领域对齐的高层特征。
步骤3.1，通过高斯核函数将低层特征映射到RKHS，在该空间中利用MMD度量源领域和目标领域样本的距离。
该方法使用最大均值差异(Maximum Mean Discrepancy，MMD)作为检验统计量，度量领域间的差异，数学表达式如下所示：
Figure BDA0003077994480000033
Figure BDA0003077994480000041
是原始空间中连续函数f的集合，p代表源领域样本服从的特征分布，q代表目标领域样本服从的特征分布，ns为源领域样本的数量，nt为源领域样本的数量。可以通过核嵌入方式表示的样本到再生核希尔伯特空间的映射，并利用高斯核函数计算领域间的MMD距离作为约束值，构建基于源领域和目标领域分布一致性的约束，实现源领域样本到目标领域的迁移。该约束可被表示为下式。
Figure BDA0003077994480000042
其中MMD的表达式为：
Figure BDA0003077994480000043
步骤3.2，将源领域高层特征输入类别分类器，计算分类损失。
在特征对齐的基础上，将源领域高层特征输入类别判别器，判断样本所属类别，保证分类器的有效性。其数学描述如下。给定一个有标签的源域
Figure BDA0003077994480000044
和一个无标签的目标域
Figure BDA0003077994480000045
假设它们的特征空间相同，即Xs＝Xt，它们的标签空间也相同，即Ys＝Yt并且条件概率分布也相同，即P(ys|xs)＝P(yt|xt)。但是这两个域的边缘分布不同，即P(xs)≠P(xt)。利用有标签的源域数据Ds学习一个分类器f：x→y来预测目标域数据Dt的标签yt∈Yt该分类器在目标领域样本集上的损失函数如下式所示，其中Pr(η(xt)≠y)表示输入xt经分类后结果与其对应的标签y不相等的概率。
Figure BDA0003077994480000046
步骤4，构建辅助任务模块，将低层特征同时输入辅助任务模块，引入对抗思想，使判别器为源领域和目标领域生成不同的噪声向量，对于源领域特征，判别器旨在使校正后的标签与真实标签之间的差异最小，而对于目标领域特征，判别器将伪标签校正为相反分布进行对抗学习，修正后的目标领域分类损失如下所示：
Figure BDA0003077994480000047
其中K为目标领域类别数，
Figure BDA0003077994480000049
为分类器预测伪标签，
Figure BDA0003077994480000048
为混淆矩阵，提升伪标签的可信度。
总的对抗损失如下：
LAdv(xs，ys，xt)＝LAdv(xs，ys)+LAdv(xt)
步骤5，将目标样本即人类肝脏影像数据输入已训练好的模型，输出病理分类的结果。
在训练过程中，通过优化步骤2，3，4中四个损失函数，包括最小化源领域类别分类器的损失函数Ltotal＝LCE(Ps，ys)，最小化目标领域类别分类的损失函数LT(xt，L)，最大化条件对抗的损失函数LAdv(xs，ys，xt)，以及最小化领域对齐层的损失函数LAlign，可减小源领域和目标领域样本的差异，整个方法的损失函数如下所示，其中α和λ为超参数，分别决定主任务模块和辅助任务模块占损失函数的影响比重。
Ltotal＝LCE(ps，ys)+αLAlign+λLT(xt，L)-λLAdv(xs，ys，xt)) (9)
最后在测试阶段，将目标领域的样本输入已训练好的模型，通过类别分类器输出病理分类的结果。
至此，本发明的具体实施过程描述完毕。

Claims (3)

1.一种基于领域自适应的跨物种医疗影像分类方法，其特征在于：利用减小领域分布差异和对抗学习的思想，构建基于源领域和目标领域分布一致性的约束和基于条件对抗学习的领域不变性约束，通过控制分类器预测结果的不确定性以保证分类器的可迁移性的同时，通过计算特征与分类器预测结果之间的互协方差以提升分类器的判别性，从而在源领域和目标领域样本分布差异较大的医疗影像数据上能够获得适用于目标领域的病理分类器；该方法包括以下步骤：
步骤1，将源领域数据和目标领域数据扩容并进行数据预处理，与源领域标签一同输入到模型当中；
步骤2，利用多尺度注意力特征提取网络，提取样本的低层特征；
步骤3，构建基于边缘分布对齐的主任务模块；通过高斯核函数将低层特征映射到高维空间，使用多核MMD进行源领域与目标领域的距离度量，对齐高层跨领域特征的全局差异，将输出的高层特征输入到分类器中进行类别判别；
步骤4，构建基于条件对抗机制的辅助任务模块；计算跨领域特征与类别标签的条件分布组合特征，利用目标领域的伪标签进行对抗学习，引入混淆矩阵在训练过程中提升伪标签的准确性，实现类别特征对齐；
步骤5，将目标领域样本输入已训练好的模型，输出人类NAFLD影像的分类结果。
2.根据权利要求1所述的一种基于领域自适应的跨物种医疗影像分类方法，所述构建的深度领域自适应网络，具有三部分：基于多尺度注意力的表示学习层、基于源领域和目标领域分布一致性的约束和基于条件对抗学习的领域不变性约束模块；面向类别判别性和分布一致性优化目标，主任务模块提取对标签具有判别性的高层特征为：在样本特征对齐的基础上，将源领域高层特征输入类别分类器，判断样本所属类别，保证分类器的有效性。
3.根据权利要求1所述的方法，面向类别判别性和领域分布一致性、以及领域不变性的优化目标为：在训练过程中，通过优化四个损失函数，包括最小化源领域分类器LCE的损失函数，最大化领域分类器LAdv的损失函数，以及最小化领域对齐层的损失函数LAlign，修正伪标签的目标领域分类器的损失函数LT；减小源领域和目标领域样本的差异，完成基于无监督领域对抗自适应的跨领域情感分类网络的训练，获得适用于目标领域的NAFLD影像分类器，在测试阶段，将目标领域的样本输入已训练好的模型，通过目标领域类别分类器输出样本所属类别。
CN202110557951.9A 2021-05-21 2021-05-21 一种基于领域自适应的跨物种医疗影像分类方法 Pending CN113344044A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110557951.9A CN113344044A (zh) 2021-05-21 2021-05-21 一种基于领域自适应的跨物种医疗影像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110557951.9A CN113344044A (zh) 2021-05-21 2021-05-21 一种基于领域自适应的跨物种医疗影像分类方法

Publications (1)

Publication Number Publication Date
CN113344044A true CN113344044A (zh) 2021-09-03

Family

ID=77470609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110557951.9A Pending CN113344044A (zh) 2021-05-21 2021-05-21 一种基于领域自适应的跨物种医疗影像分类方法

Country Status (1)

Country Link
CN (1) CN113344044A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283287A (zh) * 2022-03-09 2022-04-05 南京航空航天大学 基于自训练噪声标签纠正的鲁棒领域自适应图像学习方法
CN114511737A (zh) * 2022-01-24 2022-05-17 北京建筑大学 图像识别域泛化模型的训练方法
CN116385808A (zh) * 2023-06-02 2023-07-04 合肥城市云数据中心股份有限公司 大数据跨域图像分类模型训练方法、图像分类方法和系统
CN117131022A (zh) * 2023-09-25 2023-11-28 广州东方电力有限公司 一种电力信息系统的异构数据迁移方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492099A (zh) * 2018-10-28 2019-03-19 北京工业大学 一种基于领域对抗自适应的跨领域文本情感分类方法
CN109753992A (zh) * 2018-12-10 2019-05-14 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
CN110097131A (zh) * 2019-05-08 2019-08-06 南京大学 一种基于对抗协同训练的半监督医疗图像分割方法
CN110135579A (zh) * 2019-04-08 2019-08-16 上海交通大学 基于对抗学习的无监督领域适应方法、系统及介质
CN111539467A (zh) * 2020-04-17 2020-08-14 北京工业大学 基于生成对抗网络为医疗影像数据集做数据增广的gan网络架构及方法
AU2020103905A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492099A (zh) * 2018-10-28 2019-03-19 北京工业大学 一种基于领域对抗自适应的跨领域文本情感分类方法
CN109753992A (zh) * 2018-12-10 2019-05-14 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
CN110135579A (zh) * 2019-04-08 2019-08-16 上海交通大学 基于对抗学习的无监督领域适应方法、系统及介质
CN110097131A (zh) * 2019-05-08 2019-08-06 南京大学 一种基于对抗协同训练的半监督医疗图像分割方法
CN111539467A (zh) * 2020-04-17 2020-08-14 北京工业大学 基于生成对抗网络为医疗影像数据集做数据增广的gan网络架构及方法
AU2020103905A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨涵方;周向东;: "基于深度稀疏辨别的跨领域图像分类", 计算机工程, no. 04, 15 April 2018 (2018-04-15) *
杨舜尧;: "模态桥传递学习方法在医学图像分类中的应用", 信息技术与信息化, no. 04, 25 April 2018 (2018-04-25) *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511737A (zh) * 2022-01-24 2022-05-17 北京建筑大学 图像识别域泛化模型的训练方法
CN114511737B (zh) * 2022-01-24 2022-09-09 北京建筑大学 图像识别域泛化模型的训练方法
CN114283287A (zh) * 2022-03-09 2022-04-05 南京航空航天大学 基于自训练噪声标签纠正的鲁棒领域自适应图像学习方法
CN116385808A (zh) * 2023-06-02 2023-07-04 合肥城市云数据中心股份有限公司 大数据跨域图像分类模型训练方法、图像分类方法和系统
CN116385808B (zh) * 2023-06-02 2023-08-01 合肥城市云数据中心股份有限公司 大数据跨域图像分类模型训练方法、图像分类方法和系统
CN117131022A (zh) * 2023-09-25 2023-11-28 广州东方电力有限公司 一种电力信息系统的异构数据迁移方法
CN117131022B (zh) * 2023-09-25 2024-03-29 广州东方电力有限公司 一种电力信息系统的异构数据迁移方法

Similar Documents

Publication Publication Date Title
CN108062753B (zh) 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN112949786B (zh) 数据分类识别方法、装置、设备及可读存储介质
CN108520780B (zh) 一种基于迁移学习的医学数据处理和系统
CN113344044A (zh) 一种基于领域自适应的跨物种医疗影像分类方法
CN110309868A (zh) 结合无监督学习的高光谱图像分类方法
CN110706793A (zh) 一种基于注意力机制的甲状腺结节半监督分割方法
CN112529063B (zh) 一种适用于帕金森语音数据集的深度域适应分类方法
Li et al. Robust deep neural networks for road extraction from remote sensing images
CN114863091A (zh) 一种基于伪标签的目标检测训练方法
CN114743037A (zh) 一种基于多尺度结构学习的深度医学图像聚类方法
Chen et al. Assessing the effects of convolutional neural network architectural factors on model performance for remote sensing image classification: An in-depth investigation
CN117153268A (zh) 一种细胞类别确定方法及系统
Chen et al. HADCNet: Automatic segmentation of COVID-19 infection based on a hybrid attention dense connected network with dilated convolution
He et al. Adversarial domain adaptation network for tumor image diagnosis
Li et al. Towards better long-tailed oracle character recognition with adversarial data augmentation
Jin et al. A cross-modal deep metric learning model for disease diagnosis based on chest x-ray images
Qu et al. Rethinking multiple instance learning for whole slide image classification: A good instance classifier is all you need
Liu et al. CNN-based hidden-layer topological structure design and optimization methods for image classification
CN114140437A (zh) 一种基于深度学习的眼底硬渗出物分割方法
Zhang et al. Multi‐feature fusion of deep networks for mitosis segmentation in histological images
Yuan et al. An improved yolov5 for skull fracture detection
CN111783796A (zh) 一种基于深度特征融合的pet/ct影像识别系统
Subramanian et al. Learning without forgetting by leveraging transfer learning for detecting COVID-19 infection from CT images
Yang et al. Leukemic b-lymphoblast cell detection with monte carlo dropout ensemble models
Ellis et al. Impact of hybrid supervision approaches on the performance of artificial intelligence for the classification of chest radiographs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination