CN112861879A - 基于双重迁移的认知障碍辅助决策支持方法和系统 - Google Patents

基于双重迁移的认知障碍辅助决策支持方法和系统 Download PDF

Info

Publication number
CN112861879A
CN112861879A CN202110203086.8A CN202110203086A CN112861879A CN 112861879 A CN112861879 A CN 112861879A CN 202110203086 A CN202110203086 A CN 202110203086A CN 112861879 A CN112861879 A CN 112861879A
Authority
CN
China
Prior art keywords
loss
source domain
classification
network
target domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110203086.8A
Other languages
English (en)
Other versions
CN112861879B (zh
Inventor
陈益强
秦欣
�谷洋
卢旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN202110203086.8A priority Critical patent/CN112861879B/zh
Publication of CN112861879A publication Critical patent/CN112861879A/zh
Application granted granted Critical
Publication of CN112861879B publication Critical patent/CN112861879B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于双重迁移的认知障碍辅助决策支持方法和系统，包括本发明提出的方法将样本损失加权选择与特征适配相融合，从双重层面进行迁移，通过对源域样本损失加权，增强与目标域知识关联度高的源域样本作用，同时削弱无关样本的作用；同时，通过对源域与目标域特征空间的适配，拉近领域间分布差异。最终构建在目标域上性能良好的分类模型，判断有无认知障碍。

Description

基于双重迁移的认知障碍辅助决策支持方法和系统
技术领域
本发明涉及迁移学习及眼底图像分类等技术领域，具体涉及一种基于双重迁移的认知障碍辅助决策支持方法和系统。
背景技术
阿尔兹海默症是一种典型的认知障碍疾病，其主要临床症状为记忆障碍、失语、失用、失认、视空间技能损害、执行功能障碍等认知功能衰退。阿尔兹海默的具体发病原因尚不明确，一旦大脑出现损坏将是不可逆转的损害，因此，及早发现该疾病并进行早期干预是非常重要的。传统的检测方法通常包括脑部扫描、脊椎穿刺等昂贵或具有危险性的方法。近年来，越来越多的医学研究表明，视网膜血管密度的变化有可能反映大脑微小血管的变化，这些变化可能出现在发现认知能力变化之前，因此，通过眼底图片可以以无创的方式进行脑部认知状态判断，减小检测时的代价与危险。通过眼底图片分析眼底血管变化预测脑部认知状态变化，对于阿尔兹海默症进行辅助诊断，提前预警来预防和减缓发病时间，其研究是具有重要意义的。
随着机器学习理论与图像识别技术的发展，基于人体的眼底图片，训练机器学习模型可以通过分析眼底状态与脑部认知状态的关联关系并构建机器学习模型，通过眼底图片进行认知状态识别，可以帮助医生对于病人的认知状态进行辅助诊断。然而，由于眼底数据采集技术是较为新兴的技术，现有的采集的眼底数据数量较少；同时，由于数据采集过程中，难以招募大量认知状态衰退的老年人等进行眼底图片采集；对于采集到的图片，其人工标注过程耗时费力，往往需要昂贵的代价等原因，基于眼底图片训练模型存在小样本问题，利用传统的机器学习方法，难以实现高精准的模型构建。
迁移学习是机器学习领域的一类代表性方法，是解决小样本问题的有效范式。迁移学习通过缩小已有领域与新领域数据的概率分布差异、或抽象出领域无关的知识，将已有领域或任务上学习到的知识应用到相似的领域或任务中。对于眼底图片的识别我们可以通过迁移学习来解决该任务中的小样本问题。现有的迁移学习研究主要可以分为两大类别，基于传统机器学习的方法以及基于深度学习的方法。随着深度学习方法的不断发展，越来越多的研究人员研究基于深度神经网络的迁移学习。与传统的非深度迁移学习方法相比，基于深度学习的迁移学习方法可以实现对数据的直接学习，从而可以实现端到端的实际应用需求。现有的深度迁移学习主要有DAN(Deep Adaptation Networks)、DANN(DeepAdaptation Neural Network)、DDAN(Deep Dynamic Adaptation Network)、DSAN(DeepSubdomain Adaptation Networks)等，现有的方法大多基于特征层面，通常在特征层后加入适配层，用来计算源域与目标域特征的分布距离，从而进行适配。然而，现有的方法往往只集中于单一的特征层面，没有考虑到样本的相似性对迁移效果的影响，同时采用单一的度量方式，容易造成分布度量不准确，从而使得适配结果具有偏差。
发明内容
为解决基于眼底图片认知功能评估中的小样本难以训练性能较好模型的挑战，本发明提出了一种基于双重迁移的认知障碍辅助决策支持方法和系统。
具体来说本申请提出了一种基于双重迁移的认知障碍辅助决策支持方法，其特征在于，包括：
步骤1、获取已标记标签的脑部血管造影图片作为源域数据，并获取眼底图片作为目标域数据，从该目标域数据中采样有标签且分布均衡的图片数据作为元数据；
步骤2、初始化分类网络、元权重网络和训练迭代次数；
步骤3、分类网络对源域数据与目标域数据进行特征提取，并对提取到的源域和目标域的特征进行基于分布度量的适配，得到源域与目标域间的适配损失；
步骤4、根据分类网络在源域数据上的分类结果，得到源域分类损失，将该源域分类损失输入元权重网络，得到该源域分类损失的损失权重，该损失权重和该源域分类损失相乘得到加权分类损失，结合该加权分类损失与该适配损失，根据损失梯度下降方向计算分类网络权重；
步骤5、将该元数据输入至该分类网络，得到元损失，根据元损失梯度下降方向更新元权重网络；
步骤6、根据更新后的元权重网络，更新分类网络，训练迭代次数加1；
步骤7、判断该迭代次数是否达到预设值，若是则保存当前分类网络作为认知障碍辅助模型，否则继续执行该步骤3到步骤6；
步骤8、将待决策支持的眼底图片输入该知障碍辅助模型，得到识别结果。
输出识别结果，根据结果进行认知障碍预警。
所述的基于双重迁移的认知障碍辅助决策支持方法，其特征在于，对于每一次训练迭代，从源域数据中采样n组样本与标签作为一个小批量，n为正整数。
所述的基于双重迁移的认知障碍辅助决策支持方法，其特征在于，该步骤3包括：对提取到的源域和目标域的特征进行基于融合多种分布度量方式的适配。
所述的基于双重迁移的认知障碍辅助决策支持方法，其特征在于，该多种分布度量方式包括MMD和CORAL；
对于最大均值差异的损失LMMD通过如下方式计算：
Figure BDA0002948641210000031
其中，ψ(·)为将数据映射到再生希尔伯特空间的特征映射函数，
Figure BDA0002948641210000032
为再生希尔伯特空间平方范数，Hk为由显著核k定义的再生希尔伯特空间，E[·]表示嵌入样本的均值，xs为源域数据，xt为目标域数据，P和Q分别表示源域与目标域的概率分布；
关联对齐方法的损失LCORAL通过如下方式计算：
Figure BDA0002948641210000033
其中，Cs和Ct分别为源域与目标域特征的协方差矩阵，
Figure BDA0002948641210000034
为弗罗贝尼乌斯范数的平方，d为特征的维度；
将上述两种分布度量方法相结合，对源域与目标域的特征进行适配，得到的适配损失为：
Ladapt＝LMMD+μLCORAL，
其中，μ为用来调整两种损失的重要程度的权衡参数。
所述的基于双重迁移的认知障碍辅助决策支持方法，其特征在于，该元权重网络基于多层感知机，该元权重网络输出源域样本损失权重，用以对样本损失加权，增强与目标域分布相似度大的源域样本知识。
本发明还提出了一种基于双重迁移的认知障碍辅助决策支持系统，其特征在于，包括：
步骤1、获取已标记标签的脑部血管造影图片作为源域数据，并获取眼底图片作为目标域数据，从该目标域数据中采样有标签且分布均衡的图片数据作为元数据；
步骤2、初始化分类网络、元权重网络和训练迭代次数；
步骤3、分类网络对源域数据与目标域数据进行特征提取，并对提取到的源域和目标域的特征进行基于分布度量的适配，得到源域与目标域间的适配损失；
步骤4、根据分类网络在源域数据上的分类结果，得到源域分类损失，将该源域分类损失输入元权重网络，得到该源域分类损失的损失权重，该损失权重和该源域分类损失相乘得到加权分类损失，结合该加权分类损失与该适配损失，根据损失梯度下降方向计算分类网络权重；
步骤5、将该元数据输入至该分类网络，得到元损失，根据元损失梯度下降方向更新元权重网络；
步骤6、根据更新后的元权重网络，更新分类网络，训练迭代次数加1；
步骤7、判断该迭代次数是否达到预设值，若是则保存当前分类网络作为认知障碍辅助模型，否则继续执行该步骤3到步骤6；
步骤8、将待决策支持的眼底图片输入该知障碍辅助模型，得到识别结果。
输出识别结果，根据结果进行认知障碍预警。
所述的基于双重迁移的认知障碍辅助决策支持系统，其特征在于，对于每一次训练迭代，从源域数据中采样n组样本与标签作为一个小批量，n为正整数。
所述的基于双重迁移的认知障碍辅助决策支持系统，其特征在于，该步骤3包括：对提取到的源域和目标域的特征进行基于融合多种分布度量方式的适配。
所述的基于双重迁移的认知障碍辅助决策支持系统，其特征在于，该多种分布度量方式包括MMD和CORAL；
对于最大均值差异的损失LMMD通过如下方式计算：
Figure BDA0002948641210000041
其中，ψ(·)为将数据映射到再生希尔伯特空间的特征映射函数，
Figure BDA0002948641210000042
为再生希尔伯特空间平方范数，Hk为由显著核k定义的再生希尔伯特空间，E[·]表示嵌入样本的均值，xs为源域数据，xt为目标域数据，P和Q分别表示源域与目标域的概率分布；
关联对齐方法的损失LCORAL通过如下方式计算：
Figure BDA0002948641210000051
其中，Cs和Ct分别为源域与目标域特征的协方差矩阵，
Figure BDA0002948641210000052
为弗罗贝尼乌斯范数的平方，d为特征的维度；
将上述两种分布度量方法相结合，对源域与目标域的特征进行适配，得到的适配损失为：
Ladapt＝LMMD+μLCORRAL，
其中，μ为用来调整两种损失的重要程度的权衡参数。
所述的基于双重迁移的认知障碍辅助决策支持系统，其特征在于，该元权重网络基于多层感知机，该元权重网络输出源域样本损失权重，用以对样本损失加权，增强与目标域分布相似度大的源域样本知识。
由以上方案可知，本发明的优点在于：
本发明提出的方法可以将源域与目标域相关的知识有效迁移，从而促进目标域任务的完成，能够适用于眼底样本较少、难以训练良好模型、标注困难的认知状态评估场景。
附图说明
图1为基于双重迁移的认知障碍辅助决策支持方法和系统主要步骤示意图；
图2为基于双重迁移的认知障碍辅助决策支持方法具体工作流程示意图；
图3为分类网络结构及特征适配示意图。
具体实施方式
本发明提出一种基于双重迁移的认知障碍辅助决策支持方法和系统，双重迁移学习方法不同于以往的基于样本或者基于特征的迁移学习方法，本发明提出的方法将样本损失加权选择与特征适配相融合，从双重层面进行迁移，通过对源域样本损失加权，增强与目标域知识关联度高的源域样本作用，同时削弱无关样本的作用；同时，通过对源域与目标域特征空间的适配，拉近领域间分布差异。进一步的，在特征适配时，不同于以往的基于单一分布度量方法的迁移学习方法，本方法融合两种分布距离度量方法，能够更有效的衡量领域之间的分布差异。首先，本方法采用卷积神经网络作为基本模型。由于脑血管造影是以往常用的脑部病变诊断依据之一，具有一定的数据集基础，因此以现有的脑血管造影图片数据集作为源域数据。通过元学习进行样本层面的样本损失加权，在网络最后一层全连接层后加入融合两种度量方式的适配层进行特征层面的适配，进行双重迁移，最终构建在目标域上性能良好的分类模型，判断有无认知障碍。
本发明包括以下关键技术点：
关键点1，运用迁移学习的方法解决通过眼底图片评估认知状态时面临的小样本问题，不同于传统的机器学习方法先对源域建立模型再对目标域进行预测，本发明利用迁移学习的思想，将从源域中学习到的知识迁移到目标域中，从而完成目标域认知状态识别任务；
关键点2，运用元学习解决源域和目标域样本分布差异较大的问题，通过元学习对源域样本损失进行自适应加权，从而削弱与目标域分布差异较大的样本，并且增强与目标域分布差异较小的源域样本的作用，从而使得在源域上学习到与目标域更相关的知识；
关键点3，融合多种度量方式的特征适配方法。本发明实施例中采用融合两种经典的分布度量方式，即MMD和CORAL，可以从不同层面进行源域和目标域的分布度量，从而避免了单一度量方式分布度量不准的现象。在特征层面进一步对源域和目标域进行适配，将适配损失加入分类损失中指导分类网络的训练。
本发明方法主要由两个主要部分组成：基于元学习的样本加权选择方法和融合两种度量方式的特征适配方法。
1)基于元学习的样本加权选择方法
基于元学习的样本加权选择方法利用元学习的思想，通过少量有标注的目标域数据训练一个元学习网络，学习到目标域的概率分布。该网络的输出可以对源域数据损失进行加权。通过对源域数据的损失加权，可以使得与目标域分布更接近的样本知识发挥更大的作用，从而提高在目标域数据上的分类精度。
2)融合两种度量方式的特征适配方法
融合两种度量方式的特征适配方法，通过融合两种经典的分布度量方式MMD(Maximum Mean Discrepancy)和CORAL(CORrelation Alignment)对源域和目标域特征进行分布适配。在源域数据和目标域数据经过网络提取特征后，在网络的最后一层全连接层后加入融合了这两种分布度量方式的适配损失对来自源域和目标域的特征进行分布适配，从而学习到融合两个领域知识的模型。
基于双重迁移的认知障碍辅助决策支持方法和系统的整体示意图如图1所示，其模型构建具体工作流程如图2所示，主要步骤包括：
1)收集获取眼底图片数据、脑部血管造影数据集；
2)对数据进行预处理，划分为源域数据(脑部血管造影数据)、目标域数据(眼底图片数据)、元数据集(采样自眼底图片数据)等；
3)初始化分类网络和元网络参数；
4)对于每一轮次，从源域数据、目标域数据以及元数据集中分别采样小批量；我们采用小批量随机梯度下降进行训练优化，对于每一训练迭代轮次，从训练数据中采样n组样本与标签作为一个小批量。
5)源域数据与目标域数据输入分类网络，对源域和目标域的特征进行基于分布度量的适配，得到源域与目标域间的适配损失；
6)源域分类损失作为元权重网络的输入，输出损失权重，计算加权分类损失；结合加权分类损失与适配损失，根据损失梯度下降方向计算当前轮次分类网络参数；
7)元数据作为输入，输入到分类网络，计算元损失，根据元损失梯度下降方向更新元权重网络参数；
8)根据更新后的元权重网络，更新分类网络；
9)输出识别结果，根据结果进行认知障碍预警；
10)系统结束。
为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明提出的基于双重迁移的认知障碍辅助决策支持方法和系统进一步详细说明。应当理解，此处所描述的具体实施方法仅仅用以解释本发明，并不用于限定本发明。
迁移学习是机器学习领域的一类代表性方法，是解决小样本问题的有效范式。迁移学习通过缩小已有领域与新领域数据的概率分布差异、或抽象出领域无关的知识，将已有领域或任务上学习到的知识应用到相似的领域或任务中。在本发明中源域表示为
Figure BDA0002948641210000081
其中
Figure BDA0002948641210000082
为源域样本数目，x对应数据，y对应标签。
Figure BDA0002948641210000083
为目标域，其中
Figure BDA0002948641210000084
是目标域的样本数目。通常源域与目标域的特征空间与标签空间相同，即Xs＝Xt，
Figure BDA0002948641210000088
其中yi∈{0，1}c是C个类别上的标签向量。源域与目标域的概率分布分别为P和Q。f(x，w)表示类别分类器，w为其参数。Θ表示权重网络的参数。我们的方法包含并行的两个网络，一个为元权重网络，一个为分类网络，最终目标为学习最优的分类网络和元权重网络。
本发明对源域样本损失进行加权，即较符合元数据知识(即目标域知识)的源域样本损失的权重将得到提高，而较不符合元数据知识的源域样本损失将通过权重进行削弱，从而使得与目标域相关度高的源域知识被良好迁移。对于元网络的学习目的是学习一个对源域样本损失的权重向量。通常，我们通过最小化训练集上的损失
Figure BDA0002948641210000085
来优化分类器f的参数w。在元数据的指导下，分类损失越低的样本则趋向于服从与目标域更相似的分布，因此，通过对于每一个源域样本上的损失进行加权Ω(Li(w)；Θ)，损失越小权重越大，从而增强与目标域相似度较大的源域样本的知识，同时削弱与目标域样本相似度较低的源域样本知识。其中，Ω(l；Θ)代表元权重网络，l为分类损失，Θ为元权重网络的参数，训练集上每个样本的分类损失为
Figure BDA0002948641210000086
因此分类网络的参数w通过以下公式进行优化：
Figure BDA0002948641210000087
其中带有星号的w表示分类网络最优参数。我们通过元学习的思想来自动学习权重网络的参数Θ。我们利用一个多层感知机作为一个元学习权重网络，该网络包含一层隐藏层，每个隐藏单元使用ReLU激活函数，网络的输出采用sigmoid函数作为激活函数，来保证输出的值分布在[0，1]区间内。
权重网络的参数通过元学习的思想来更新优化。具体地，我们从目标域采样的一小部分有标签、分布均衡的数据
Figure BDA0002948641210000091
作为元数据集来指导元权重网络的学习，其包含了目标域样本分布知识的元知识，其中，M为元数据集样本数目，注意到，M的值远远小于训练样本数N。元权重网络的参数可以通过最小化以下元损失函数进行优化，优化后的参数Θ*为：
Figure BDA0002948641210000092
其中，元损失
Figure BDA0002948641210000093
为分类网络在元数据
Figure BDA0002948641210000094
上的损失，形式化为
Figure BDA0002948641210000095
元网络(权重网络)参数Θ与分类网络参数w的优化过程分别采用单一的优化循环来更新。我们采用小批量随机梯度下降进行训练优化，对于每一训练迭代轮次，从训练数据中采样n组样本与标签作为一个小批量，步长为α，则分类网络当前t轮次的参数w(t)沿目标损失下降的方向估计值
Figure BDA0002948641210000096
表示为：
Figure BDA0002948641210000097
Figure BDA0002948641210000098
为第i个样本损失对当前轮次模型参数的偏导。在获取到分类网络的参数更新
Figure BDA0002948641210000099
后，权重网络的参数沿着元数据上的目标梯度进行更新，得到第t+1轮次的权重网络参数Θ(t+1)，其中β为步长。
Figure BDA00029486412100000910
然后，更新的Θ(t+1)再用来优化t+1轮次的分类网络参数w(t+1)。
Figure BDA00029486412100000911
基于特征的迁移学习方法是目前研究最集中的一类迁移学习方法，该类方法通常通过寻求一种特征变换将源域分布与目标域分布拉近，因此通常需要通过定义一种分布度量方式来衡量两个领域之间的分布差异。目前大多数方法往往采用单一的分布度量方式，容易造成度量的分布差异不够准确全面，可能与真实的分布差异存在偏差。因此，本发明提出融合两种分布度量的特征适配方法，可以从不同的层面度量领域分布差异，从而更准确地优化特征适配结果。
我们采用卷积神经网络作为主干分类网络，由两层卷积层、两层池化层以及两层全连接层组成，最后由softmax函数作为分类函数。我们在最后一层全连接层之后加入特征适配模块，该层通过融合了两种分布度量的度量方式计算源域与目标域通过网络提取的特征之间的分布差异，分类网络结构及特征适配如图3所示。我们选取迁移学习领域被广泛使用的距离度量方法通过最大均值差异(Maximum Mean Discrepancy,MMD)以及相关对齐方法(CORrelation alignment,CORAL)方法进行结合，可以从不同层面刻画两个领域的分布差异。
最大均值差异方法是迁移学习领域被广泛使用的度量方法，度量在再生希尔伯特空间中两个分布之间的距离，是一种核学习方法。对于源域与目标域的MMD距离可以通过如下形式方式计算：
Figure BDA0002948641210000101
其中，ψ(·)为将数据映射到再生希尔伯特空间的特征映射函数，
Figure BDA0002948641210000102
为再生希尔伯特空间平方范数。E[·]表示嵌入样本的均值。
关联对齐方法被广泛应用在图像变换等迁移学习任务中，通常被用来进行特征的变换对齐。因此，我们将其与MMD方法进行结合，更好地进行特征适配。根据文献，CORAL方法被定义为源域与目标域的二阶统计特征距离，在神经网络中可以作为对齐损失加入网络的训练。关联对齐方法的损失LCORAL可以形式化为：
Figure BDA0002948641210000103
其中，Cs和Ct分别为源域与目标域特征的协方差矩阵，
Figure BDA0002948641210000104
为弗罗贝尼乌斯范数的平方，d为特征的维度。
由于单一的度量方法都只是从特征的一个层面进行度量，可能存在度量的偏差，因此，本发明将两种经典的度量方法相结合，对源域与目标域的特征进行适配，总体的特征适配损失定义如下：
Ladapt＝LMMD+μLCORAL， 公式(8)
其中，μ为权衡参数，用来调整两种损失的重要程度。
在元学习的基础上，结合适配损失，公式(1)可扩展为：
Figure BDA0002948641210000105
公式(3)扩展为：
Figure BDA0002948641210000106
公式(5)扩展为：
Figure BDA0002948641210000107
综合以上两个模块，通过源域样本损失加权选择及特征适配实现双重迁移模型构建，在此过程中通过迭代优化分类网络，最终得到在目标域数据即眼底图片数据上的认知障碍识别结果。
以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。
本发明还提出了一种基于双重迁移的认知障碍辅助决策支持系统，其特征在于，包括：
步骤1、获取已标记标签的脑部血管造影图片作为源域数据，并获取眼底图片作为目标域数据，从该目标域数据中采样有标签且分布均衡的图片数据作为元数据；
步骤2、初始化分类网络、元权重网络和训练迭代次数；
步骤3、分类网络对源域数据与目标域数据进行特征提取，并对提取到的源域和目标域的特征进行基于分布度量的适配，得到源域与目标域间的适配损失；
步骤4、根据分类网络在源域数据上的分类结果，得到源域分类损失，将该源域分类损失输入元权重网络，得到该源域分类损失的损失权重，该损失权重和该源域分类损失相乘得到加权分类损失，结合该加权分类损失与该适配损失，根据损失梯度下降方向计算分类网络权重；
步骤5、将该元数据输入至该分类网络，得到元损失，根据元损失梯度下降方向更新元权重网络；
步骤6、根据更新后的元权重网络，更新分类网络，训练迭代次数加1；
步骤7、判断该迭代次数是否达到预设值，若是则保存当前分类网络作为认知障碍辅助模型，否则继续执行该步骤3到步骤6；
步骤8、将待决策支持的眼底图片输入该知障碍辅助模型，得到识别结果。
输出识别结果，根据结果进行认知障碍预警。
所述的基于双重迁移的认知障碍辅助决策支持系统，其特征在于，对于每一次训练迭代，从源域数据中采样n组样本与标签作为一个小批量，n为正整数。
所述的基于双重迁移的认知障碍辅助决策支持系统，其特征在于，该步骤3包括：对提取到的源域和目标域的特征进行基于融合多种分布度量方式的适配。
所述的基于双重迁移的认知障碍辅助决策支持系统，其特征在于，该多种分布度量方式包括MMD和CORAL；
对于最大均值差异的损失LMMD通过如下方式计算：
Figure BDA0002948641210000121
其中，ψ(·)为将数据映射到再生希尔伯特空间的特征映射函数，
Figure BDA0002948641210000122
为再生希尔伯特空间平方范数，Hk为由显著核k定义的再生希尔伯特空间，E[·]表示嵌入样本的均值，xs为源域数据，xt为目标域数据，P和Q分别表示源域与目标域的概率分布；
关联对齐方法的损失LCORAL通过如下方式计算：
Figure BDA0002948641210000123
其中，Cs和Ct分别为源域与目标域特征的协方差矩阵，
Figure BDA0002948641210000124
为弗罗贝尼乌斯范数的平方，d为特征的维度；
将上述两种分布度量方法相结合，对源域与目标域的特征进行适配，得到的适配损失为：
Ladapt＝LMMD+μLCORAL，
其中，μ为用来调整两种损失的重要程度的权衡参数。
所述的基于双重迁移的认知障碍辅助决策支持系统，其特征在于，该元权重网络基于多层感知机，该元权重网络输出源域样本损失权重，用以对样本损失加权，增强与目标域分布相似度大的源域样本知识。

Claims (10)

1.一种基于双重迁移的认知障碍辅助决策支持方法，其特征在于，包括：
步骤1、获取已标记标签的该脑部血管造影图片作为源域数据，并获取眼底图片作为目标域数据，从该目标域数据中采样有标签且分布均衡的图片数据作为元数据；
步骤2、初始化分类网络、元权重网络和训练迭代次数；
步骤3、分类网络对源域数据与目标域数据进行特征提取，并对提取到的源域和目标域的特征进行基于分布度量的适配，得到源域与目标域间的适配损失；
步骤4、根据分类网络在源域数据上的分类结果，得到源域分类损失，将该源域分类损失输入元权重网络，得到该源域分类损失的损失权重，该损失权重和该源域分类损失相乘得到加权分类损失，结合该加权分类损失与该适配损失，根据损失梯度下降方向计算分类网络权重；
步骤5、将该元数据输入至该分类网络，得到元损失，根据元损失梯度下降方向更新元权重网络；
步骤6、根据更新后的元权重网络，更新分类网络，训练迭代次数加1；
步骤7、判断该迭代次数是否达到预设值，若是则保存当前分类网络作为认知障碍辅助模型，否则继续执行该步骤3到步骤6；
步骤8、将待决策支持的眼底图片输入该知障碍辅助模型，得到识别结果。
输出识别结果，根据结果进行认知障碍预警。
2.如权利要求1所述的基于双重迁移的认知障碍辅助决策支持方法，其特征在于，对于每一次训练迭代，从源域数据中采样n组样本与标签作为一个小批量，n为正整数。
3.如权利要求1所述的基于双重迁移的认知障碍辅助决策支持方法，其特征在于，该步骤3包括：对提取到的源域和目标域的特征进行基于融合多种分布度量方式的适配。
4.如权利要求3所述的基于双重迁移的认知障碍辅助决策支持方法，其特征在于，该多种分布度量方式包括MMD和CORAL；
对于最大均值差异的损失LMMD通过如下方式计算：
Figure FDA0002948641200000011
其中，ψ(·)为将数据映射到再生希尔伯特空间的特征映射函数，
Figure FDA0002948641200000021
为再生希尔伯特空间平方范数，Hk为由显著核k定义的再生希尔伯特空间，E[·]表示嵌入样本的均值，xs为源域数据，xt为目标域数据，P和Q分别表示源域与目标域的概率分布；
关联对齐方法的损失LCORAL通过如下方式计算：
Figure FDA0002948641200000022
其中，Cs和Ct分别为源域与目标域特征的协方差矩阵，
Figure FDA0002948641200000023
为弗罗贝尼乌斯范数的平方，d为特征的维度；
将上述两种分布度量方法相结合，对源域与目标域的特征进行适配，得到的适配损失为：
Ladapt＝LMMD+μLCORAL,
其中，μ为用来调整两种损失的重要程度的权衡参数。
5.如权利要求1所述的基于双重迁移的认知障碍辅助决策支持方法，其特征在于，该元权重网络基于多层感知机，该元权重网络输出源域样本损失权重，用以对样本损失加权，增强与目标域分布相似度大的源域样本知识。
6.一种基于双重迁移的认知障碍辅助决策支持系统，其特征在于，包括：
步骤1、获取已标记标签的脑部血管造影图片作为源域数据，并获取眼底图片作为目标域数据，从该目标域数据中采样有标签且分布均衡的图片数据作为元数据；
步骤2、初始化分类网络、元权重网络和训练迭代次数；
步骤3、分类网络对源域数据与目标域数据进行特征提取，并对提取到的源域和目标域的特征进行基于分布度量的适配，得到源域与目标域间的适配损失；
步骤4、根据分类网络在源域数据上的分类结果，得到源域分类损失，将该源域分类损失输入元权重网络，得到该源域分类损失的损失权重，该损失权重和该源域分类损失相乘得到加权分类损失，结合该加权分类损失与该适配损失，根据损失梯度下降方向计算分类网络权重；
步骤5、将该元数据输入至该分类网络，得到元损失，根据元损失梯度下降方向更新元权重网络；
步骤6、根据更新后的元权重网络，更新分类网络，训练迭代次数加1；
步骤7、判断该迭代次数是否达到预设值，若是则保存当前分类网络作为认知障碍辅助模型，否则继续执行该步骤3到步骤6；
步骤8、将待决策支持的眼底图片输入该知障碍辅助模型，得到识别结果。
输出识别结果，根据结果进行认知障碍预警。
7.如权利要求6所述的基于双重迁移的认知障碍辅助决策支持系统，其特征在于，对于每一次训练迭代，从源域数据中采样n组样本与标签作为一个小批量，n为正整数。
8.如权利要求6所述的基于双重迁移的认知障碍辅助决策支持系统，其特征在于，该步骤3包括：对提取到的源域和目标域的特征进行基于融合多种分布度量方式的适配。
9.如权利要求8所述的基于双重迁移的认知障碍辅助决策支持系统，其特征在于，该多种分布度量方式包括MMD和CORAL；
对于最大均值差异的损失LMMD通过如下方式计算：
Figure FDA0002948641200000031
其中，ψ(·)为将数据映射到再生希尔伯特空间的特征映射函数，
Figure FDA0002948641200000032
为再生希尔伯特空间平方范数，Hk为由显著核k定义的再生希尔伯特空间，E[·]表示嵌入样本的均值，xs为源域数据，xt为目标域数据，P和Q分别表示源域与目标域的概率分布；
关联对齐方法的损失LCORAL通过如下方式计算：
Figure FDA0002948641200000033
其中，Cs和Ct分别为源域与目标域特征的协方差矩阵，
Figure FDA0002948641200000034
为弗罗贝尼乌斯范数的平方，d为特征的维度；
将上述两种分布度量方法相结合，对源域与目标域的特征进行适配，得到的适配损失为：
Ladapt＝LMMD+μLCORAL,
其中，μ为用来调整两种损失的重要程度的权衡参数。
10.如权利要求6所述的基于双重迁移的认知障碍辅助决策支持系统，其特征在于，该元权重网络基于多层感知机，该元权重网络输出源域样本损失权重，用以对样本损失加权，增强与目标域分布相似度大的源域样本知识。
CN202110203086.8A 2021-02-23 2021-02-23 基于双重迁移的认知障碍辅助决策支持方法和系统 Active CN112861879B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110203086.8A CN112861879B (zh) 2021-02-23 2021-02-23 基于双重迁移的认知障碍辅助决策支持方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110203086.8A CN112861879B (zh) 2021-02-23 2021-02-23 基于双重迁移的认知障碍辅助决策支持方法和系统

Publications (2)

Publication Number Publication Date
CN112861879A true CN112861879A (zh) 2021-05-28
CN112861879B CN112861879B (zh) 2022-11-01

Family

ID=75991322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110203086.8A Active CN112861879B (zh) 2021-02-23 2021-02-23 基于双重迁移的认知障碍辅助决策支持方法和系统

Country Status (1)

Country Link
CN (1) CN112861879B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537403A (zh) * 2021-08-14 2021-10-22 北京达佳互联信息技术有限公司 图像处理模型的训练方法和装置及预测方法和装置
CN113628640A (zh) * 2021-07-15 2021-11-09 河南工业大学 一种基于样本均衡和最大均值差异的跨库语音情感识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523018A (zh) * 2019-01-08 2019-03-26 重庆邮电大学 一种基于深度迁移学习的图片分类方法
CN110717526A (zh) * 2019-09-23 2020-01-21 华南理工大学 一种基于图卷积网络的无监督迁移学习方法
US20200150622A1 (en) * 2018-11-13 2020-05-14 Guangdong University Of Technology Method for detecting abnormity in unsupervised industrial system based on deep transfer learning
CN111709448A (zh) * 2020-05-20 2020-09-25 西安交通大学 一种基于迁移关系网络的机械故障诊断方法
CN111898095A (zh) * 2020-07-10 2020-11-06 佛山科学技术学院 深度迁移学习智能故障诊断方法、装置、存储介质和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200150622A1 (en) * 2018-11-13 2020-05-14 Guangdong University Of Technology Method for detecting abnormity in unsupervised industrial system based on deep transfer learning
CN109523018A (zh) * 2019-01-08 2019-03-26 重庆邮电大学 一种基于深度迁移学习的图片分类方法
CN110717526A (zh) * 2019-09-23 2020-01-21 华南理工大学 一种基于图卷积网络的无监督迁移学习方法
CN111709448A (zh) * 2020-05-20 2020-09-25 西安交通大学 一种基于迁移关系网络的机械故障诊断方法
CN111898095A (zh) * 2020-07-10 2020-11-06 佛山科学技术学院 深度迁移学习智能故障诊断方法、装置、存储介质和设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628640A (zh) * 2021-07-15 2021-11-09 河南工业大学 一种基于样本均衡和最大均值差异的跨库语音情感识别方法
CN113537403A (zh) * 2021-08-14 2021-10-22 北京达佳互联信息技术有限公司 图像处理模型的训练方法和装置及预测方法和装置

Also Published As

Publication number Publication date
CN112861879B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN113040715B (zh) 一种基于卷积神经网络的人脑功能网络分类方法
CN109543526B (zh) 基于深度差异性特征的真假面瘫识别系统
CN105160400A (zh) 基于l21范数的提升卷积神经网络泛化能力的方法
CN111009324B (zh) 脑网络多特征分析的轻度认知障碍辅助诊断系统及方法
CN112861879B (zh) 基于双重迁移的认知障碍辅助决策支持方法和系统
CN111863244B (zh) 基于稀疏池化图卷积的功能连接精神疾病分类方法和系统
CN113255728A (zh) 一种基于图嵌入和多模态脑网络的抑郁症分类方法
CN111728590A (zh) 基于动态功能连接的个体认知能力预测方法和系统
CN113693563A (zh) 一种基于超图注意力网络的脑功能网络分类方法
CN114549470B (zh) 基于卷积神经网络和多粒度注意力的手骨关键性区域获取方法
CN113469958A (zh) 一种胚胎发育潜能预测方法、系统、设备及存储介质
CN112989920A (zh) 一种基于帧级特征蒸馏神经网络的脑电情绪分类系统
KR20210067815A (ko) 사용자의 건강 상태를 측정하기 위한 방법 및 이를 위한 장치
CN115272295A (zh) 基于时域-空域联合状态的动态脑功能网络分析方法及系统
CN109935321B (zh) 基于功能核磁共振影像数据的抑郁症患者转为双相情感障碍的风险预测系统
Sümer et al. Few-shot meta-learning for recognizing facial phenotypes of genetic disorders
CN117132849A (zh) 基于ct平扫影像与图神经网络的脑卒中出血转化预测方法
CN116956138A (zh) 一种基于多模态学习的影像基因融合分类方法
CN116821764A (zh) 一种基于知识蒸馏的多源域适应的eeg情绪状态分类方法
CN108846327B (zh) 一种色素痣与黑素瘤的智能判别系统及方法
CN113723485B (zh) 一种轻微肝性脑病脑影像超图处理方法
CN112274154B (zh) 基于脑电样本权重调整的跨被试疲劳驾驶分类方法
CN112560784B (zh) 一种基于动态多尺度卷积神经网络的心电图分类方法
CN106845386A (zh) 一种基于动态时间规整与多核学习的动作识别方法
CN110363096B (zh) 一种基于隐马尔可夫模型的大脑时间信号处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant