CN112908466A - 基于迁移学习的阿尔兹海默病智能决策支持方法及系统 - Google Patents

Abstract

本发明提出一种基于迁移学习的阿尔兹海默病智能决策支持方法和系统，包括通过拍照设备设备，采集患者眼底图像数据，同时利用辅助设备采集患者辅助生理数据，并进行补齐、归一化、滤波等预处理；对图片数据提取图像特征，对辅助序列数据，提取特征，并对不同传感器特征数据进行归一化与拼接；在传播方案获取与标签传播阶段，通过广义条件梯度下降算法对针对融合距离的目标函数进行优化，通过IBP算法获取梯度方向，通过线搜索获取步长，依次迭代直至收敛，根据获取的传播方案，将源域中已有的标定通过传播方案扩散至目标域未标定样本。从而获得更准确的目标域数据标定。

Description

基于迁移学习的阿尔兹海默病智能决策支持方法及系统

技术领域

本发明涉及迁移学习和图像分析技术领域，特别涉及一种基于迁移学习的阿尔兹海默病智能决策支持方法及系统。

背景技术

阿尔兹海默病(AD)是一种起病隐匿的进行性发展的神经系统退行性疾病。临床上以记忆障碍、失语、失用、失认、视空间技能损害、执行功能障碍以及人格和行为改变等全面性痴呆表现为特征。它是老年期最为常见的一种痴呆类型，也是老年期最常见的慢性疾病。2016年一份调查显示，全球共有约4000万人患有阿尔兹海默病，而这个数字预计每20年增长一般。阿尔兹海默病患者认知功能减退，严重影响患者的正常工作和生活，多数患者病程约5-10年，少数患者可生存超过10年。年龄越大，患阿尔兹海默病的可能性越大。随着时代的发展，人口老龄化日益严重，阿尔兹海默病严重影响着患者的日常生活。因此，阿尔兹海默病成为基础科学和临床科学的焦点。实时、准确的进行阿尔兹海默病诊断是目前社会发展所面临的重要挑战。

近年来，随着生物医学的发展，研究人员发现视网膜成像图可能和阿尔兹海默病存在一定的关联。生物医学和制药科学教授Peter Snyder解释说，视网膜神经元中的细胞与受疾病侵袭的大脑中细胞的类型相同，因此视网膜中的细胞变化可能反映出大脑中发生的相同变化。我们可以很轻松地在视网膜上看到这种疾病。杜克大学视网膜相关的研究表明，阿尔兹海默患者的视网膜变化，可以发现统计学意义上的显著差异，这意味着，在阿尔兹海默病患者明显症状出现的极早期，通过简单的眼部检查就可以诊断疾病。明尼苏达大学研究人员采用视网膜高光谱成像技术(retinal hyperspectral imaging，rHSI)发现了一种阿尔兹海默病相关视网膜病变的生物标志物，并可通过非侵入性的、廉价的方法进行检测，有希望应用于阿尔兹海默病早期检测和病情进展的监测。这些研究，无不表明，通过眼底成像图片可能可以较早地检测出阿尔兹海默病情况。此外，随着机器学习和相关硬件设备的发展，医学诊疗与监护有了新的途径，通过摄像机、可穿戴设备、脑电仪等感知设备，获得患者相关身体数据，利用机器学习模型，辅助医生进行疾病诊断与治疗，甚至对患者日常进行监护，成为可能。

传统的阿尔兹海默疾病诊断通常完全依赖于专业医生进行。而由于相关专业医生的缺乏以及阿尔兹海默病自身发展缓慢等原因，患者进行相关疾病的诊断以及治疗往往需要昂贵的时间成本和经济成本，且通常容易错过早期干预的宝贵时段。因此，如何利用发展机器学习，帮助患者以较低成本，较早的发现患病的可能或者患病的严重程度，是阿尔兹海默病研究中一个亟待解决的问题。

针对上述问题，很多学者和研究人员进行了相关研究。专利CN201811089058.2公开了一种利用卷积神经网络的医学图像处理装置与方法，使用核磁共振成像的图像数据，利用深度学习的卷积神经网络的监督学习，通过数据增强技术和迁移技术达到正常老年组、遗忘型轻度认知损害和阿尔兹海默病的三分类的区分识别；专利CN201910836855.0公开了一种基于数据空间变换的阿尔兹海默症检测方法，对采集的fMRI数据进行建模并提取特征，再对特征进行选择、空间变换，利用交叉验证训练机器学习分类模型，调整参数，得到最优的计算机辅助诊断，该专利解决了不同数据集分布不一致的问题，增加了疾病诊断的可用训练样本，缓解了样本量不足而导致辅助诊断模型准确度低以及泛化能力不足的情况，从而提升了基于fMRI数据的AD辅助诊断的准确度；专利CN202010328969.7公开了一种基于步态信息的轻度认知障碍识别方法，采集受试者的单任务步态数据和对偶任务步态数据，并对数据进行预处理，通过预设的算法，得到预处理后数据的差别特征，将差别特征输入预先训练的机器学习模型，得到受试者的轻度认知障碍识别结果。

虽然多种机器学习方法已经成功应用于阿尔兹海默病辅助诊断领域，但是他们在通用性、针对性以及适用性方面尚存在一些不足：

1)现有的方法大多数是仅通过单通道数据如传感器数据，对阿尔兹海默病，进行辅助诊断，由于未利用多通道数据对阿尔兹海默病进行诊断，其往往准确度低、泛化能力差。

2)现有的方法多数未考虑不同患者的差别，未考虑对不同源知识进行精确地迁移，其往往准度低、泛化能力差。

因此，急需设计一种利用眼底数据为主多传感器数据为辅、针对阿尔兹海默病辅助诊断的、鲁棒的迁移方法，使得阿尔兹海默病辅助诊断模型能够较为准确的判断患者的患病可能以及患病程度，从而推动机器学习与医学这个交叉领域的发展。

发明内容

针对上述现有技术阿尔兹海默病辅助诊断系统中准确度低、泛化能力差的问题，本发明提出一种基于迁移学习的阿尔兹海默病智能决策支持方法，其中包括：

步骤1、集合无标签的该眼底图像数据和辅助生理数据作为目标域数据，对该目标域数据依次进行预处理、特征提取和特征拼接，得到该目标域数据的整体特征；

步骤2、集合已标记阿尔兹海默病标签的眼底图像数据和辅助生理数据作为源域数据，以广义条件梯度下降算法求解融合距离的目标函数，通过Iterative BregmanProjections算法获取条件梯度下降方向，通过线搜索获取步长依次迭代直至收敛，得到该源域数据到该目标域数据的传播方案；

步骤3、根据该传播方案进行从该源域数据到该目标域数据的标签传播，得到该整体特征的阿尔兹海默病标签。

所述的基于迁移学习的阿尔兹海默病智能决策支持方法，其中步骤2中具体包括：

步骤S1、初始化传播方案

其中n_s表示该源域数据的样本数量，n_T表示该目标域数据的样本数量，

表示长度为n_S的全1列向量，

表示长度为n_T的全1列向量的转置；

步骤S2、计算条件梯度算法的梯度下降方向：

则梯度方向可以通过使用Iterative BregmanProjections算法优化以下目标函数获得：

T^*＝argmin_T∈B<G，T>_F+γ·H(T)

B表示优化目标限制条件的可行解集合，C₁分别C₂为第一和第二个限制条件的可行解集合，

表示n_S×n_T维度的实数空间；

μ表示源域的样本权重向量为列向量，v为目标域的样本权重向量为列向量，f(T)是关于T的可微函数，α是超参数用于权衡一阶和二阶匹配，C表示代价函数，η₁是超参数，权衡组正则项的重要性，也就是Ω(T)，h₁、h₂、g都是定义的函数，C¹是源域内部点之间的代价函数；

C²是目标域内部点之间的代价函数，γ是超参数用来权衡熵正则项H(T)的重要性，T^k表示第k次迭代对应的传输方案，

表示f在T^k处微分的集合函数，G是函数，代表

的元素，T^*是本轮迭代中的对应的最优传输方案；

从而可以计算得到条件梯度方向为

ΔT＝T^*-T^k

步骤S3、获得条件梯度下降方向之后，通过线搜索优化以下目标函数获得最优步长：

α^k＝argmin_0≤α≤1f(T^k+αΔT)+g(T^k+αΔT)

步骤S4、更新传播方案对应的参数k和T^k+1

T^k+1＝T^k+a^k·ΔT

k←k+1

步骤S5、重复步骤S2-S4直至收敛或者达到最大迭代次数，保存当前T^k+1作为该目标域数据的传播方案。

所述的基于迁移学习的阿尔兹海默病智能决策支持方法，其中该步骤1包括：

通过拍照成像设备获得该目标域数据中眼底图像数据；通过智能穿戴设备和脑电仪设备检测获得该目标域数据中辅助生理数据；

对该目标域数据中辅助生理数据，利用滑动窗口截取的样本数据，对每一个窗口数据进行预处理，包括数据滤波，得到第一中间数据；

对该第一中间数据进行特征提取后进行特征层次的归一化等预处理，得到第二中间数据；

对该目标域数据中眼底图像数据进行统一大小预处理后，进行特征提取并对特征进行样本层次的归一化等预处理，得到第三中间数据

将该第二中间数据和该第三中间数据拼接作为样本的该整体特征。

所述的基于迁移学习的阿尔兹海默病智能决策支持方法，其中该智能穿戴设备包括智能手环、智能鞋采集，该目标域数据中辅助生理数据包括加速度和压力序列数据。

本发明还提出了一种基于迁移学习的阿尔兹海默病智能决策支持系统，其中包括：

模块1，用于集合无标签的该眼底图像数据和辅助生理数据作为目标域数据，对该目标域数据依次进行预处理、特征提取和特征拼接，得到该目标域数据的整体特征；

模块2，用于集合已标记阿尔兹海默病标签的眼底图像数据和辅助生理数据作为源域数据，以广义条件梯度下降算法求解融合距离的目标函数，通过Iterative BregmanProjections算法获取条件梯度下降方向，通过线搜索获取步长依次迭代直至收敛，得到该源域数据到该目标域数据的传播方案；

模块3，用于根据该传播方案进行从该源域数据到该目标域数据的标签传播，得到该整体特征的阿尔兹海默病标签。

所述的基于迁移学习的阿尔兹海默病智能决策支持系统，其中模块2中具体包括：

模块S1，用于初始化传播方案

其中n_s表示该源域数据的样本数量，n_T表示该目标域数据的样本数量，

表示长度为n_S的全1列向量，

表示长度为n_T的全1列向量的转置；

模块S2，用于计算条件梯度算法的梯度下降方向：

则梯度方向可以通过使用Iterative BregmanProjections算法优化以下目标函数获得：

T^*＝argmin_T∈B<G，T>_F+γ·H(T)

B表示优化目标限制条件的可行解集合，C₁分别C₂为第一和第二个限制条件的可行解集合，

表示n_S×n_T维度的实数空间；

μ表示源域的样本权重向量为列向量，v为目标域的样本权重向量为列向量，f(T)是关于T的可微函数，α是超参数用于权衡一阶和二阶匹配，C表示代价函数，η₁是超参数，权衡组正则项的重要性，也就是Ω(T)，h₁、h₂、g都是定义的函数，C¹是源域内部点之间的代价函数；

C²是目标域内部点之间的代价函数，γ是超参数用来权衡熵正则项H(T)的重要性，Tk表示第k次迭代对应的传输方案，

表示f在T^k处微分的集合函数，G是函数，代表

的元素，T^*是本轮迭代中的对应的最优传输方案；

从而可以计算得到条件梯度方向为

ΔT＝T^*-T^k

模块S3，用于获得条件梯度下降方向之后，通过线搜索优化以下目标函数获得最优步长：

α^k＝argmin_0≤α≤1f(T^k+αΔT)+g(T^k+αΔT)

模块S4，用于更新传播方案对应的参数k和T^k+1

T^k+1＝T^k+a^k·ΔT

k←k+1

模块S5，用于重复调用模块S2-S4直至收敛或者达到最大迭代次数，保存当前T^k+1作为该目标域数据的传播方案。

所述的基于迁移学习的阿尔兹海默病智能决策支持系统，其中该模块1包括：

通过拍照成像设备获得该目标域数据中眼底图像数据；通过智能穿戴设备和脑电仪设备检测获得该目标域数据中辅助生理数据；

对该目标域数据中辅助生理数据，利用滑动窗口截取的样本数据，对每一个窗口数据进行预处理，包括数据滤波，得到第一中间数据；

对该第一中间数据进行特征提取后进行特征层次的归一化等预处理，得到第二中间数据；

对该目标域数据中眼底图像数据进行统一大小预处理后，进行特征提取并对特征进行样本层次的归一化等预处理，得到第三中间数据

将该第二中间数据和该第三中间数据拼接作为样本的该整体特征。

所述的基于迁移学习的阿尔兹海默病智能决策支持系统，其中该智能穿戴设备包括智能手环、智能鞋采集，该目标域数据中辅助生理数据包括加速度和压力序列数据。

由以上方案可知，本发明的优点在于：

针对现有的面向阿尔兹海默病辅助诊断中的通用性差、准确度低、泛化能力差的问题，提出了一种面向阿尔兹海默病辅助诊断的迁移方法及系统，该系统可以在数据样本包含图像、压力、加速度等多通道、复杂数据的状况下，根据最优传播方案，结合Wasserstein距离和Gromov-Wasserstein距离，同时考虑样本数据之间的一阶和二阶样本匹配，从而获取更鲁棒的迁移模型，包括基于FGW的最优传播方案目标和基于广义条件梯度下降的优化过程两项关键点。该系统能够在样本数据包含多通道复杂的数据情况下，根据最优传输理论，获得源域和目标域的匹配关系，从而获得更准确的目标域数据标定，获取更加鲁棒准确的模型。

附图说明

图1为本发明系统框图。

具体实施方式

本发明设计了一种面向阿尔兹海默病辅助诊断迁移方法及系统。本发明提出的方法共包含三个阶段：数据获取与预处理、特征提取与融合、传播方案获取与标签传播。在数据获取与预处理阶段，通过拍照设备设备，采集患者眼底图像数据，同时利用智能手环、智能鞋、脑电仪等多个设备进行辅助，采集患者辅助生理数据，并进行补齐、归一化、滤波等预处理；在特征提取与融合阶段，对图片数据，通过预训练的resnet50网络，提取图像特征，对加速度、压力、陀螺仪等辅助序列数据，提取时域、频域的38维特征，并对不同传感器特征数据进行归一化与拼接；在传播方案获取与标签传播阶段，通过广义条件梯度下降算法(generalized conditional gradient，GCG)对针对融合Gromov-Wasserstein距离和Wasserstein距离(记作FGW)的目标函数进行优化，主要通过Iterative BregmanProjections算法获取梯度方向，通过线搜索获取步长，依次迭代直至收敛，根据获取的传播方案，将源域中已有的标定通过传播方案扩散至目标域未标定样本。

本发明提出了一种应对多通道特征的面向阿尔兹海默病辅助诊断的鲁棒的迁移学习算法，该算法核心包含两个模块：

1)基于FGW的最优传播方案目标；技术效果：利用基于FGW的最优传播方案目标，可以通过Wasserstein距离对源域和目标域样本之间进行一阶匹配，可以理解为点到点的对应关联，考虑源域点与目标域点的距离远近关系；同时通过Gromov-Wasserstein距离对源域和目标域样本之间进行二阶匹配，可以理解为线对线的对应关联，考虑源域内部结构与目标域内部结构的距离远近关系。综合考虑一阶、二阶的匹配关系，更全面、更鲁棒地获得源域和目标域之间的样本关联关系。此外，通过组正则项，让映射到目标域的同一样本的源域样本尽量属于同一类别，起到标签统一以及监督的作用。

2)基于广义条件梯度下降的优化过程；技术效果：本发明中提出针对基于FGW最优传播方案目标的广义条件梯度下降算法。该方法面对基于FGW的最优传播方案目标这一复杂的目标函数，可以较好的计算出目标函数的最优值以及对应的参数。首先对Gromov-Wasserstein距离进行转换，获得方便计算的形式。在接下来的计算过程中，通过IterativeBregman Projections算法可以较快的获得条件梯度下降方向，接下来根据梯度下降方向，通过线搜索获得最优步长，从而可以更新参数，最终获得更为鲁棒的传播方案。

该系统有效地解决了面向阿尔兹海默病辅助诊断中的准确度低、泛化能力差的问题，能够避免复杂多通道数据仅通过一阶匹配导致的准确度低的情况，从而可以在初始数据库中包含图像、压力、加速度等复杂多通道数据情况下，获得更加鲁棒的迁移方法。此外，本发明系统稳定，能够在实际的阿尔兹海默病辅助诊断环境下，获得相对较高的准确度，具有强鲁棒性。

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。

面向阿尔兹海默病辅助诊断的迁移方法及系统工作流程如图1所示，主要步骤包括：获取采集的原始数据；对获取的行为数据进行预处理(补齐、归一化等)；对预处理的多个传感器数据分别进行特征提取；对提取的特征进行预处理(归一化等)；将获得的预处理特征进行拼接获得整体特征；设置有标定的数据为源域数据，标定内容包括是否患有阿尔兹海默病，新采集的无标定的数据为目标域数据；计算源域到目标域的最优传播方案；根据最优传播方案进行标签传播；系统结束。

在上述方法中，如何利用有标定的源域数据建立获取更鲁棒准确的无标定目标域数据标定是本发明要解决的关键问题。基于最优传输的迁移方法是解决上述关键问题的主要方案，该方案主要包含两部分内容：基于FGW的最优传播方案目标、基于广义条件梯度下降的优化过。其中基于FGW的最优传播方案目标的是获得目标域标签的基础。下面将详细介绍这两部分：

1、基于FGW的最优传播方案目标：

将已有标定的行为数据数据库作为源域数据，将新采集的行为数据作为目标域数据。首先对问题进行形式化表示。

源域数据为

对应数据整体特征，y对应标签，n_s表示源域样本数量，i表示第i个源域样本，目标域的数据为

n_T表示目标域样本数量，j表示第j个目标域样本，目标域中数据无标定。源域到目标域的传输代价矩阵为

其中

源域内部代价矩阵为

i₁，i₂表示第i₁，i₂个源域样本。目标域内部代价矩阵为

j₁，j₂表示第j₁，j₂个目标域样本。传播方案为T，T为n_s×n_t的矩阵，则T对应从源域分布到目标域分布的联合分布，为源域和目标域的数据关联。容易知道从源域到目标域的Wasserstein距离传输总代价为<C，T>_F，<·，·>_F表示对应元素乘积和。从源域到目标域的gromov-Wasserstein距离传输总代价为

记作

从而容易得到从源域到目标域的FGW距离传输总代价为，

α表示gromov-wasserstein距离传输代价占总的传输代价的权重，用来调节gromov-Wasserstein距离传输的重要性。假定源域中数据经验分布为均匀分布，

μ对应均匀分布，

表示集中在

点的分布。假定目标域中数据经验分布为均匀分布，

v对应均匀分布，

表示集中在

点的分布。

根据上面的形式化内容，容易得出，源域的经验分布为

目标域中的分布为

从而可以获得基础最优传播方案的目标函数为

为了方便计算并保证最优传播方案唯一，通常会在目标函数中加入对传播方案T的熵正则项，也就是H(T)＝∑_ijT_ijlogT_ij。为了让目标域中对应的源域数据来自同一类别，在目标函数中加入组正则化项，也就是Ω(T)＝∑_ic||T_i，I_c||²，I_c表示来自源域数据第c类的样本。从而此时的最优传输目标函数变为

此时，可以得到最终的基于FGW的最优传播方案目标为

式中argmin表示目标函数最小时候的参数值，T是传输方案，a是超参数权衡一阶匹配和二阶匹配的重要度；

L是C¹，C²之间的距离函数，γ是超参数，用来权衡熵正则项的重要性，η₁是超参数，用来权衡组正则项的重要性。

2、基于广义条件梯度下降的优化过程

为了计算基于FGW的最优传播方案目标的最优值以及最优参数，本发明提出了一种针对FGW最优传播方案目标的广义条件梯度下降的优化过程计算方法。利用该方法，将复杂的目标函数分解成两部分，利用条件梯度下降进行计算。

若L(a，b)＝f₁(a)+f₂(b)-h₁(a)h₂(b)，那么

为与传播方案无关的值，具体为

可以看出，

也就是说这里的f₁(a)＝a²f₂(b)＝b²，h₁(a)＝a，h₂(b)＝2b。从而优化

等价于优化argmin_T-α*h₁(C¹)Th₂(C²)T。

若f(T)＝(1-α)*<C，T>_F-α*h₁(C¹)Th₂(C²)^T+η₁·Ω(T)，g(T)＝γ·H(T)。容易获得f基本光滑、可微，g为凸函数，基于FGW的最优传播方案目标限定均为仿射凸集合。因此可以用基于广义条件梯度下降算法进行优化。

现有传播方案为T′。首先计算条件梯度下降方向，通过条件梯度方法，将f转化为线性目标函数，

此时最优梯度方向变成求解

因为限制条件

以及

对应的可行解空间均为仿射凸子空间，因此可以通过Iterative Bregman Projections算法进行求解，具体过程如下。

目标函数为

限制条件为

则根据Iterative BregmanProjections算法可知，可以迭代地求解

获取最终T，其中C_n为C₁，C₂，

表示C_n中以KL散度为标准离T^q-1最近的值，依次取这两个限制集合，

对于C₁，容易获得对应的

对于C₂，容易获得对应的

diag表示将向量变成对应对角矩阵。经过迭代直至收敛或者最大迭代次数之后，获得对应最优结果为T，此刻可以计算条件梯度下降方向为

ΔT＝T-T′.

接着计算最优步长α^k，对应为优化目标函数

α^k＝argmin_0≤α≤1f(T+α·ΔT)+g(T+α·ΔT)

通过线搜索可以容易得出α^k的值。此刻可以进行参数更新，

T＝T′+α^k.ΔT

对整个过程进行迭代直至收敛或者达到最大迭代次数。

设定源域中关于类别的矩阵

比如如果源域有五个数据，其中前三个为第一类后两个为第二类，那么对应的

设定1_m＝[1，…，1]^T为全1列向量，m对应元素个数。

获得最优传播方案T之后，为了对目标域未标定的数据进行标定，需要通过标签传播进行，通过传播方案T和源域标签信息矩阵D₁，可以得出目标域的对应标签为

L＝D₁T.

具体来说，面向阿尔兹海默病辅助诊断的迁移方法及系统包括三个主要功能模块：数据获取与预处理、特征提取与融合、传播方案获取与标签传播。系统根据拍照成像设备，获得眼底图片，根据多种传感器获取原始传感器数据，经过补齐、加窗等预处理之后，获得规整的预处理数据。对眼底图片，通过预训练的深度网络提取特征，对不同的传感器数据分别提取特征，并对提取的特征分别进行归一化等预处理，进而将不同传感器预处理后的特征进行拼接得到整体特征。获得提取好的样本整体特征后，把提取好的特征作为目标域数据，利用数据库中已有标定的行为数据作为源域数据，通过Gromov-Wasserstein距离和Wasserstein距离，利用基于FGW的最优传播方案目标以及基于广义条件梯度下降的优化过程，获得从源域到目标域数据的传播方案。获得传播方案后，通过将源域中数据的标签通过传播方案映射到目标域中，从而获得目标域中样本数据的标定，从而获得鲁棒的面向阿尔兹海默病辅助诊断的模型。

数据获取与预处理模块：

本发明数据获取与预处理模块采用的智能硬件设备包括：拍照成像设备、智能手环设备、脑电采集设备、智能鞋设备。

本发明系统的数据获取与预处理阶段包括：

通过拍照成像设备获得左眼眼底照片r₁、右眼眼底照片r₂；

通过智能手环设备，让患者根据给定任务进行动作，获取加速度r₃、陀螺仪r₄、心率r₅、血压r₆这几个原始序列数据；

通过智能鞋设备，在患者进行给定任务动作时，获取脚底压力数据r₇序列；

通过脑电仪设备，获得患者脑电数据rR序列；

对序列数据r₃-r₈，利用滑动窗口截取固定时间(如5秒)的样本数据，对每一个窗口数据进行处理，预处理方法包括但不限于数据滤波等方法；数据滤波常用于过滤掉孤立点数据或高频噪声数据；

对照片图像数据进行统一大小等预处理。

特征提取与融合模块：

本发明该模块主要用来对之前预处理后的数据进行进一步的特征提取与融合，方便下一步进行知识迁移。

本发明系统的体征提取与融合阶段包括：

对预处理得到的序列数据进行特征提取，每个窗口提取到的特征包括但不限于：均值，标准差，最小值，最大值，过均值点次数，快速傅里叶变换后的峰值、均值、标准差能量熵等；

将提取的序列特征进行特征层次的归一化等预处理，并拼接获得r₉；

将处理后的左眼眼底图像与右眼眼底图像，投入预训练好的Resnet50深度神经网络中，深度神经网络的输入作为左右眼的眼底图像特征；

将左右眼的眼底图像特征进行样本层次的归一化等预处理，并拼接获得r₁₀；

将r₉，r₁₀拼接作为样本的最终特征x；

将数据库中已有标定的样本数据设置为源域数据

新采集的无标定的样本数据作为目标域数据

传播方案获取与标签传播：

获得源域和目标域的数据之后，由于源域数据和目标域数据之间存在分布差异，且源域数据与目标域数据构造相对复杂，所以不能通过传统的机器学习方法或者简单的一阶迁移方法获得目标域样本的标定。因此，需要通过融合Gromov-Wasserstein距离和Wasserstein距离，考虑数据的一阶与二阶匹配，使得源域样本与目标域样本获得更好匹配，从而获得最优传播方案。最优传播方案主要通过广义的条件梯度下降优化算法对基于FGW的最优传输目标进行优化。

步骤S1、初始化传播方案

步骤S2、计算条件梯度算法的梯度下降方向：

则梯度方向可以通过使用Iterative BregmanProjections算法优化以下目标函数获得：

T^*＝argmin_T∈B<G，T>_F+γ·H(T)

获得，从而可以计算得到条件梯度方向为

ΔT＝T^*-T^k

步骤S3、计算最优步长

步骤S4、获得条件梯度下降方向之后，通过线搜索优化以下目标函数获得最优步长：

α^k＝argmin_0≤α≤1f(T^k+αΔT)+g(T^k+αΔT)

更新传播方案对应的参数

T^k+1＝T^k+α^k·ΔT

k←k+1

步骤S5、重复步骤S2-S4直至收敛或者达到最大迭代次数。

获得传播方案T之后，因为T表示源域样本与目标域样本的关联程度，从而可以通过源域已有的标签进行传播获得目标域样本标签L＝D₁T。

以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。

本发明还提出了一种基于迁移学习的阿尔兹海默病智能决策支持系统，其中包括：

模块1，用于集合无标签的该眼底图像数据和辅助生理数据作为目标域数据，对该目标域数据依次进行预处理、特征提取和特征拼接，得到该目标域数据的整体特征；

模块2，用于集合已标记阿尔兹海默病标签的眼底图像数据和辅助生理数据作为源域数据，以广义条件梯度下降算法求解融合距离的目标函数，通过Iterative BregmanProjections算法获取条件梯度下降方向，通过线搜索获取步长依次迭代直至收敛，得到该源域数据到该目标域数据的传播方案；其中IBP(Iterative Bregman Projections)算法属于现有技术，是一种用来解决可行解空间是非负的凸的仿射子空间交集、目标函数是求可行解空间中与指定量的KL散度最小的元素的算法。它迭代地求解每个非负、凸仿射子空间中与指定元素KL散度最小的元素，直至收敛。

模块3，用于根据该传播方案进行从该源域数据到该目标域数据的标签传播，得到该整体特征的阿尔兹海默病标签。

所述的基于迁移学习的阿尔兹海默病智能决策支持系统，其中模块2中具体包括：

模块S1，用于初始化传播方案

其中n_s表示该源域数据的样本数量，n_T表示该目标域数据的样本数量，

表示长度为n_S的全1列向量，

表示长度为n_T的全1列向量的转置；

模块S2，用于计算条件梯度算法的梯度下降方向：

则梯度方向可以通过使用Iterative BregmanProjections算法优化以下目标函数获得：

T^*＝argmin_T∈B<G，T>_F+γ·H(T)

B表示优化目标限制条件的可行解集合，C₁分别C₂为第一和第二个限制条件的可行解集合，

表示n_S×nT维度的实数空间；

μ表示源域的样本权重向量为列向量，v为目标域的样本权重向量为列向量，f(T)是关于T的可微函数，α是超参数用于权衡一阶和二阶匹配，C表示代价函数，η₁是超参数，权衡组正则项的重要性，也就是Ω(T)，h₁、h₂、g都是定义的函数，C¹是源域内部点之间的代价函数；

C²是目标域内部点之间的代价函数，γ是超参数用来权衡熵正则项H(T)的重要性，T^k表示第k次迭代对应的传输方案，

表示f在T^k处微分的集合函数，G是函数，代表

的元素，T^*是本轮迭代中的对应的最优传输方案；

从而可以计算得到条件梯度方向为

ΔT＝T^*-T^k

模块S3，用于获得条件梯度下降方向之后，通过线搜索优化以下目标函数获得最优步长：

α^k＝argmin_0≤α≤1f(T^k+αΔT)+g(T^k+αΔT)

模块S4，用于更新传播方案对应的参数k和T^k+1

T^k+1＝T^k+a^k·ΔT

k←k+1

模块S5，用于重复调用模块S2-S4直至收敛或者达到最大迭代次数，保存当前T^k+1作为该目标域数据的传播方案。

所述的基于迁移学习的阿尔兹海默病智能决策支持系统，其中该模块1包括：

通过拍照成像设备获得该目标域数据中眼底图像数据；通过智能穿戴设备和脑电仪设备检测获得该目标域数据中辅助生理数据；

对该目标域数据中辅助生理数据，利用滑动窗口截取的样本数据，对每一个窗口数据进行预处理，包括数据滤波，得到第一中间数据；

对该第一中间数据进行特征提取后进行特征层次的归一化等预处理，得到第二中间数据；

对该目标域数据中眼底图像数据进行统一大小预处理后，进行特征提取并对特征进行样本层次的归一化等预处理，得到第三中间数据

将该第二中间数据和该第三中间数据拼接作为样本的该整体特征。

所述的基于迁移学习的阿尔兹海默病智能决策支持系统，其中该智能穿戴设备包括智能手环、智能鞋采集，该目标域数据中辅助生理数据包括加速度和压力序列数据。

Claims (8)

1.一种基于迁移学习的阿尔兹海默病智能决策支持方法，其特征在于，包括：

步骤1、集合无标签的该眼底图像数据和辅助生理数据作为目标域数据，对该目标域数据依次进行预处理、特征提取和特征拼接，得到该目标域数据的整体特征；

步骤2、集合已标记阿尔兹海默病标签的眼底图像数据和辅助生理数据作为源域数据，以广义条件梯度下降算法求解融合距离的目标函数，通过IBP算法获取条件梯度下降方向，通过线搜索获取步长依次迭代直至收敛，得到该源域数据到该目标域数据的传播方案；

步骤3、根据该传播方案进行从该源域数据到该目标域数据的标签传播，得到该整体特征的阿尔兹海默病标签。

2.如权利要求1所述的基于迁移学习的阿尔兹海默病智能决策支持方法，其特征在于，步骤2中具体包括：

步骤S1、初始化传播方案

k＝0，其中n_s表示该源域数据的样本数量，n_T表示该目标域数据的样本数量，

表示长度为n_s的全1列向量，

表示长度为n_T的全1列向量的转置；

步骤S2、计算条件梯度算法的梯度下降方向：

B＝C₁∩C₂，

f(T)＝(1-α)<C，T>_F+η₁·Ω(T)-α*h₁(C¹)Th₂(C²)^T.g(T)＝γ·H(T)，h₁(C¹)＝C¹，h(C²)＝2C²，则梯度方向可以通过使用Iterative Bregman Projections算法优化以下目标函数获得：

T^*＝argmin_T∈B<G，T>_F+γ·H(T)

B表示优化目标限制条件的可行解集合，C₁分别C₂为第一和第二个限制条件的可行解集合，

表示n_S×n_T维度的实数空间；

μ表示源域的样本权重向量为列向量，v为目标域的样本权重向量为列向量，f(T)是关于T的可微函数，α是超参数用于权衡一阶和二阶匹配，C表示代价函数，η₁是超参数，权衡组正则项的重要性，也就是Ω(T)，h₁、h₂、g都是定义的函数，C¹是源域内部点之间的代价函数；

C²是目标域内部点之间的代价函数，γ是超参数用来权衡熵正则项H(T)的重要性，T^k表示第k次迭代对应的传输方案，

表示f在T^k处微分的集合函数，G是函数，代表

的元素，T^*是本轮迭代中的对应的最优传输方案；

从而可以计算得到条件梯度方向为

ΔT＝T^*-T^k

步骤S3、获得条件梯度下降方向之后，通过线搜索优化以下目标函数获得最优步长：

α^k＝argmin_0≤α≤1f(T^k+αΔT)+g(T^k+αΔT)

步骤S4、更新传播方案对应的参数k和T^k+1

T^k+1＝T^k+a^k·ΔT

k←k+1

步骤S5、重复步骤S2-S4直至收敛或者达到最大迭代次数，保存当前T^k+1作为该目标域数据的传播方案。

3.如权利要求1所述的基于迁移学习的阿尔兹海默病智能决策支持方法，其特征在于，该步骤1包括：

通过拍照成像设备获得该目标域数据中眼底图像数据；通过智能穿戴设备和脑电仪设备检测获得该目标域数据中辅助生理数据；

对该目标域数据中辅助生理数据，利用滑动窗口截取的样本数据，对每一个窗口数据进行预处理，包括数据滤波，得到第一中间数据；

对该第一中间数据进行特征提取后进行特征层次的归一化等预处理，得到第二中间数据；

对该目标域数据中眼底图像数据进行统一大小预处理后，进行特征提取并对特征进行样本层次的归一化等预处理，得到第三中间数据

将该第二中间数据和该第三中间数据拼接作为样本的该整体特征。

4.如权利要求3所述的基于迁移学习的阿尔兹海默病智能决策支持方法，其特征在于，该智能穿戴设备包括智能手环、智能鞋采集，该目标域数据中辅助生理数据包括加速度和压力序列数据。

5.一种基于迁移学习的阿尔兹海默病智能决策支持系统，其特征在于，包括：

模块1，用于集合无标签的该眼底图像数据和辅助生理数据作为目标域数据，对该目标域数据依次进行预处理、特征提取和特征拼接，得到该目标域数据的整体特征；

模块2，用于集合已标记阿尔兹海默病标签的眼底图像数据和辅助生理数据作为源域数据，以广义条件梯度下降算法求解融合距离的目标函数，通过IBP算法获取条件梯度下降方向，通过线搜索获取步长依次迭代直至收敛，得到该源域数据到该目标域数据的传播方案；

模块3，用于根据该传播方案进行从该源域数据到该目标域数据的标签传播，得到该整体特征的阿尔兹海默病标签。

6.如权利要求1所述的基于迁移学习的阿尔兹海默病智能决策支持系统，其特征在于，模块2中具体包括：

模块S1，用于初始化传播方案

k＝0，其中n_s表示该源域数据的样本数量，n_T表示该目标域数据的样本数量，

表示长度为n_S的全1列向量，

表示长度为n_T的全1列向量的转置；

模块S2，用于计算条件梯度算法的梯度下降方向：

B＝C₁∩C₂，

f(T)＝(1-α)<C，T>_F+η₁·Ω(T)-α*h₁(C¹)Th₂(C²)^T·g(T)＝γ·H(T)，h₁(C¹)＝C¹，h(C²)＝2C²，则梯度方向可以通过使用Iterative Bregman Projections算法优化以下目标函数获得：

T^*＝argmin_T∈B<G，T>_F+γ·H(T)

B表示优化目标限制条件的可行解集合，C₁分别C₂为第一和第二个限制条件的可行解集合，

表示n_S×n_T维度的实数空间；

μ表示源域的样本权重向量为列向量，v为目标域的样本权重向量为列向量，f(T)是关于T的可微函数，α是超参数用于权衡一阶和二阶匹配，C表示代价函数，η₁是超参数，权衡组正则项的重要性，也就是Ω(T)，h₁、h₂、g都是定义的函数，C¹是源域内部点之间的代价函数；

C²是目标域内部点之间的代价函数，γ是超参数用来权衡熵正则项H(T)的重要性，T^k表示第k次迭代对应的传输方案，

表示f在T^k处微分的集合函数，G是函数，代表

的元素，T^*是本轮迭代中的对应的最优传输方案；

从而可以计算得到条件梯度方向为

ΔT＝T^*-T^k

模块S3，用于获得条件梯度下降方向之后，通过线搜索优化以下目标函数获得最优步长：

α^k＝argmin_0≤α≤1f(T^k+αΔT)+g(T^k+αΔT)

模块S4，用于更新传播方案对应的参数k和T^k+1

T^k+1＝T^k+a^k·ΔT

k←k+1

模块S5，用于重复调用模块S2-S4直至收敛或者达到最大迭代次数，保存当前T^k+1作为该目标域数据的传播方案。

7.如权利要求1所述的基于迁移学习的阿尔兹海默病智能决策支持系统，其特征在于，该模块1包括：

通过拍照成像设备获得该目标域数据中眼底图像数据；通过智能穿戴设备和脑电仪设备检测获得该目标域数据中辅助生理数据；

对该目标域数据中辅助生理数据，利用滑动窗口截取的样本数据，对每一个窗口数据进行预处理，包括数据滤波，得到第一中间数据；

对该第一中间数据进行特征提取后进行特征层次的归一化等预处理，得到第二中间数据；

对该目标域数据中眼底图像数据进行统一大小预处理后，进行特征提取并对特征进行样本层次的归一化等预处理，得到第三中间数据

将该第二中间数据和该第三中间数据拼接作为样本的该整体特征。

8.如权利要求7所述的基于迁移学习的阿尔兹海默病智能决策支持系统，其特征在于，该智能穿戴设备包括智能手环、智能鞋采集，该目标域数据中辅助生理数据包括加速度和压力序列数据。

Images