CN113284512B - 一种基于深度稀疏迁移学习的帕金森语音分类方法 - Google Patents

一种基于深度稀疏迁移学习的帕金森语音分类方法 Download PDF

Info

Publication number
CN113284512B
CN113284512B CN202110568802.2A CN202110568802A CN113284512B CN 113284512 B CN113284512 B CN 113284512B CN 202110568802 A CN202110568802 A CN 202110568802A CN 113284512 B CN113284512 B CN 113284512B
Authority
CN
China
Prior art keywords
feature
parkinson
test
depth
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110568802.2A
Other languages
English (en)
Other versions
CN113284512A (zh
Inventor
张小恒
李勇明
刘书君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202110568802.2A priority Critical patent/CN113284512B/zh
Publication of CN113284512A publication Critical patent/CN113284512A/zh
Application granted granted Critical
Publication of CN113284512B publication Critical patent/CN113284512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition

Abstract

本发明涉及帕金森语音数据集分类技术领域，具体公开了一种基于深度稀疏迁移学习的帕金森语音分类方法，该方法首先采用基于中间集的稀疏迁移学习方法对帕金森公共语音数据集生成最优卷积核(步骤S1)，进一步采用聚类方法聚类生成帕金森目标数据集A的深度样本空间(步骤S2)，进一步采用卷积稀疏编码基于最优卷积核组
Figure DDA0003081820320000011
生成深度样本空间dA的深度特征映射空间(步骤S3)，进一步将深度特征映射空间dE向量化扩展为dG并划分为训练集和测试集(步骤S4)。本发明迁移适用于帕金森目标数据集A的最优结构表达并挖掘其复杂结构信息(步骤S1～S4)，从而提高最终的分类准确率，LOSO交叉验证下准确率高达99.5％，优于目前的最优方法(准确率97.5％)。

Description

一种基于深度稀疏迁移学习的帕金森语音分类方法
技术领域
本发明涉及帕金森语音数据集分类技术领域，尤其涉及一种基于深度稀疏迁移学习的帕金森语音分类方法。
背景技术
帕金森症是退行性神经疾病，具有长周期、起病隐匿不可逆等特点，早期诊断和长期监控是提升评估效果和监控管理的主要手段。近年来，语音技术能无创获取构音障碍信息，成为了研究的热点，也涌现了大量基于语音的分类诊断方法。这些方法大都是直接针对当前帕金森语音数据集进行建模分类，没有考虑帕金森语音样本集普遍存在小样本的特点，因此分类准确率及泛化性能难以进一步提高。迁移学习相关方法可以有效解决小样本问题，也有研究证实其在疾病诊断中的有效性，且目前应用于疾病诊断的迁移学习方法都只涉及从源域到目标域的一阶段迁移，且源域到目标域的相似度较低会影响正迁移的效果。此外，当前所有相关发明分类算法都仅仅考虑了原始样本，没有考虑样本之间的结构关系。
发明内容
本发明提供一种基于深度稀疏迁移学习的帕金森语音分类方法，解决的技术问题在于：如何从帕金森公共语音数据集中提取最优结构表达，并将其迁移到帕金森语音目标集中从而更有利于分类；如何挖掘帕金森语音目标集的复杂结构信息，从而更有利于小样本数据集分类。
为解决以上技术问题，本发明提供一种基于深度稀疏迁移学习的帕金森语音分类方法，包括步骤：
S1：对帕金森公共语音数据集基于中间集的稀疏迁移学习方法生成最优卷积核组
Figure BDA0003081820300000011
S2：对帕金森目标数据集A采用聚类方法生成对应的深度样本空间dA＝[dA0,dA1,…,dAN]，其中dA0表示第0层的数据集即原始目标集A，dA1至dAN表示第1层至第N层的数据集；
S3：基于最优卷积核组
Figure BDA0003081820300000021
对深度样本空间dA进行卷积稀疏编码，并生成对应的深度特征映射空间dE＝[dE0,dE1,…,dEN]，dE0至dEN表示第0层至第N层的特征映射；
S4：将深度特征映射空间dE向量化扩展为dG，并按不同受试者编号将dG划分为第一训练集dGtrain和第一测试集dGtest；
S5：在第一训练集dGtrain上计算对应特征的权重向量
Figure BDA0003081820300000022
并根据权重大小筛选第一训练集dGtrain和第一测试集dGtest的特征，留下Q个最大权重所对应的特征构建第二训练集
Figure BDA0003081820300000023
与第二测试集
Figure BDA0003081820300000024
S6：采用第二训练集
Figure BDA0003081820300000025
训练分类模型，并预测得到第二测试集
Figure BDA0003081820300000026
第0层至第N层的预测标签向量L0,L1,…,LN，其中第n层的标签向量Ln＝[Ln1,Ln2,…,LnM]，即编号1至M的受试者在该层对应的分类标签分别为Ln1至LnM；
S7：对同一编号受试者进行投票操作，得到其二分类结果。
进一步地，所述步骤S1具体包括步骤：
S11：提取帕金森公共语音数据集S的多类型特征形成源域特征集
Figure BDA0003081820300000027
S12：基于源域特征集
Figure BDA0003081820300000028
利用卷积稀疏编码算法，随机初始化由K个卷积核组成的卷积核组
Figure BDA0003081820300000029
并重复训练得到R组卷积核
Figure BDA00030818203000000210
S13：构建中间特征集
Figure BDA00030818203000000211
并基于已训练好的R组卷积核中不同组
Figure BDA00030818203000000212
对中间特征集
Figure BDA00030818203000000213
进行卷积稀疏编码得到特征映射集B′，并计算得到R个不同的分类准确率，最后选择最高准确率对应的卷积核组作为最优卷积核组
Figure BDA00030818203000000214
进一步地，所述步骤S11具体包括步骤：
S111：对帕金森公共语音数据集
Figure BDA00030818203000000215
提取不同类型的特征，构建初始特征集
Figure BDA00030818203000000216
其中，L为帕金森公共语音数据集中语音段的个数，
Figure BDA00030818203000000217
为编号为l的语音段；特征列向量
Figure BDA0003081820300000031
ξf(·)为第f个特征提取函数，F为特征类型总数；
S112：以同一组的特征向量组成一个矩阵作为一个特征样本，对初始特征集Y中的特征向量进行分组，从而构造由G个特征样本组成的源域特征集
Figure BDA0003081820300000032
其中，第g个特征样本
Figure BDA0003081820300000033
是H0×F分块矩阵，
Figure BDA0003081820300000034
表示L除以G再取整，为一个特征样本包含的特征向量数。
进一步地，所述步骤S12中，卷积稀疏编码算法的目标式为：
Figure BDA0003081820300000035
其中，eg,k是H0×F特征映射矩阵，与对应的卷积核dk进行卷积运算逼近
Figure BDA0003081820300000036
符号*表示二维卷积运算，η是大于0的正则化因子。
进一步地，所述步骤S13中：
构建中间特征集
Figure BDA0003081820300000037
具体为：
S131：选取语音障碍相关数据集V作为中间集，采用与步骤S11完全相同的步骤，提取其中语音段的多类型特征组成特征向量，并构建中间特征集
Figure BDA0003081820300000038
其中，
Figure BDA0003081820300000039
表示中间特征集
Figure BDA00030818203000000310
中第b个特征样本，B表示对应特征样本的数量；
基于已训练好的R组卷积核中不同组
Figure BDA00030818203000000311
对中间特征集
Figure BDA00030818203000000312
进行卷积稀疏编码得到特征映射集B′，具体包括步骤：
S132：将步骤S12中卷积稀疏编码算法的目标式中的输入样本
Figure BDA00030818203000000313
替换为
Figure BDA00030818203000000314
构建目标式：
Figure BDA00030818203000000315
S133：根据步骤S132中的目标式，使用已训练好的卷积核组
Figure BDA00030818203000000316
进行训练，以优化特征映射eb,k；
S134：训练完成，对每个样本
Figure BDA0003081820300000041
可得到K个映射
Figure BDA0003081820300000042
选取第K′个映射作为其编码，从而构建所有样本映射的特征映射集
Figure BDA0003081820300000043
由于卷积核有R组，因此得到R个特征映射集
Figure BDA0003081820300000044
进一步地，所述步骤S2具体为：
基于帕金森目标数据集A由编号1至M受试者数据组成，即
Figure BDA0003081820300000045
其中每个受试者数据
Figure BDA0003081820300000046
都由H0个语音样本组成，即
Figure BDA0003081820300000047
对帕金森目标数据集A中每个受试者数据
Figure BDA0003081820300000048
进行k-means聚类，即指定不同的聚类样本数Hn将
Figure BDA0003081820300000049
聚类为
Figure BDA00030818203000000410
作为1至N层的数据，得到深度样本空间
Figure BDA00030818203000000411
其中第n层深度样本空间
Figure BDA00030818203000000412
进一步地，所述步骤S3采用与S13中对中间特征集
Figure BDA00030818203000000413
进行卷积稀疏编码得到特征映射集B′相同的步骤，基于最优卷积核组
Figure BDA00030818203000000414
对深度样本空间dA进行卷积稀疏编码，对每一深度样本
Figure BDA00030818203000000415
映射得到对应的深度特征映射
Figure BDA00030818203000000416
得到深度特征映射空间
Figure BDA00030818203000000417
进一步地，步骤S4具体包括步骤：
S41：将每个受试者的数据在第n层空间的映射即Hn×F块矩阵
Figure BDA00030818203000000418
向量化扩展为长度为Hn·F的一维向量
Figure BDA00030818203000000419
从而将深度特征映射空间
Figure BDA00030818203000000420
向量化扩展为
Figure BDA00030818203000000421
S42：将dG划分为第一训练集dGtrain和第一测试集dGtest即dG＝{dGtrain,dGtest}，其中第一训练集dGtrain包含N+1层样本空间{dGtrain(0),dGtrain(1),…,dGtrain(N)}，每层样本空间有M1名受试者，第一测试集dGtest包含N+1层样本空间{dGtest(0),dGtest(1),…,dGtest(N)}，每层样本空间有M2＝M-M1名受试者，具体表达如下：
Figure BDA0003081820300000051
Figure BDA0003081820300000052
进一步地，步骤S5具体包括步骤：
S51：使用relief算法计算
Figure BDA0003081820300000053
中特征列向量
Figure BDA0003081820300000054
所对应的权重向量
Figure BDA0003081820300000055
计算的过程为：
令特征列向量
Figure BDA0003081820300000056
中第j个特征列向量
Figure BDA0003081820300000057
根据下式计算
Figure BDA0003081820300000058
的权重值：
Figure BDA0003081820300000059
其中，Mc(γn,ij)是γn,ij的C个同类邻域样本中的一个，Hc(γn,ij)是γn,ij的C个异类邻域样本中的一个；
S52：根据权重大小筛选第一训练集dGtrain和第一测试集dGtest的特征，其中
Figure BDA0003081820300000061
分别留下Q个最大权重所对应的特征构建第二训练集
Figure BDA0003081820300000062
与第二测试集
Figure BDA0003081820300000063
第0至N层筛选的特征数分别为Q(0)，Q(1)，…，Q(N)，其中第n层筛选权重值最大的前Q(n)个特征表示为：
Figure BDA0003081820300000064
Figure BDA0003081820300000065
且index(n)是权重wn,i所对应特征向量的列标记。
进一步地，所述步骤S7具体为：
将属于帕金森和不属于帕金森的预测标签分别用数值1和数值0表示，根据编号为m的受试者的来自N+1层的N+1个预测标签L0m,L1m,…,LNm计算该受试者的投票预测标签
Figure BDA0003081820300000066
并根据
Figure BDA0003081820300000067
计算编号M1+1至M受试者的测试分类准确率，其中符号⊙为同或运算符，
Figure BDA0003081820300000068
为编号为m的受试者的固有标签。
本发明提供的一种基于深度稀疏迁移学习的帕金森语音分类方法，首先采用基于中间集的稀疏迁移学习方法对帕金森公共语音数据集生成最优卷积核(步骤S1)，进一步采用聚类方法聚类生成帕金森目标数据集A的深度样本空间(步骤S2)，进一步采用卷积稀疏编码基于最优卷积核组
Figure BDA0003081820300000069
生成深度样本空间dA的深度特征映射空间(步骤S3)，进一步将深度特征映射空间dE向量化扩展为dG并划分为训练集和测试集(步骤S4)，进一步基于权重大小筛选构建新的训练集和测试集(步骤S5)，进一步采用新的训练集训练以及采用新的测试集进行预测得到预测标签序列(步骤S6)，最后对标签序列进行投票得到每个受试者的分类结果，最后根据分类结果计算分类准确率(步骤S7)。
与现有技术方案相比较，本发明具有以下优点：
1)基于中间集筛选出公共语音源域数据集(帕金森公共语音数据集)中的最优结构表达信息(最优卷积核组
Figure BDA0003081820300000071
)，并将其结构信息迁移到帕金森目标数据集A，对目标集进行更精准表达，从而有效改善帕金森语音识别中存在的小样本学习问题；
2)构建帕金森语音深度样本空间，挖掘帕金森语音目标集的复杂结构信息，从而更有利于分类；
3)迁移适用于帕金森目标数据集A的最优结构表达并挖掘其复杂结构信息，从而提高最终的分类准确率。
附图说明
图1是本发明实施例提供的一种基于深度稀疏迁移学习的帕金森语音分类方法的第一流程图；
图2是本发明实施例提供的一种基于深度稀疏迁移学习的帕金森语音分类方法的第二流程图。
具体实施方式
下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
为提高对帕金森目标数据集A的分类准确率，本发明实施例提供一种基于深度稀疏迁移学习的帕金森语音分类方法，如图1和图2所示，包括步骤：
S1：对帕金森公共语音数据集基于中间集的稀疏迁移学习方法生成最优卷积核组
Figure BDA0003081820300000072
S2：对帕金森目标数据集A采用聚类方法生成对应的深度样本空间dA＝[dA0,dA1,…,dAN]，其中dA0表示第0层的数据集即原始目标集A，dA1至dAN表示第1层至第N层的数据集；
S3：基于最优卷积核组
Figure BDA0003081820300000081
对深度样本空间dA进行卷积稀疏编码，并生成对应的深度特征映射空间dE＝[dE0,dE1,…,dEN]，dE0至dEN表示第0层至第N层的特征映射；
S4：将深度特征映射空间dE向量化扩展为dG，并按不同受试者编号将dG划分为第一训练集dGtrain和第一测试集dGtest；
S5：在第一训练集dGtrain上计算对应特征的权重向量
Figure BDA00030818203000000814
并根据权重大小筛选第一训练集dGtrain和第一测试集dGtest的特征，留下Q个最大权重所对应的特征构建第二训练集
Figure BDA0003081820300000082
与第二测试集
Figure BDA0003081820300000083
S6：采用第二训练集
Figure BDA0003081820300000084
训练分类模型，并预测得到第二测试集
Figure BDA0003081820300000085
第0层至第N层的预测标签向量L0,L1,…,LN，其中第n层的标签向量Ln＝[Ln1,Ln2,…,LnM]，即编号1至M的受试者在该层对应的分类标签分别为Ln1至LnM；
S7：对同一编号受试者进行投票操作，得到其二分类结果。
对于步骤S1，其具体包括步骤：
S11：提取帕金森公共语音数据集S的多类型特征形成源域特征集
Figure BDA0003081820300000086
S12：基于源域特征集
Figure BDA0003081820300000087
利用卷积稀疏编码算法，随机初始化由K个卷积核组成的卷积核组
Figure BDA0003081820300000088
并重复训练得到R组卷积核
Figure BDA0003081820300000089
S13：构建中间特征集
Figure BDA00030818203000000810
并基于已训练好的R组卷积核中不同组
Figure BDA00030818203000000811
对中间特征集
Figure BDA00030818203000000812
进行卷积稀疏编码得到特征映射集B′，并都采用LOSO交叉验证计算R个不同特征映射集的分类准确率，最后选择最高准确率对应的卷积核组作为最优卷积核组
Figure BDA00030818203000000813
对于步骤S11，本例采用TIMIT公共语音集作为该帕金森公共语音数据集，其具有语音段数量L＝6300，特征总数F＝26，提取的特征依次如表1所示。
表1提取的具体特征
Figure BDA0003081820300000091
由于上述特征的提取函数已在开源工具Praat中实现，可利用Praat从原始语音段中直接提取上述信息。
更具体的，步骤S11具体包括步骤：
S111：对帕金森公共语音数据集
Figure BDA0003081820300000092
提取不同类型的特征，构建初始特征集
Figure BDA0003081820300000093
其中，L为帕金森公共语音数据集中语音段的个数，
Figure BDA0003081820300000094
为编号为l的语音段；特征列向量
Figure BDA0003081820300000095
ξf(·)为第f个特征提取函数，F为特征类型总数；
S112：以同一组的特征向量组成一个矩阵作为一个特征样本，对初始特征集Y中的特征向量进行分组，从而构造由G个特征样本组成的源域特征集
Figure BDA0003081820300000096
其中，第g个特征样本
Figure BDA0003081820300000097
是H0×F分块矩阵，
Figure BDA0003081820300000098
表示L除以G再取整，为一个特征样本包含的特征向量数。
本例语音段生成的特征向量按13个特征向量分为一组，即H0＝13，特征集总的样本数G＝484。
对于步骤S12，其进行卷积稀疏编码算法的目标式为：
Figure BDA0003081820300000099
其中，eg,k是H0×F特征映射矩阵，与对应的卷积核dk进行卷积运算逼近
Figure BDA00030818203000000910
符号*表示二维卷积运算，η是大于0的正则化因子。本例H0＝13，F＝26，G＝484，η＝1，卷积核数K可取2至8之间任一整数，训练的卷积核组数R＝10。卷积核训练方法可采用已公开的交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)求解。本实施例具体采用GitHub平台上开源的快速卷积稀疏编码法求解。
对于步骤S13，其构建中间特征集
Figure BDA0003081820300000101
具体为：
S131：选取语音障碍相关数据集V作为中间集，采用与步骤S11完全相同的步骤，提取其中语音段的多类型特征组成特征向量，并构建中间特征集
Figure BDA0003081820300000102
其中，
Figure BDA0003081820300000103
表示中间特征集
Figure BDA0003081820300000104
中第b个特征样本，B表示对应特征样本的数量。
其基于已训练好的R组卷积核中不同组
Figure BDA0003081820300000105
对中间特征集
Figure BDA0003081820300000106
进行卷积稀疏编码得到特征映射集B′，具体包括步骤：
S132：将步骤S12中卷积稀疏编码算法的目标式中的输入样本
Figure BDA0003081820300000107
替换为
Figure BDA0003081820300000108
构建目标式：
Figure BDA0003081820300000109
S133：根据步骤S132中的目标式，使用已训练好的卷积核组
Figure BDA00030818203000001010
进行训练，以优化特征映射eb,k；
S134：训练完成，对每个样本
Figure BDA00030818203000001011
可得到K个映射
Figure BDA00030818203000001012
选取第K′个映射作为其编码，从而构建所有样本映射的特征映射集
Figure BDA00030818203000001013
由于卷积核有R组，因此得到R个特征映射集
Figure BDA00030818203000001014
步骤S131的中间集来自于德国萨尔布吕肯大学语音数据库(SVD)，将SVD中复发性麻痹症数据集的201个患者数据和SVD中任意选取的201个正常人数据共同构建中间集，其中每个受试者依次朗读10个数字‘1’,‘2’,‘3’,‘4’,‘5’,‘6’,‘7’,‘8’,‘9’,‘10’,及元音‘a’，‘o’，‘u’，即提供13个语音段。对语音段提取多类型特征构建特征集，特征集样本总数B＝402，样本尺寸参数H0＝13，F＝26。步骤S134选取的特征映射序数K′可取1至K之间任一整数。
对于步骤S2，该步骤具体为：
基于帕金森目标数据集A由编号1至M受试者数据组成，即
Figure BDA0003081820300000111
其中每个受试者数据
Figure BDA0003081820300000112
都由H0个语音样本组成，即
Figure BDA0003081820300000113
对帕金森目标数据集A中每个受试者数据
Figure BDA0003081820300000114
进行k-means聚类，即指定不同的聚类样本数Hn将
Figure BDA0003081820300000115
聚类为
Figure BDA0003081820300000116
作为1至N层的数据，得到深度样本空间
Figure BDA0003081820300000117
其中第n层深度样本空间
Figure BDA0003081820300000118
帕金森目标数据集A来源于UCI公共帕金森语音特征数据集，由学者Sakar创建，受试者总数M＝40，其中20名患者，20名正常人，每名受试者提供26个语音段，为与中间集的语音段保持统一故选取其中10个数字‘1’,‘2’,‘3’,‘4’,‘5’,‘6’,‘7’,‘8’,‘9’,‘10’,及元音‘a’，‘o’，‘u’对应的13个语音段构建目标集。深度样本空间层数N＝12，在样本空间n＝0～12中，将每名受试者的13个语音段样本分别聚类为Hn个样本，Hn＝13-n,1≤n≤12。
具体的，步骤S3采用与S13中对中间特征集
Figure BDA0003081820300000119
进行卷积稀疏编码得到特征映射集B′相同的步骤，基于最优卷积核组
Figure BDA00030818203000001110
对深度样本空间dA进行卷积稀疏编码，对每一深度样本
Figure BDA00030818203000001111
映射得到对应的深度特征映射
Figure BDA00030818203000001112
得到深度特征映射空间
Figure BDA00030818203000001113
对于步骤S4，该步骤具体包括步骤：
S41：将每个受试者的数据在第n层空间的映射即Hn×F块矩阵
Figure BDA00030818203000001114
向量化扩展为长度为Hn·F的一维向量
Figure BDA00030818203000001115
从而将深度特征映射空间
Figure BDA00030818203000001116
向量化扩展为
Figure BDA00030818203000001117
S42：将dG划分为第一训练集dGtrain和第一测试集dGtest即dG＝{dGtrain,dGtest}，其中第一训练集dGtrain包含N+1层样本空间{dGtrain(0),dGtrain(1),…,dGtrain(N)}，每层样本空间有M1名受试者，第一测试集dGtest包含N+1层样本空间{dGtest(0),dGtest(1),…,dGtest(N)}，每层样本空间有M2＝M-M1名受试者，具体表达如下：
Figure BDA0003081820300000121
Figure BDA0003081820300000122
步骤S4中可采用hold-out交叉验证或LOSO交叉验证，当采用hold-out交叉验证时，第一训练集的受试者数量M1＝20，第一测试集的受试者数量M2＝20；当采用LOSO M1＝39，M2＝1。
对于步骤S5，其具体包括步骤：
S51：使用relief算法计算
Figure BDA0003081820300000123
中特征列向量
Figure BDA0003081820300000124
所对应的权重向量
Figure BDA0003081820300000125
计算的过程为：
令特征列向量
Figure BDA0003081820300000126
中第j个特征列向量
Figure BDA0003081820300000127
根据下式计算
Figure BDA0003081820300000128
的权重值：
Figure BDA0003081820300000129
其中，Mc(γn,ij)是γn,ij的C个同类邻域样本中的一个，Hc(γn,ij)是γn,ij的C个异类邻域样本中的一个；
S52：根据权重大小筛选第一训练集dGtrain和第一测试集dGtest的特征，其中
Figure BDA0003081820300000131
分别留下Q个最大权重所对应的特征构建第二训练集
Figure BDA0003081820300000132
与第二测试集
Figure BDA0003081820300000133
第0至N层筛选的特征数分别为Q(0)，Q(1)，…，Q(N)，其中第n层筛选权重值最大的前Q(n)个特征表示为：
Figure BDA0003081820300000134
Figure BDA0003081820300000135
且index(n)是权重wn,i所对应特征向量的列标记。
步骤S5中relief算法的最近邻数C＝5，第0层至12层筛选的最优特征数取值1≤Q(n)≤26(13-n)，其中n为层数。
对于步骤S6，分类模型采用线性SVM分类器。
对于步骤S7，其具体为：
将属于帕金森和不属于帕金森的预测标签分别用数值1和数值0表示，根据编号为m的受试者的来自N+1层的N+1个预测标签L0m,L1m,…,LNm计算该受试者的投票预测标签
Figure BDA0003081820300000136
并可根据
Figure BDA0003081820300000137
计算编号M1+1至M受试者的测试分类准确率，其中符号⊙为同或运算符，
Figure BDA0003081820300000138
为编号为m的受试者的固有标签。则LOSO交叉验证下的准确率
Figure BDA0003081820300000139
下面对本实施例分类方法的分类效果进行验证。
中间集1由陆军军医大学第一附属医院的患者提供，数据包含了未接受治疗的36名帕金森患者，其中16名女性(年龄的均值±标准差mean±std:57.9±9.0)，20名男性(mean±std:60.8±10.6)(患病时间的均值和标准差分别是7.38年和3.58年)。54名已接受治疗的PD患者，其中27名女性(mean±std:59.7±8.1)，27名男性(mean±std:63.2±10.8))(患病时间的均值和标准差分别是6.82年和3.50年)。中间集2和中间集3来源于SVD病理语音库，中间集2由其中复发性麻痹症患者语音集和正常人语音构成，中间集3由其中声带息肉患者语音集和正常人语音构成。
表2不同深度样本空间层数的性能比较(中间集1)(LOSO)
Figure BDA0003081820300000141
表3不同深度样本空间层数的性能比较(中间集2)(LOSO)
Figure BDA0003081820300000142
表4不同深度样本空间层数的性能比较(中间集3)(LOSO)
Figure BDA0003081820300000151
表2、3及4为分别基于中间集1、中间集2、中间集3，均在LOSO交叉验证下，在不同深度样本空间层数下的性能比较，随着深度样本空间总层数(N1)的增加，准确率逐渐增加，但并不是层数越大准确率越大，如表2中，N1＝7达到最大值99.5％，表3中，N1＝11达到最大值98.75％，表4中，N1＝12达到最大值99.5％。本发明准确率高达99.5％，优于目前的最优方法(准确率97.5％)。
综上，本发明实施例提供的一种基于深度稀疏迁移学习的帕金森语音分类方法，首先采用基于中间集的稀疏迁移学习方法对帕金森公共语音数据集生成最优卷积核(步骤S1)，进一步采用聚类方法聚类生成帕金森目标数据集A的深度样本空间(步骤S2)，进一步采用卷积稀疏编码基于最优卷积核组
Figure BDA0003081820300000152
生成深度样本空间dA的深度特征映射空间(步骤S3)，进一步将深度特征映射空间dE向量化扩展为dG并划分为训练集和测试集(步骤S4)，进一步基于权重大小筛选构建新的训练集和测试集(步骤S5)，进一步采用新的训练集训练以及采用新的测试集进行预测得到预测标签序列(步骤S6)，最后对标签序列进行投票得到每个受试者的分类结果，最后根据分类结果计算分类准确率(步骤S7)。
与现有技术方案相比较，本发明实施例具有以下优点：
1)基于中间集筛选出公共语音源域数据集(帕金森公共语音数据集)中的最优结构表达信息(最优卷积核组
Figure BDA0003081820300000153
)，并将其结构信息迁移到帕金森目标数据集A，对目标集进行更精准表达，从而有效改善帕金森语音识别中存在的小样本学习问题；
2)构建帕金森语音深度样本空间，挖掘帕金森语音目标集的复杂结构信息，从而更有利于分类；
3)迁移适用于帕金森目标数据集A的最优结构表达并挖掘其复杂结构信息，从而提高最终的分类准确率，LOSO交叉验证下准确率高达99.5％，优于目前的最优方法(准确率97.5％)。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度稀疏迁移学习的帕金森语音分类方法，其特征在于，包括步骤：
S1：对帕金森公共语音数据集基于中间集的稀疏迁移学习方法生成最优卷积核组
Figure FDA0003591301820000011
S2：对帕金森目标数据集A采用聚类方法生成对应的深度样本空间dA＝[dA0,dA1,…,dAN]，其中dA0表示第0层的数据集即原始目标集A，dA1至dAN表示第1层至第N层的数据集；
S3：基于最优卷积核组
Figure FDA0003591301820000012
对深度样本空间dA进行卷积稀疏编码，并生成对应的深度特征映射空间dE＝[dE0,dE1,…,dEN]，dE0至dEN表示第0层至第N层的特征映射；
S4：将深度特征映射空间dE向量化扩展为dG，并按不同受试者编号将dG划分为第一训练集dGtrain和第一测试集dGtest；
S5：在第一训练集dGtrain上计算对应特征的权重向量
Figure FDA0003591301820000013
并根据权重大小筛选第一训练集dGtrain和第一测试集dGtest的特征，留下Q个最大权重所对应的特征构建第二训练集
Figure FDA0003591301820000014
与第二测试集
Figure FDA0003591301820000015
S6：采用第二训练集
Figure FDA0003591301820000016
训练分类模型，并预测得到第二测试集
Figure FDA0003591301820000017
第0层至第N层的预测标签向量L0,L1,…,LN，其中第n层的标签向量Ln＝[Ln1,Ln2,…,LnM]，即编号1至M的受试者在该层对应的分类标签分别为Ln1至LnM；
S7：对同一编号受试者进行投票操作，得到其二分类结果；所述步骤S7具体为：
将属于帕金森和不属于帕金森的预测标签分别用数值1和数值0表示，根据编号为m的受试者的来自N+1层的N+1个预测标签L0m,L1m,…,LNm计算该受试者的投票预测标签
Figure FDA0003591301820000018
并根据
Figure FDA0003591301820000019
计算编号M1+1至M受试者的测试分类准确率，其中符号⊙为同或运算符，
Figure FDA00035913018200000110
为编号为m的受试者的固有标签。
2.根据权利要求1所述的一种基于深度稀疏迁移学习的帕金森语音分类方法，其特征在于，所述步骤S1具体包括步骤：
S11：提取帕金森公共语音数据集S的多类型特征形成源域特征集
Figure FDA0003591301820000021
S12：基于源域特征集
Figure FDA0003591301820000022
利用卷积稀疏编码算法，随机初始化由K个卷积核组成的卷积核组
Figure FDA0003591301820000023
并重复训练得到R组卷积核
Figure FDA0003591301820000024
S13：构建中间特征集
Figure FDA0003591301820000025
并基于已训练好的R组卷积核中不同组
Figure FDA0003591301820000026
对中间特征集
Figure FDA0003591301820000027
进行卷积稀疏编码得到特征映射集B′，并计算得到R个不同的分类准确率，最后选择最高准确率对应的卷积核组作为最优卷积核组
Figure FDA0003591301820000028
3.根据权利要求2所述的一种基于深度稀疏迁移学习的帕金森语音分类方法，其特征在于，所述步骤S11具体包括步骤：
S111：对帕金森公共语音数据集
Figure FDA0003591301820000029
提取不同类型的特征，构建初始特征集
Figure FDA00035913018200000210
其中，L为帕金森公共语音数据集中语音段的个数，
Figure FDA00035913018200000211
为编号为l的语音段；特征列向量
Figure FDA00035913018200000212
ξf(·)为第f个特征提取函数，F为特征类型总数；
S112：以同一组的特征向量组成一个矩阵作为一个特征样本，对初始特征集Y中的特征向量进行分组，从而构造由G个特征样本组成的源域特征集
Figure FDA00035913018200000213
其中，第g个特征样本
Figure FDA00035913018200000214
是H0×F分块矩阵，
Figure FDA00035913018200000215
表示L除以G再取整，为一个特征样本包含的特征向量数。
4.根据权利要求3所述的一种基于深度稀疏迁移学习的帕金森语音分类方法，其特征在于，所述步骤S12中，卷积稀疏编码算法的目标式为：
Figure FDA0003591301820000031
其中，eg,k是H0×F特征映射矩阵，与对应的卷积核dk进行卷积运算逼近
Figure FDA0003591301820000032
符号*表示二维卷积运算，η是大于0的正则化因子。
5.根据权利要求4所述的一种基于深度稀疏迁移学习的帕金森语音分类方法，其特征在于，所述步骤S13中：
构建中间特征集
Figure FDA0003591301820000033
具体为：
S131：选取语音障碍相关数据集V作为中间集，采用与步骤S11完全相同的步骤，提取其中语音段的多类型特征组成特征向量，并构建中间特征集
Figure FDA0003591301820000034
其中，
Figure FDA0003591301820000035
表示中间特征集
Figure FDA0003591301820000036
中第b个特征样本，B表示对应特征样本的数量；
基于已训练好的R组卷积核中不同组
Figure FDA0003591301820000037
对中间特征集
Figure FDA0003591301820000038
进行卷积稀疏编码得到特征映射集B′，具体包括步骤：
S132：将步骤S12中卷积稀疏编码算法的目标式中的输入样本
Figure FDA0003591301820000039
替换为
Figure FDA00035913018200000310
构建目标式：
Figure FDA00035913018200000311
S133：根据步骤S132中的目标式，使用已训练好的卷积核组
Figure FDA00035913018200000312
进行训练，以优化特征映射eb,k；
S134：训练完成，对每个样本
Figure FDA00035913018200000313
可得到K个映射
Figure FDA00035913018200000314
选取第K′个映射作为其编码，从而构建所有样本映射的特征映射集
Figure FDA00035913018200000315
由于卷积核有R组，因此得到R个特征映射集
Figure FDA00035913018200000316
6.根据权利要求5所述的一种基于深度稀疏迁移学习的帕金森语音分类方法，其特征在于，所述步骤S2具体为：
基于帕金森目标数据集A由编号1至M受试者数据组成，即
Figure FDA0003591301820000041
其中每个受试者数据
Figure FDA0003591301820000042
都由H0个语音样本组成，即
Figure FDA0003591301820000043
对帕金森目标数据集A中每个受试者数据
Figure FDA0003591301820000044
进行k-means聚类，即指定不同的聚类样本数Hn将
Figure FDA0003591301820000045
聚类为
Figure FDA0003591301820000046
作为1至N层的数据，得到深度样本空间
Figure FDA0003591301820000047
其中第n层深度样本空间
Figure FDA0003591301820000048
7.根据权利要求6所述的一种基于深度稀疏迁移学习的帕金森语音分类方法，其特征在于：所述步骤S3采用与S13中对中间特征集
Figure FDA0003591301820000049
进行卷积稀疏编码得到特征映射集B′相同的步骤，基于最优卷积核组
Figure FDA00035913018200000410
对深度样本空间dA进行卷积稀疏编码，对每一深度样本
Figure FDA00035913018200000411
映射得到对应的深度特征映射
Figure FDA00035913018200000412
得到深度特征映射空间
Figure FDA00035913018200000413
8.根据权利要求7所述的一种基于深度稀疏迁移学习的帕金森语音分类方法，其特征在于，步骤S4具体包括步骤：
S41：将每个受试者的数据在第n层空间的映射即Hn×F块矩阵
Figure FDA00035913018200000414
向量化扩展为长度为Hn·F的一维向量
Figure FDA00035913018200000415
从而将深度特征映射空间
Figure FDA00035913018200000416
向量化扩展为
Figure FDA00035913018200000417
S42：将dG划分为第一训练集dGtrain和第一测试集dGtest即dG＝{dGtrain,dGtest}，其中第一训练集dGtrain包含N+1层样本空间{dGtrain(0),dGtrain(1),…,dGtrain(N)}，每层样本空间有M1名受试者，第一测试集dGtest包含N+1层样本空间{dGtest(0),dGtest(1),…,dGtest(N)}，每层样本空间有M2＝M-M1名受试者，具体表达如下：
Figure FDA0003591301820000051
Figure FDA0003591301820000052
9.根据权利要求8所述的一种基于深度稀疏迁移学习的帕金森语音分类方法，其特征在于，所述步骤S5具体包括步骤：
S51：使用relief算法计算
Figure FDA0003591301820000053
中特征列向量
Figure FDA0003591301820000054
所对应的权重向量
Figure FDA0003591301820000055
计算的过程为：
令特征列向量
Figure FDA0003591301820000056
中第j个特征列向量
Figure FDA0003591301820000057
根据下式计算
Figure FDA0003591301820000058
的权重值：
Figure FDA0003591301820000059
其中，Mc(γn,ij)是γn,ij的C个同类邻域样本中的一个，Hc(γn,ij)是γn,ij的C个异类邻域样本中的一个；
S52：根据权重大小筛选第一训练集dGtrain和第一测试集dGtest的特征，其中
Figure FDA0003591301820000061
分别留下Q个最大权重所对应的特征构建第二训练集
Figure FDA0003591301820000062
与第二测试集
Figure FDA0003591301820000063
第0至N层筛选的特征数分别为Q(0)，Q(1)，…，Q(N)，其中第n层筛选权重值最大的前Q(n)个特征表示为：
Figure FDA0003591301820000064
Figure FDA0003591301820000065
且index(n)是权重wn,i所对应特征向量的列标记。
CN202110568802.2A 2021-05-25 2021-05-25 一种基于深度稀疏迁移学习的帕金森语音分类方法 Active CN113284512B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110568802.2A CN113284512B (zh) 2021-05-25 2021-05-25 一种基于深度稀疏迁移学习的帕金森语音分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110568802.2A CN113284512B (zh) 2021-05-25 2021-05-25 一种基于深度稀疏迁移学习的帕金森语音分类方法

Publications (2)

Publication Number Publication Date
CN113284512A CN113284512A (zh) 2021-08-20
CN113284512B true CN113284512B (zh) 2022-05-27

Family

ID=77281203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110568802.2A Active CN113284512B (zh) 2021-05-25 2021-05-25 一种基于深度稀疏迁移学习的帕金森语音分类方法

Country Status (1)

Country Link
CN (1) CN113284512B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114373484A (zh) * 2022-03-22 2022-04-19 南京邮电大学 语音驱动的帕金森病多症状特征参数的小样本学习方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852336A (zh) * 2018-08-20 2020-02-28 重庆工商职业学院 一种基于矢量空间的帕金森病数据集分类方法
CN110909801A (zh) * 2019-11-26 2020-03-24 山东师范大学 基于卷积神经网络的数据分类方法、系统、介质及设备
CN111354338A (zh) * 2020-02-26 2020-06-30 重庆大学 基于pso卷积核优化稀疏迁移学习的帕金森语音识别系统
EP3709224A1 (en) * 2017-10-30 2020-09-16 Shanghai Cambricon Information Technology Co., Ltd Information processing method and terminal device
CN112529063A (zh) * 2020-12-03 2021-03-19 重庆大学 一种适用于帕金森语音数据集的深度域适应分类方法
CN112820279A (zh) * 2021-03-12 2021-05-18 深圳市臻络科技有限公司 基于语音上下文动态特征的帕金森病检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10835167B2 (en) * 2016-05-06 2020-11-17 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for using mobile and wearable video capture and feedback plat-forms for therapy of mental disorders

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3709224A1 (en) * 2017-10-30 2020-09-16 Shanghai Cambricon Information Technology Co., Ltd Information processing method and terminal device
CN110852336A (zh) * 2018-08-20 2020-02-28 重庆工商职业学院 一种基于矢量空间的帕金森病数据集分类方法
CN110909801A (zh) * 2019-11-26 2020-03-24 山东师范大学 基于卷积神经网络的数据分类方法、系统、介质及设备
CN111354338A (zh) * 2020-02-26 2020-06-30 重庆大学 基于pso卷积核优化稀疏迁移学习的帕金森语音识别系统
CN112529063A (zh) * 2020-12-03 2021-03-19 重庆大学 一种适用于帕金森语音数据集的深度域适应分类方法
CN112820279A (zh) * 2021-03-12 2021-05-18 深圳市臻络科技有限公司 基于语音上下文动态特征的帕金森病检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ClassificationAlgorithm of Speech Data of Parkinson’s Disease Based on Convolution Sparse Kernel Transfer Learning with Optimal Kernel and Parallel Sample/Feature Selection;Xiaoheng Zhang;《arxiv》;20200210;全文 *
Insight into an unsupervised two-step sparse transfer learning algorithm for speech diagnosis of Parkinson’s disease;Yongming Li;《Neural Computing and Applications》;20210209;第9733-9750页 *
基于EEMD的帕金森病患者步态特征量化分级方法研究;李哲;《中国优秀硕士学位论文全文数据库》;20200815(第8期);全文 *
基于语音卷积稀疏迁移学习和并行优选的帕金森病分类算法研究;张小恒;《电子与信息学报》;20190731(第7期);第1641-1649页 *

Also Published As

Publication number Publication date
CN113284512A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
Caliskan et al. Diagnosis of the parkinson disease by using deep neural network classifier
Keerthana et al. Hybrid convolutional neural networks with SVM classifier for classification of skin cancer
SR et al. Lung cancer detection using probabilistic neural network with modified crow-search algorithm
JP2022538866A (ja) 画像前処理のためのシステム及び方法
CN107578028A (zh) 一种人脸识别方法、装置、设备及计算机可读存储介质
CN112270666A (zh) 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法
Saadi et al. Investigation of effectiveness of shuffled frog-leaping optimizer in training a convolution neural network
Nasser et al. Diagnosis of osteoporosis disease from bone X-ray images with stacked sparse autoencoder and SVM classifier
Venmathi et al. An automatic brain tumors detection and classification using deep convolutional neural network with VGG-19
CN113284512B (zh) 一种基于深度稀疏迁移学习的帕金森语音分类方法
Al Zorgani et al. Comparative study of image classification using machine learning algorithms
Khan et al. A healthcare system for COVID19 classification using multi-type classical features selection
Rao et al. Content-based medical image retrieval using a novel hybrid scattering coefficients-bag of visual words-DWT relevance fusion
Kandula et al. Multivariate analysis on personalized cancer data using a hybrid classification model using voting classifier
Kumar et al. Classification of COVID-19 X-ray images using transfer learning with visual geometrical groups and novel sequential convolutional neural networks
CN116228759B (zh) 肾细胞癌类型的计算机辅助诊断系统及设备
Keyvanpour et al. WARM: a new breast masses classification method by weighting association rule mining
Syam et al. Efficient similarity measure via Genetic algorithm for content based medical image retrieval with extensive features
Ngan et al. Extracting meaningful high-fidelity knowledge from convolutional neural networks
CN115985503B (zh) 基于集成学习的癌症预测系统
CN115036034B (zh) 一种基于患者表征图的相似患者识别方法及系统
Manoj et al. Automated brain tumor malignancy detection via 3D MRI using adaptive-3-D U-Net and heuristic-based deep neural network
Kharrat et al. Brain tumour diagnostic segmentation based on optimal texture features and support vector machine classifier
CN113705630B (zh) 一种皮肤病变图像分类方法
Ashfaq et al. Multi-model Ensemble Based Approach for Heart Disease Diagnosis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant