CN113284512A - 一种基于深度稀疏迁移学习的帕金森语音分类方法 - Google Patents

一种基于深度稀疏迁移学习的帕金森语音分类方法 Download PDF

Info

Publication number
CN113284512A
CN113284512A CN202110568802.2A CN202110568802A CN113284512A CN 113284512 A CN113284512 A CN 113284512A CN 202110568802 A CN202110568802 A CN 202110568802A CN 113284512 A CN113284512 A CN 113284512A
Authority
CN
China
Prior art keywords
feature
parkinson
test
mapping
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110568802.2A
Other languages
English (en)
Other versions
CN113284512B (zh
Inventor
张小恒
李勇明
刘书君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202110568802.2A priority Critical patent/CN113284512B/zh
Publication of CN113284512A publication Critical patent/CN113284512A/zh
Application granted granted Critical
Publication of CN113284512B publication Critical patent/CN113284512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及帕金森语音数据集分类技术领域，具体公开了一种基于深度稀疏迁移学习的帕金森语音分类方法，该方法首先采用基于中间集的稀疏迁移学习方法对帕金森公共语音数据集生成最优卷积核(步骤S1)，进一步采用聚类方法聚类生成帕金森目标数据集A的深度样本空间(步骤S2)，进一步采用卷积稀疏编码基于最优卷积核组
Figure DDA0003081820320000011
生成深度样本空间dA的深度特征映射空间(步骤S3)，进一步将深度特征映射空间dE向量化扩展为dG并划分为训练集和测试集(步骤S4)。本发明迁移适用于帕金森目标数据集A的最优结构表达并挖掘其复杂结构信息(步骤S1～S4)，从而提高最终的分类准确率，LOSO交叉验证下准确率高达99.5％，优于目前的最优方法(准确率97.5％)。

Description

一种基于深度稀疏迁移学习的帕金森语音分类方法
技术领域
本发明涉及帕金森语音数据集分类技术领域，尤其涉及一种基于深度稀疏迁移学习的帕金森语音分类方法。
背景技术
帕金森症是退行性神经疾病，具有长周期、起病隐匿不可逆等特点，早期诊断和长期监控是提升评估效果和监控管理的主要手段。近年来，语音技术能无创获取构音障碍信息，成为了研究的热点，也涌现了大量基于语音的分类诊断方法。这些方法大都是直接针对当前帕金森语音数据集进行建模分类，没有考虑帕金森语音样本集普遍存在小样本的特点，因此分类准确率及泛化性能难以进一步提高。迁移学习相关方法可以有效解决小样本问题，也有研究证实其在疾病诊断中的有效性，且目前应用于疾病诊断的迁移学习方法都只涉及从源域到目标域的一阶段迁移，且源域到目标域的相似度较低会影响正迁移的效果。此外，当前所有相关发明分类算法都仅仅考虑了原始样本，没有考虑样本之间的结构关系。
发明内容
本发明提供一种基于深度稀疏迁移学习的帕金森语音分类方法，解决的技术问题在于：如何从帕金森公共语音数据集中提取最优结构表达，并将其迁移到帕金森语音目标集中从而更有利于分类；如何挖掘帕金森语音目标集的复杂结构信息，从而更有利于小样本数据集分类。
为解决以上技术问题，本发明提供一种基于深度稀疏迁移学习的帕金森语音分类方法，包括步骤：
S1：对帕金森公共语音数据集基于中间集的稀疏迁移学习方法生成最优卷积核组
Figure BDA0003081820300000011
S2：对帕金森目标数据集A采用聚类方法生成对应的深度样本空间dA＝[dA0,dA1,…,dAN]，其中dA0表示第0层的数据集即原始目标集A，dA1至dAN表示第1层至第N层的数据集；
S3：基于最优卷积核组
Figure BDA0003081820300000021
对深度样本空间dA进行卷积稀疏编码，并生成对应的深度特征映射空间dE＝[dE0,dE1,…,dEN]，dE0至dEN表示第0层至第N层的特征映射；
S4：将深度特征映射空间dE向量化扩展为dG，并按不同受试者编号将dG划分为第一训练集dGtrain和第一测试集dGtest；
S5：在第一训练集dGtrain上计算对应特征的权重向量
Figure BDA0003081820300000022
并根据权重大小筛选第一训练集dGtrain和第一测试集dGtest的特征，留下Q个最大权重所对应的特征构建第二训练集
Figure BDA0003081820300000023
与第二测试集
Figure BDA0003081820300000024
S6：采用第二训练集
Figure BDA0003081820300000025
训练分类模型，并预测得到第二测试集
Figure BDA0003081820300000026
第0层至第N层的预测标签向量L0,L1,…,LN，其中第n层的标签向量Ln＝[Ln1,Ln2,…,LnM]，即编号1至M的受试者在该层对应的分类标签分别为Ln1至LnM；
S7：对同一编号受试者进行投票操作，得到其二分类结果。
进一步地，所述步骤S1具体包括步骤：
S11：提取帕金森公共语音数据集S的多类型特征形成源域特征集
Figure BDA0003081820300000027
S12：基于源域特征集
Figure BDA0003081820300000028
利用卷积稀疏编码算法，随机初始化由K个卷积核组成的卷积核组
Figure BDA0003081820300000029
并重复训练得到R组卷积核
Figure BDA00030818203000000210
S13：构建中间特征集
Figure BDA00030818203000000211
并基于已训练好的R组卷积核中不同组
Figure BDA00030818203000000212
对中间特征集
Figure BDA00030818203000000213
进行卷积稀疏编码得到特征映射集B′，并计算得到R个不同的分类准确率，最后选择最高准确率对应的卷积核组作为最优卷积核组
Figure BDA00030818203000000214
进一步地，所述步骤S11具体包括步骤：
S111：对帕金森公共语音数据集
Figure BDA00030818203000000215
提取不同类型的特征，构建初始特征集
Figure BDA00030818203000000216
其中，L为帕金森公共语音数据集中语音段的个数，
Figure BDA00030818203000000217
为编号为l的语音段；特征列向量
Figure BDA0003081820300000031
ξf(·)为第f个特征提取函数，F为特征类型总数；
S112：以同一组的特征向量组成一个矩阵作为一个特征样本，对初始特征集Y中的特征向量进行分组，从而构造由G个特征样本组成的源域特征集
Figure BDA0003081820300000032
其中，第g个特征样本
Figure BDA0003081820300000033
是H0×F分块矩阵，
Figure BDA0003081820300000034
表示L除以G再取整，为一个特征样本包含的特征向量数。
进一步地，所述步骤S12中，卷积稀疏编码算法的目标式为：
Figure BDA0003081820300000035
其中，eg,k是H0×F特征映射矩阵，与对应的卷积核dk进行卷积运算逼近
Figure BDA0003081820300000036
符号*表示二维卷积运算，η是大于0的正则化因子。
进一步地，所述步骤S13中：
构建中间特征集
Figure BDA0003081820300000037
具体为：
S131：选取语音障碍相关数据集V作为中间集，采用与步骤S11完全相同的步骤，提取其中语音段的多类型特征组成特征向量，并构建中间特征集
Figure BDA0003081820300000038
其中，
Figure BDA0003081820300000039
表示中间特征集
Figure BDA00030818203000000310
中第b个特征样本，B表示对应特征样本的数量；
基于已训练好的R组卷积核中不同组
Figure BDA00030818203000000311
对中间特征集
Figure BDA00030818203000000312
进行卷积稀疏编码得到特征映射集B′，具体包括步骤：
S132：将步骤S12中卷积稀疏编码算法的目标式中的输入样本
Figure BDA00030818203000000313
替换为
Figure BDA00030818203000000314
构建目标式：
Figure BDA00030818203000000315
S133：根据步骤S132中的目标式，使用已训练好的卷积核组
Figure BDA00030818203000000316
进行训练，以优化特征映射eb,k；
S134：训练完成，对每个样本
Figure BDA0003081820300000041
可得到K个映射
Figure BDA0003081820300000042
选取第K′个映射作为其编码，从而构建所有样本映射的特征映射集
Figure BDA0003081820300000043
由于卷积核有R组，因此得到R个特征映射集
Figure BDA0003081820300000044
进一步地，所述步骤S2具体为：
基于帕金森目标数据集A由编号1至M受试者数据组成，即
Figure BDA0003081820300000045
其中每个受试者数据
Figure BDA0003081820300000046
都由H0个语音样本组成，即
Figure BDA0003081820300000047
对帕金森目标数据集A中每个受试者数据
Figure BDA0003081820300000048
进行k-means聚类，即指定不同的聚类样本数Hn将
Figure BDA0003081820300000049
聚类为
Figure BDA00030818203000000410
作为1至N层的数据，得到深度样本空间
Figure BDA00030818203000000411
其中第n层深度样本空间
Figure BDA00030818203000000412
进一步地，所述步骤S3采用与S13中对中间特征集
Figure BDA00030818203000000413
进行卷积稀疏编码得到特征映射集B′相同的步骤，基于最优卷积核组
Figure BDA00030818203000000414
对深度样本空间dA进行卷积稀疏编码，对每一深度样本
Figure BDA00030818203000000415
映射得到对应的深度特征映射
Figure BDA00030818203000000416
得到深度特征映射空间
Figure BDA00030818203000000417
进一步地，步骤S4具体包括步骤：
S41：将每个受试者的数据在第n层空间的映射即Hn×F块矩阵
Figure BDA00030818203000000418
向量化扩展为长度为Hn·F的一维向量
Figure BDA00030818203000000419
从而将深度特征映射空间
Figure BDA00030818203000000420
向量化扩展为
Figure BDA00030818203000000421
S42：将dG划分为第一训练集dGtrain和第一测试集dGtest即dG＝{dGtrain,dGtest}，其中第一训练集dGtrain包含N+1层样本空间{dGtrain(0),dGtrain(1),…,dGtrain(N)}，每层样本空间有M1名受试者，第一测试集dGtest包含N+1层样本空间{dGtest(0),dGtest(1),…,dGtest(N)}，每层样本空间有M2＝M-M1名受试者，具体表达如下：
Figure BDA0003081820300000051
Figure BDA0003081820300000052
进一步地，步骤S5具体包括步骤：
S51：使用relief算法计算
Figure BDA0003081820300000053
中特征列向量
Figure BDA0003081820300000054
所对应的权重向量
Figure BDA0003081820300000055
计算的过程为：
令特征列向量
Figure BDA0003081820300000056
中第j个特征列向量
Figure BDA0003081820300000057
根据下式计算
Figure BDA0003081820300000058
的权重值：
Figure BDA0003081820300000059
其中，Mc(γn,ij)是γn,ij的C个同类邻域样本中的一个，Hc(γn,ij)是γn,ij的C个异类邻域样本中的一个；
S52：根据权重大小筛选第一训练集dGtrain和第一测试集dGtest的特征，其中
Figure BDA0003081820300000061
分别留下Q个最大权重所对应的特征构建第二训练集
Figure BDA0003081820300000062
与第二测试集
Figure BDA0003081820300000063
第0至N层筛选的特征数分别为Q(0)，Q(1)，…，Q(N)，其中第n层筛选权重值最大的前Q(n)个特征表示为：
Figure BDA0003081820300000064
Figure BDA0003081820300000065
且index(n)是权重wn,i所对应特征向量的列标记。
进一步地，所述步骤S7具体为：
将属于帕金森和不属于帕金森的预测标签分别用数值1和数值0表示，根据编号为m的受试者的来自N+1层的N+1个预测标签L0m,L1m,…,LNm计算该受试者的投票预测标签
Figure BDA0003081820300000066
并根据
Figure BDA0003081820300000067
计算编号M1+1至M受试者的测试分类准确率，其中符号⊙为同或运算符，
Figure BDA0003081820300000068
为编号为m的受试者的固有标签。
本发明提供的一种基于深度稀疏迁移学习的帕金森语音分类方法，首先采用基于中间集的稀疏迁移学习方法对帕金森公共语音数据集生成最优卷积核(步骤S1)，进一步采用聚类方法聚类生成帕金森目标数据集A的深度样本空间(步骤S2)，进一步采用卷积稀疏编码基于最优卷积核组
Figure BDA0003081820300000069
生成深度样本空间dA的深度特征映射空间(步骤S3)，进一步将深度特征映射空间dE向量化扩展为dG并划分为训练集和测试集(步骤S4)，进一步基于权重大小筛选构建新的训练集和测试集(步骤S5)，进一步采用新的训练集训练以及采用新的测试集进行预测得到预测标签序列(步骤S6)，最后对标签序列进行投票得到每个受试者的分类结果，最后根据分类结果计算分类准确率(步骤S7)。
与现有技术方案相比较，本发明具有以下优点：
1)基于中间集筛选出公共语音源域数据集(帕金森公共语音数据集)中的最优结构表达信息(最优卷积核组
Figure BDA0003081820300000071
)，并将其结构信息迁移到帕金森目标数据集A，对目标集进行更精准表达，从而有效改善帕金森语音识别中存在的小样本学习问题；
2)构建帕金森语音深度样本空间，挖掘帕金森语音目标集的复杂结构信息，从而更有利于分类；
3)迁移适用于帕金森目标数据集A的最优结构表达并挖掘其复杂结构信息，从而提高最终的分类准确率。
附图说明
图1是本发明实施例提供的一种基于深度稀疏迁移学习的帕金森语音分类方法的第一流程图；
图2是本发明实施例提供的一种基于深度稀疏迁移学习的帕金森语音分类方法的第二流程图。
具体实施方式
下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
为提高对帕金森目标数据集A的分类准确率，本发明实施例提供一种基于深度稀疏迁移学习的帕金森语音分类方法，如图1和图2所示，包括步骤：
S1：对帕金森公共语音数据集基于中间集的稀疏迁移学习方法生成最优卷积核组
Figure BDA0003081820300000072
S2：对帕金森目标数据集A采用聚类方法生成对应的深度样本空间dA＝[dA0,dA1,…,dAN]，其中dA0表示第0层的数据集即原始目标集A，dA1至dAN表示第1层至第N层的数据集；
S3：基于最优卷积核组
Figure BDA0003081820300000081
对深度样本空间dA进行卷积稀疏编码，并生成对应的深度特征映射空间dE＝[dE0,dE1,…,dEN]，dE0至dEN表示第0层至第N层的特征映射；
S4：将深度特征映射空间dE向量化扩展为dG，并按不同受试者编号将dG划分为第一训练集dGtrain和第一测试集dGtest；
S5：在第一训练集dGtrain上计算对应特征的权重向量
Figure BDA00030818203000000814
并根据权重大小筛选第一训练集dGtrain和第一测试集dGtest的特征，留下Q个最大权重所对应的特征构建第二训练集
Figure BDA0003081820300000082
与第二测试集
Figure BDA0003081820300000083
S6：采用第二训练集
Figure BDA0003081820300000084
训练分类模型，并预测得到第二测试集
Figure BDA0003081820300000085
第0层至第N层的预测标签向量L0,L1,…,LN，其中第n层的标签向量Ln＝[Ln1,Ln2,…,LnM]，即编号1至M的受试者在该层对应的分类标签分别为Ln1至LnM；
S7：对同一编号受试者进行投票操作，得到其二分类结果。
对于步骤S1，其具体包括步骤：
S11：提取帕金森公共语音数据集S的多类型特征形成源域特征集
Figure BDA0003081820300000086
S12：基于源域特征集
Figure BDA0003081820300000087
利用卷积稀疏编码算法，随机初始化由K个卷积核组成的卷积核组
Figure BDA0003081820300000088
并重复训练得到R组卷积核
Figure BDA0003081820300000089
S13：构建中间特征集
Figure BDA00030818203000000810
并基于已训练好的R组卷积核中不同组
Figure BDA00030818203000000811
对中间特征集
Figure BDA00030818203000000812
进行卷积稀疏编码得到特征映射集B′，并都采用LOSO交叉验证计算R个不同特征映射集的分类准确率，最后选择最高准确率对应的卷积核组作为最优卷积核组
Figure BDA00030818203000000813
对于步骤S11，本例采用TIMIT公共语音集作为该帕金森公共语音数据集，其具有语音段数量L＝6300，特征总数F＝26，提取的特征依次如表1所示。
表1提取的具体特征
Figure BDA0003081820300000091
由于上述特征的提取函数已在开源工具Praat中实现，可利用Praat从原始语音段中直接提取上述信息。
更具体的，步骤S11具体包括步骤：
S111：对帕金森公共语音数据集
Figure BDA0003081820300000092
提取不同类型的特征，构建初始特征集
Figure BDA0003081820300000093
其中，L为帕金森公共语音数据集中语音段的个数，
Figure BDA0003081820300000094
为编号为l的语音段；特征列向量
Figure BDA0003081820300000095
ξf(·)为第f个特征提取函数，F为特征类型总数；
S112：以同一组的特征向量组成一个矩阵作为一个特征样本，对初始特征集Y中的特征向量进行分组，从而构造由G个特征样本组成的源域特征集
Figure BDA0003081820300000096
其中，第g个特征样本
Figure BDA0003081820300000097
是H0×F分块矩阵，
Figure BDA0003081820300000098
表示L除以G再取整，为一个特征样本包含的特征向量数。
本例语音段生成的特征向量按13个特征向量分为一组，即H0＝13，特征集总的样本数G＝484。
对于步骤S12，其进行卷积稀疏编码算法的目标式为：
Figure BDA0003081820300000099
其中，eg,k是H0×F特征映射矩阵，与对应的卷积核dk进行卷积运算逼近
Figure BDA00030818203000000910
符号*表示二维卷积运算，η是大于0的正则化因子。本例H0＝13，F＝26，G＝484，η＝1，卷积核数K可取2至8之间任一整数，训练的卷积核组数R＝10。卷积核训练方法可采用已公开的交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)求解。本实施例具体采用GitHub平台上开源的快速卷积稀疏编码法求解。
对于步骤S13，其构建中间特征集
Figure BDA0003081820300000101
具体为：
S131：选取语音障碍相关数据集V作为中间集，采用与步骤S11完全相同的步骤，提取其中语音段的多类型特征组成特征向量，并构建中间特征集
Figure BDA0003081820300000102
其中，
Figure BDA0003081820300000103
表示中间特征集
Figure BDA0003081820300000104
中第b个特征样本，B表示对应特征样本的数量。
其基于已训练好的R组卷积核中不同组
Figure BDA0003081820300000105
对中间特征集
Figure BDA0003081820300000106
进行卷积稀疏编码得到特征映射集B′，具体包括步骤：
S132：将步骤S12中卷积稀疏编码算法的目标式中的输入样本
Figure BDA0003081820300000107
替换为
Figure BDA0003081820300000108
构建目标式：
Figure BDA0003081820300000109
S133：根据步骤S132中的目标式，使用已训练好的卷积核组
Figure BDA00030818203000001010
进行训练，以优化特征映射eb,k；
S134：训练完成，对每个样本
Figure BDA00030818203000001011
可得到K个映射
Figure BDA00030818203000001012
选取第K′个映射作为其编码，从而构建所有样本映射的特征映射集
Figure BDA00030818203000001013
由于卷积核有R组，因此得到R个特征映射集
Figure BDA00030818203000001014
步骤S131的中间集来自于德国萨尔布吕肯大学语音数据库(SVD)，将SVD中复发性麻痹症数据集的201个患者数据和SVD中任意选取的201个正常人数据共同构建中间集，其中每个受试者依次朗读10个数字‘1’,‘2’,‘3’,‘4’,‘5’,‘6’,‘7’,‘8’,‘9’,‘10’,及元音‘a’，‘o’，‘u’，即提供13个语音段。对语音段提取多类型特征构建特征集，特征集样本总数B＝402，样本尺寸参数H0＝13，F＝26。步骤S134选取的特征映射序数K′可取1至K之间任一整数。
对于步骤S2，该步骤具体为：
基于帕金森目标数据集A由编号1至M受试者数据组成，即
Figure BDA0003081820300000111
其中每个受试者数据
Figure BDA0003081820300000112
都由H0个语音样本组成，即
Figure BDA0003081820300000113
对帕金森目标数据集A中每个受试者数据
Figure BDA0003081820300000114
进行k-means聚类，即指定不同的聚类样本数Hn将
Figure BDA0003081820300000115
聚类为
Figure BDA0003081820300000116
作为1至N层的数据，得到深度样本空间
Figure BDA0003081820300000117
其中第n层深度样本空间
Figure BDA0003081820300000118
帕金森目标数据集A来源于UCI公共帕金森语音特征数据集，由学者Sakar创建，受试者总数M＝40，其中20名患者，20名正常人，每名受试者提供26个语音段，为与中间集的语音段保持统一故选取其中10个数字‘1’,‘2’,‘3’,‘4’,‘5’,‘6’,‘7’,‘8’,‘9’,‘10’,及元音‘a’，‘o’，‘u’对应的13个语音段构建目标集。深度样本空间层数N＝12，在样本空间n＝0～12中，将每名受试者的13个语音段样本分别聚类为Hn个样本，Hn＝13-n,1≤n≤12。
具体的，步骤S3采用与S13中对中间特征集
Figure BDA0003081820300000119
进行卷积稀疏编码得到特征映射集B′相同的步骤，基于最优卷积核组
Figure BDA00030818203000001110
对深度样本空间dA进行卷积稀疏编码，对每一深度样本
Figure BDA00030818203000001111
映射得到对应的深度特征映射
Figure BDA00030818203000001112
得到深度特征映射空间
Figure BDA00030818203000001113
对于步骤S4，该步骤具体包括步骤：
S41：将每个受试者的数据在第n层空间的映射即Hn×F块矩阵
Figure BDA00030818203000001114
向量化扩展为长度为Hn·F的一维向量
Figure BDA00030818203000001115
从而将深度特征映射空间
Figure BDA00030818203000001116
向量化扩展为
Figure BDA00030818203000001117
S42：将dG划分为第一训练集dGtrain和第一测试集dGtest即dG＝{dGtrain,dGtest}，其中第一训练集dGtrain包含N+1层样本空间{dGtrain(0),dGtrain(1),…,dGtrain(N)}，每层样本空间有M1名受试者，第一测试集dGtest包含N+1层样本空间{dGtest(0),dGtest(1),…,dGtest(N)}，每层样本空间有M2＝M-M1名受试者，具体表达如下：
Figure BDA0003081820300000121
Figure BDA0003081820300000122
步骤S4中可采用hold-out交叉验证或LOSO交叉验证，当采用hold-out交叉验证时，第一训练集的受试者数量M1＝20，第一测试集的受试者数量M2＝20；当采用LOSO M1＝39，M2＝1。
对于步骤S5，其具体包括步骤：
S51：使用relief算法计算
Figure BDA0003081820300000123
中特征列向量
Figure BDA0003081820300000124
所对应的权重向量
Figure BDA0003081820300000125
计算的过程为：
令特征列向量
Figure BDA0003081820300000126
中第j个特征列向量
Figure BDA0003081820300000127
根据下式计算
Figure BDA0003081820300000128
的权重值：
Figure BDA0003081820300000129
其中，Mc(γn,ij)是γn,ij的C个同类邻域样本中的一个，Hc(γn,ij)是γn,ij的C个异类邻域样本中的一个；
S52：根据权重大小筛选第一训练集dGtrain和第一测试集dGtest的特征，其中
Figure BDA0003081820300000131
分别留下Q个最大权重所对应的特征构建第二训练集
Figure BDA0003081820300000132
与第二测试集
Figure BDA0003081820300000133
第0至N层筛选的特征数分别为Q(0)，Q(1)，…，Q(N)，其中第n层筛选权重值最大的前Q(n)个特征表示为：
Figure BDA0003081820300000134
Figure BDA0003081820300000135
且index(n)是权重wn,i所对应特征向量的列标记。
步骤S5中relief算法的最近邻数C＝5，第0层至12层筛选的最优特征数取值1≤Q(n)≤26(13-n)，其中n为层数。
对于步骤S6，分类模型采用线性SVM分类器。
对于步骤S7，其具体为：
将属于帕金森和不属于帕金森的预测标签分别用数值1和数值0表示，根据编号为m的受试者的来自N+1层的N+1个预测标签L0m,L1m,…,LNm计算该受试者的投票预测标签
Figure BDA0003081820300000136
并可根据
Figure BDA0003081820300000137
计算编号M1+1至M受试者的测试分类准确率，其中符号⊙为同或运算符，
Figure BDA0003081820300000138
为编号为m的受试者的固有标签。则LOSO交叉验证下的准确率
Figure BDA0003081820300000139
下面对本实施例分类方法的分类效果进行验证。
中间集1由陆军军医大学第一附属医院的患者提供，数据包含了未接受治疗的36名帕金森患者，其中16名女性(年龄的均值±标准差mean±std:57.9±9.0)，20名男性(mean±std:60.8±10.6)(患病时间的均值和标准差分别是7.38年和3.58年)。54名已接受治疗的PD患者，其中27名女性(mean±std:59.7±8.1)，27名男性(mean±std:63.2±10.8))(患病时间的均值和标准差分别是6.82年和3.50年)。中间集2和中间集3来源于SVD病理语音库，中间集2由其中复发性麻痹症患者语音集和正常人语音构成，中间集3由其中声带息肉患者语音集和正常人语音构成。
表2不同深度样本空间层数的性能比较(中间集1)(LOSO)
Figure BDA0003081820300000141
表3不同深度样本空间层数的性能比较(中间集2)(LOSO)
Figure BDA0003081820300000142
表4不同深度样本空间层数的性能比较(中间集3)(LOSO)
Figure BDA0003081820300000151
表2、3及4为分别基于中间集1、中间集2、中间集3，均在LOSO交叉验证下，在不同深度样本空间层数下的性能比较，随着深度样本空间总层数(N1)的增加，准确率逐渐增加，但并不是层数越大准确率越大，如表2中，N1＝7达到最大值99.5％，表3中，N1＝11达到最大值98.75％，表4中，N1＝12达到最大值99.5％。本发明准确率高达99.5％，优于目前的最优方法(准确率97.5％)。
综上，本发明实施例提供的一种基于深度稀疏迁移学习的帕金森语音分类方法，首先采用基于中间集的稀疏迁移学习方法对帕金森公共语音数据集生成最优卷积核(步骤S1)，进一步采用聚类方法聚类生成帕金森目标数据集A的深度样本空间(步骤S2)，进一步采用卷积稀疏编码基于最优卷积核组
Figure BDA0003081820300000152
生成深度样本空间dA的深度特征映射空间(步骤S3)，进一步将深度特征映射空间dE向量化扩展为dG并划分为训练集和测试集(步骤S4)，进一步基于权重大小筛选构建新的训练集和测试集(步骤S5)，进一步采用新的训练集训练以及采用新的测试集进行预测得到预测标签序列(步骤S6)，最后对标签序列进行投票得到每个受试者的分类结果，最后根据分类结果计算分类准确率(步骤S7)。
与现有技术方案相比较，本发明实施例具有以下优点：
1)基于中间集筛选出公共语音源域数据集(帕金森公共语音数据集)中的最优结构表达信息(最优卷积核组
Figure BDA0003081820300000153
)，并将其结构信息迁移到帕金森目标数据集A，对目标集进行更精准表达，从而有效改善帕金森语音识别中存在的小样本学习问题；
2)构建帕金森语音深度样本空间，挖掘帕金森语音目标集的复杂结构信息，从而更有利于分类；
3)迁移适用于帕金森目标数据集A的最优结构表达并挖掘其复杂结构信息，从而提高最终的分类准确率，LOSO交叉验证下准确率高达99.5％，优于目前的最优方法(准确率97.5％)。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度稀疏迁移学习的帕金森语音分类方法，其特征在于，包括步骤：
S1：对帕金森公共语音数据集基于中间集的稀疏迁移学习方法生成最优卷积核组
Figure FDA0003081820290000011
S2：对帕金森目标数据集A采用聚类方法生成对应的深度样本空间dA＝[dA0,dA1,…,dAN]，其中dA0表示第0层的数据集即原始目标集A，dA1至dAN表示第1层至第N层的数据集；
S3：基于最优卷积核组
Figure FDA0003081820290000012
对深度样本空间dA进行卷积稀疏编码，并生成对应的深度特征映射空间dE＝[dE0,dE1,…,dEN]，dE0至dEN表示第0层至第N层的特征映射；
S4：将深度特征映射空间dE向量化扩展为dG，并按不同受试者编号将dG划分为第一训练集dGtrain和第一测试集dGtest；
S5：在第一训练集dGtrain上计算对应特征的权重向量
Figure FDA0003081820290000019
并根据权重大小筛选第一训练集dGtrain和第一测试集dGtest的特征，留下Q个最大权重所对应的特征构建第二训练集
Figure FDA0003081820290000013
与第二测试集
Figure FDA0003081820290000014
S6：采用第二训练集
Figure FDA0003081820290000015
训练分类模型，并预测得到第二测试集
Figure FDA0003081820290000016
第0层至第N层的预测标签向量L0,L1,…,LN，其中第n层的标签向量Ln＝[Ln1,Ln2,…,LnM]，即编号1至M的受试者在该层对应的分类标签分别为Ln1至LnM；
S7：对同一编号受试者进行投票操作，得到其二分类结果。
2.根据权利要求1所述的一种基于深度稀疏迁移学习的帕金森语音分类方法，其特征在于，所述步骤S1具体包括步骤：
S11：提取帕金森公共语音数据集S的多类型特征形成源域特征集
Figure FDA0003081820290000017
S12：基于源域特征集
Figure FDA0003081820290000018
利用卷积稀疏编码算法，随机初始化由K个卷积核组成的卷积核组
Figure FDA0003081820290000021
并重复训练得到R组卷积核
Figure FDA0003081820290000022
S13：构建中间特征集
Figure FDA0003081820290000023
并基于已训练好的R组卷积核中不同组
Figure FDA0003081820290000024
对中间特征集
Figure FDA0003081820290000025
进行卷积稀疏编码得到特征映射集B′，并计算得到R个不同的分类准确率，最后选择最高准确率对应的卷积核组作为最优卷积核组
Figure FDA0003081820290000026
3.根据权利要求2所述的一种基于深度稀疏迁移学习的帕金森语音分类方法，其特征在于，所述步骤S11具体包括步骤：
S111：对帕金森公共语音数据集
Figure FDA0003081820290000027
提取不同类型的特征，构建初始特征集
Figure FDA0003081820290000028
其中，L为帕金森公共语音数据集中语音段的个数，
Figure FDA0003081820290000029
为编号为l的语音段；特征列向量
Figure FDA00030818202900000210
ξf(·)为第f个特征提取函数，F为特征类型总数；
S112：以同一组的特征向量组成一个矩阵作为一个特征样本，对初始特征集Y中的特征向量进行分组，从而构造由G个特征样本组成的源域特征集
Figure FDA00030818202900000211
其中，第g个特征样本
Figure FDA00030818202900000212
是H0×F分块矩阵，
Figure FDA00030818202900000213
表示L除以G再取整，为一个特征样本包含的特征向量数。
4.根据权利要求3所述的一种基于深度稀疏迁移学习的帕金森语音分类方法，其特征在于，所述步骤S12中，卷积稀疏编码算法的目标式为：
Figure FDA00030818202900000214
其中，eg,k是H0×F特征映射矩阵，与对应的卷积核dk进行卷积运算逼近
Figure FDA00030818202900000215
符号*表示二维卷积运算，η是大于0的正则化因子。
5.根据权利要求4所述的一种基于深度稀疏迁移学习的帕金森语音分类方法，其特征在于，所述步骤S13中：
构建中间特征集
Figure FDA0003081820290000031
具体为：
S131：选取语音障碍相关数据集V作为中间集，采用与步骤S11完全相同的步骤，提取其中语音段的多类型特征组成特征向量，并构建中间特征集
Figure FDA0003081820290000032
其中，
Figure FDA0003081820290000033
表示中间特征集
Figure FDA0003081820290000034
中第b个特征样本，B表示对应特征样本的数量；
基于已训练好的R组卷积核中不同组
Figure FDA0003081820290000035
对中间特征集
Figure FDA0003081820290000036
进行卷积稀疏编码得到特征映射集B′，具体包括步骤：
S132：将步骤S12中卷积稀疏编码算法的目标式中的输入样本
Figure FDA0003081820290000037
替换为
Figure FDA0003081820290000038
构建目标式：
Figure FDA0003081820290000039
S133：根据步骤S132中的目标式，使用已训练好的卷积核组
Figure FDA00030818202900000310
进行训练，以优化特征映射eb,k；
S134：训练完成，对每个样本
Figure FDA00030818202900000311
可得到K个映射
Figure FDA00030818202900000312
选取第K′个映射作为其编码，从而构建所有样本映射的特征映射集
Figure FDA00030818202900000313
由于卷积核有R组，因此得到R个特征映射集
Figure FDA00030818202900000314
6.根据权利要求5所述的一种基于深度稀疏迁移学习的帕金森语音分类方法，其特征在于，所述步骤S2具体为：
基于帕金森目标数据集A由编号1至M受试者数据组成，即
Figure FDA00030818202900000315
其中每个受试者数据
Figure FDA00030818202900000316
都由H0个语音样本组成，即
Figure FDA00030818202900000317
对帕金森目标数据集A中每个受试者数据
Figure FDA00030818202900000318
进行k-means聚类，即指定不同的聚类样本数Hn将
Figure FDA00030818202900000319
聚类为
Figure FDA00030818202900000320
作为1至N层的数据，得到深度样本空间
Figure FDA00030818202900000321
其中第n层深度样本空间
Figure FDA00030818202900000322
7.根据权利要求6所述的一种基于深度稀疏迁移学习的帕金森语音分类方法，其特征在于：所述步骤S3采用与S13中对中间特征集
Figure FDA0003081820290000041
进行卷积稀疏编码得到特征映射集B′相同的步骤，基于最优卷积核组
Figure FDA0003081820290000042
对深度样本空间dA进行卷积稀疏编码，对每一深度样本
Figure FDA0003081820290000043
映射得到对应的深度特征映射
Figure FDA0003081820290000044
得到深度特征映射空间
Figure FDA0003081820290000045
8.根据权利要求7所述的一种基于深度稀疏迁移学习的帕金森语音分类方法，其特征在于，步骤S4具体包括步骤：
S41：将每个受试者的数据在第n层空间的映射即Hn×F块矩阵
Figure FDA0003081820290000046
向量化扩展为长度为Hn·F的一维向量
Figure FDA0003081820290000047
从而将深度特征映射空间
Figure FDA0003081820290000048
向量化扩展为
Figure FDA0003081820290000049
S42：将dG划分为第一训练集dGtrain和第一测试集dGtest即dG＝{dGtrain,dGtest}，其中第一训练集dGtrain包含N+1层样本空间{dGtrain(0),dGtrain(1),…,dGtrain(N)}，每层样本空间有M1名受试者，第一测试集dGtest包含N+1层样本空间{dGtest(0),dGtest(1),…,dGtest(N)}，每层样本空间有M2＝M-M1名受试者，具体表达如下：
Figure FDA0003081820290000051
Figure FDA0003081820290000052
9.根据权利要求8所述的一种基于深度稀疏迁移学习的帕金森语音分类方法，其特征在于，所述步骤S5具体包括步骤：
S51：使用relief算法计算
Figure FDA0003081820290000053
中特征列向量
Figure FDA0003081820290000054
所对应的权重向量
Figure FDA0003081820290000055
计算的过程为：
令特征列向量
Figure FDA0003081820290000056
中第j个特征列向量
Figure FDA0003081820290000057
根据下式计算
Figure FDA0003081820290000058
的权重值：
Figure FDA0003081820290000059
其中，Mc(γn,ij)是γn,ij的C个同类邻域样本中的一个，Hc(γn,ij)是γn,ij的C个异类邻域样本中的一个；
S52：根据权重大小筛选第一训练集dGtrain和第一测试集dGtest的特征，其中
Figure FDA00030818202900000510
分别留下Q个最大权重所对应的特征构建第二训练集
Figure FDA00030818202900000511
与第二测试集
Figure FDA00030818202900000512
第0至N层筛选的特征数分别为Q(0)，Q(1)，…，Q(N)，其中第n层筛选权重值最大的前Q(n)个特征表示为：
Figure FDA0003081820290000061
Figure FDA0003081820290000062
且index(n)是权重wn,i所对应特征向量的列标记。
10.根据权利要求9所述的一种基于深度稀疏迁移学习的帕金森语音分类方法，其特征在于，所述步骤S7具体为：
将属于帕金森和不属于帕金森的预测标签分别用数值1和数值0表示，根据编号为m的受试者的来自N+1层的N+1个预测标签L0m,L1m,…,LNm计算该受试者的投票预测标签
Figure FDA0003081820290000063
并根据
Figure FDA0003081820290000064
计算编号M1+1至M受试者的测试分类准确率，其中符号⊙为同或运算符，
Figure FDA0003081820290000065
为编号为m的受试者的固有标签。
CN202110568802.2A 2021-05-25 2021-05-25 一种基于深度稀疏迁移学习的帕金森语音分类方法 Active CN113284512B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110568802.2A CN113284512B (zh) 2021-05-25 2021-05-25 一种基于深度稀疏迁移学习的帕金森语音分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110568802.2A CN113284512B (zh) 2021-05-25 2021-05-25 一种基于深度稀疏迁移学习的帕金森语音分类方法

Publications (2)

Publication Number Publication Date
CN113284512A true CN113284512A (zh) 2021-08-20
CN113284512B CN113284512B (zh) 2022-05-27

Family

ID=77281203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110568802.2A Active CN113284512B (zh) 2021-05-25 2021-05-25 一种基于深度稀疏迁移学习的帕金森语音分类方法

Country Status (1)

Country Link
CN (1) CN113284512B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114373484A (zh) * 2022-03-22 2022-04-19 南京邮电大学 语音驱动的帕金森病多症状特征参数的小样本学习方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170319123A1 (en) * 2016-05-06 2017-11-09 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Using Mobile and Wearable Video Capture and Feedback Plat-Forms for Therapy of Mental Disorders
CN110852336A (zh) * 2018-08-20 2020-02-28 重庆工商职业学院 一种基于矢量空间的帕金森病数据集分类方法
CN110909801A (zh) * 2019-11-26 2020-03-24 山东师范大学 基于卷积神经网络的数据分类方法、系统、介质及设备
CN111354338A (zh) * 2020-02-26 2020-06-30 重庆大学 基于pso卷积核优化稀疏迁移学习的帕金森语音识别系统
EP3709224A1 (en) * 2017-10-30 2020-09-16 Shanghai Cambricon Information Technology Co., Ltd Information processing method and terminal device
CN112529063A (zh) * 2020-12-03 2021-03-19 重庆大学 一种适用于帕金森语音数据集的深度域适应分类方法
CN112820279A (zh) * 2021-03-12 2021-05-18 深圳市臻络科技有限公司 基于语音上下文动态特征的帕金森病检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170319123A1 (en) * 2016-05-06 2017-11-09 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Using Mobile and Wearable Video Capture and Feedback Plat-Forms for Therapy of Mental Disorders
EP3709224A1 (en) * 2017-10-30 2020-09-16 Shanghai Cambricon Information Technology Co., Ltd Information processing method and terminal device
CN110852336A (zh) * 2018-08-20 2020-02-28 重庆工商职业学院 一种基于矢量空间的帕金森病数据集分类方法
CN110909801A (zh) * 2019-11-26 2020-03-24 山东师范大学 基于卷积神经网络的数据分类方法、系统、介质及设备
CN111354338A (zh) * 2020-02-26 2020-06-30 重庆大学 基于pso卷积核优化稀疏迁移学习的帕金森语音识别系统
CN112529063A (zh) * 2020-12-03 2021-03-19 重庆大学 一种适用于帕金森语音数据集的深度域适应分类方法
CN112820279A (zh) * 2021-03-12 2021-05-18 深圳市臻络科技有限公司 基于语音上下文动态特征的帕金森病检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XIAOHENG ZHANG: "ClassificationAlgorithm of Speech Data of Parkinson’s Disease Based on Convolution Sparse Kernel Transfer Learning with Optimal Kernel and Parallel Sample/Feature Selection", 《ARXIV》 *
YONGMING LI: "Insight into an unsupervised two-step sparse transfer learning algorithm for speech diagnosis of Parkinson’s disease", 《NEURAL COMPUTING AND APPLICATIONS》 *
张小恒: "基于语音卷积稀疏迁移学习和并行优选的帕金森病分类算法研究", 《电子与信息学报》 *
李哲: "基于EEMD的帕金森病患者步态特征量化分级方法研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114373484A (zh) * 2022-03-22 2022-04-19 南京邮电大学 语音驱动的帕金森病多症状特征参数的小样本学习方法

Also Published As

Publication number Publication date
CN113284512B (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
Karim et al. Deep learning-based clustering approaches for bioinformatics
Shravya et al. Prediction of breast cancer using supervised machine learning techniques
Yao et al. A comprehensive survey on convolutional neural network in medical image analysis
Hariharan et al. A new hybrid intelligent system for accurate detection of Parkinson's disease
JP2022538866A (ja) 画像前処理のためのシステム及び方法
Bhise et al. Breast cancer detection using machine learning techniques
Venmathi et al. An automatic brain tumors detection and classification using deep convolutional neural network with VGG-19
Nasser et al. Diagnosis of osteoporosis disease from bone X-ray images with stacked sparse autoencoder and SVM classifier
Saravanakumar et al. A computer aided diagnosis system for identifying Alzheimer’s from MRI scan using improved Adaboost
CN115985503B (zh) 基于集成学习的癌症预测系统
Al Zorgani et al. Comparative study of image classification using machine learning algorithms
CN113284512B (zh) 一种基于深度稀疏迁移学习的帕金森语音分类方法
Rao et al. Content-based medical image retrieval using a novel hybrid scattering coefficients-bag of visual words-DWT relevance fusion
Kumar et al. Classification of COVID-19 X-ray images using transfer learning with visual geometrical groups and novel sequential convolutional neural networks
Divyavani et al. An analysis on SVM & ANN using breast cancer dataset
Qin et al. Two-stage feature selection for classification of gene expression data based on an improved Salp Swarm Algorithm
Sujatha et al. Comparative study on dimensionality reduction for disease diagnosis using fuzzy classifier
CN116228759B (zh) 肾细胞癌类型的计算机辅助诊断系统及设备
Manoj et al. Automated brain tumor malignancy detection via 3D MRI using adaptive-3-D U-Net and heuristic-based deep neural network
Pati et al. IABCP: An integrated approach for breast cancer prediction
Anai et al. Effect of Genetic Algorithm as a Feature Selection for Image Classification
Kharrat et al. Brain tumour diagnostic segmentation based on optimal texture features and support vector machine classifier
CN115036034A (zh) 一种基于患者表征图的相似患者识别方法及系统
Jinan et al. Bulldog breed classification using vgg-19 and ensemble learning
Gille et al. Semi-supervised classification using a supervised autoencoder for biomedical applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant