CN114357237B - 一种心电信号与音乐信号匹配方法、系统、装置和介质 - Google Patents

一种心电信号与音乐信号匹配方法、系统、装置和介质 Download PDF

Info

Publication number
CN114357237B
CN114357237B CN202210262392.3A CN202210262392A CN114357237B CN 114357237 B CN114357237 B CN 114357237B CN 202210262392 A CN202210262392 A CN 202210262392A CN 114357237 B CN114357237 B CN 114357237B
Authority
CN
China
Prior art keywords
music
electrocardio
similarity
prediction model
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210262392.3A
Other languages
English (en)
Other versions
CN114357237A (zh
Inventor
韩玉虎
耿世佳
洪申达
周荣博
俞杰
鄂雁祺
傅兆吉
田城恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Xinzhisheng Health Technology Co ltd
Original Assignee
Hefei Xinzhisheng Health Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Xinzhisheng Health Technology Co ltd filed Critical Hefei Xinzhisheng Health Technology Co ltd
Priority to CN202210262392.3A priority Critical patent/CN114357237B/zh
Publication of CN114357237A publication Critical patent/CN114357237A/zh
Application granted granted Critical
Publication of CN114357237B publication Critical patent/CN114357237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种心电信号与音乐信号匹配方法、系统、装置和介质，其方法包括：对心电信号样本和音乐信号样本分别进行预处理，获得心电信号样本数据和音乐信号样本数据；对所述心电信号样本数据和所述音乐信号样本数据分别进行特征向量提取，得到心电特征向量和音乐特征向量；根据所述心电情绪信息、所述音乐情绪信息、所述相似度对所述相似性预测模型进行优化训练获得目标相似性预测模型；获取待匹配心电信号和音乐信号，基于所述目标相似性预测模型获得相似度。本发明以两种信号中包含的情绪信息为纽带，解决了心电信号与音乐之间的语义差距造成的难以量化二者关系的问题。

Description

一种心电信号与音乐信号匹配方法、系统、装置和介质
技术领域
本发明涉及信号处理技术领域，尤其涉及一种心电信号与音乐信号匹配方法、系统、装置和介质。
背景技术
ECG（electrocardiogram，心电图）信号是记录周期性和有节律性心肌活动的生理电信号，音乐信号是人类产生的具有旋律性和声的创造性声音信号。心电与音乐两种类型的信号具有非常不同的语义。人体心电信号是非常微弱的生理低频电信号，通常最大的幅值不超过5mV，信号频率在0.05～100Hz之间，而音乐信号的频率一般在300～3400Hz之间。相比于音乐信号，心电信号更加微弱、低频、存在干扰噪声。当前，通过量化心电信号和音乐信号之间的关系存在广泛的应用，例如个性化音乐推荐、音乐创作和音乐数字疗法等应用场景，但是，目前很少有研究去探索心电信号与音乐之间的直接匹配任务。究其原因是，因为心电信号和音乐信号两者之间的语言差距问题，造成两者很难进行直接的量化和比较。为此，如何解决心电信号和音乐信号的比较和量化，从而在基于生理特征的应用场景下实现两者的匹配，已经成为本领域亟待解决的技术问题。
发明内容
为解决背景技术中存在的技术问题，本发明提出一种心电信号与音乐信号匹配方法、系统及装置，以两种信号中包含的情绪信息为纽带，解决了心电信号与音乐之间的语义差距造成的难以量化二者关系的问题。
本发明提出一种心电信号与音乐信号匹配方法，包括：
对心电信号样本和音乐信号样本分别进行预处理，获得心电信号样本数据和音乐信号样本数据；
对所述心电信号样本数据和所述音乐信号样本数据分别进行特征向量提取，得到心电特征向量和音乐特征向量；
根据心电信号情绪预测模型和音乐信号情绪预测模型，分别以所述心电特征向量和所述音乐特征向量作为输入，获得心电情绪信息和音乐情绪信息；
根据相似性预测模型，将所述心电特征向量与所述音乐特征向量进行串联作为输入，通过相似性检测得到两者相似度；
根据所述心电情绪信息、所述音乐情绪信息、所述相似度对所述相似性预测模型进行优化训练获得目标相似性预测模型；
获取待匹配的心电信号和音乐信号，基于所述目标相似性预测模型，获得所述心电信号和所述音乐信号匹配的相似度。
其中，对心电信号样本和音乐信号样本分别进行预处理，包括：
对所述心电信号样本进行高通滤波处理和z-score标准化处理；
对所述音乐信号样本进行音乐特征提取，所述音乐特征包括梅尔频率倒谱系数MFCC特征、响度特征、频谱特征。
其中，对所述心电信号样本数据和所述音乐信号样本数据分别进行特征向量提取，包括：
对所述心电信号样本数据中提取包含情绪信息的特征向量数据，通过池化操作获得心电特征向量；
对所述音乐信号样本数据中提取包含情绪信息的特征向量数据，通过池化操作获得音乐特征向量。
其中，所述心电情绪信息包括心电唤醒信息和心电价态信息，所述音乐情绪信息包括音乐唤醒信息和音乐价态信息。
其中，根据所述心电情绪信息、所述音乐情绪信息和所述相似度对所述相似性预测模型进行优化训练获得目标相似性预测模型，包括：
根据所述心电情绪信息，确定所述心电信号情绪预测模型的心电均方误差
Figure 635616DEST_PATH_IMAGE001
，其中，
Figure 552757DEST_PATH_IMAGE002
表示所述心电情绪信息中唤醒信息和价态信息组成的坐标，
Figure 270177DEST_PATH_IMAGE003
表示对心电特征向量标注的唤醒信息和价态信息组成的坐标，n表示数据量；
根据所述音乐情绪信息，确定所述音乐信号情绪预测模型的音乐均方误差
Figure 665386DEST_PATH_IMAGE004
，其中，
Figure 666709DEST_PATH_IMAGE005
表示所述音乐情绪信息中唤醒信息和价态信息组成的坐标，
Figure 489172DEST_PATH_IMAGE006
表示对音乐特征向量标注的唤醒信息和价态信息组成的坐标，n表示数据量；
根据所述相似度，确定所述相似性预测模型的相似度均方误差
Figure 693888DEST_PATH_IMAGE007
；其中，
Figure 79739DEST_PATH_IMAGE008
表示所述相似性预测模型预测的相似度，
Figure 748618DEST_PATH_IMAGE009
表示对音乐特征向量和心电特征向量标注的相似度，n表示数据量；
通过梯度下降法对所述心电均方误差
Figure 679665DEST_PATH_IMAGE010
、所述音乐均方误差
Figure 433994DEST_PATH_IMAGE011
和相似度均方误差
Figure 360886DEST_PATH_IMAGE012
的和进行优化，调整模型参数，获得目标相似性预测模型。
本发明提出一种心电信号与音乐信号匹配系统，包括：
信号处理模块，用于对心电信号样本和音乐信号样本分别进行预处理，获得心电信号样本数据和音乐信号样本数据；
特征提取模块，用于对所述心电信号样本数据和所述音乐信号样本数据分别进行特征向量提取，得到心电特征向量和音乐特征向量；
情绪预测模块，用于根据心电信号情绪预测模型和音乐信号情绪预测模型，分别以所述心电特征向量和所述音乐特征向量作为输入，获得心电情绪信息和音乐情绪信息；
相似预测模块，用于根据相似性预测模型，将所述心电特征向量与所述音乐特征向量进行串联作为输入，通过相似性检测得到两者相似度；
训练优化模块，用于根据所述心电情绪信息、所述音乐情绪信息、所述相似度对所述相似性预测模型进行优化训练获得目标相似性预测模型；
匹配模块，用于获取待匹配的心电信号和音乐信号，基于所述目标相似性预测模型，获得所述心电信号和所述音乐信号匹配的相似度。
本发明提出一种心电信号与音乐信号匹配装置，包括：存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，所述程序指令被处理器加载并执行时实现上述的方法。
本发明还提出一种计算机存储介质，所述存储介质包括存储的程序，处理器执行所述程序以实现上述的方法。
在本发明中，通过构建深度学习模型来学习心电信号和音乐信号所包含的情绪信息，以心电信号和音乐信号中包含的情绪信息为纽带，使心电信号和音乐信号可比较，解决了心电信号与音乐之间的语义差距造成的难以量化二者关系的问题。基于解决了此问题，心电信号与音乐信号的匹配可以用于许多领域，如基于生理特征的个性化音乐推荐、音乐创作和音乐数字疗法等。在不同的技术领域根据不同的技术问题将采用不同的匹配方法，比如，用于音乐推荐时会根据心电情绪推荐相似度高的音乐，用于音乐理疗时会根据心电情绪播放情绪相反的音乐，等等。
附图说明
图1为本发明实施例提出一种心电信号与音乐信号匹配系统结构图；
图2为本发明实施例提出一种心电信号与音乐信号匹配方法的流程示意图。
具体实施方式
本发明实施例的一种心电信号与音乐信号匹配的技术解决方案，通过建立深度学习模型，用于评估心电信号和音乐信号之间的情感信息的相似性。参照图1，该深度学习模型包括两个分支：音乐分支和ECG分支。每个分支具体由以下几个部分组成：特征提取模块、价态-唤醒预测器、相似性预测器。其中价态-唤醒是常用的情绪模型，可以用价态-唤醒数值来衡量情绪。价态表示愉快和不愉快（即积极和消极）的程度，唤醒表示代表兴奋和平静的程度。
本发明中基于情绪的心电信号和音乐信号的匹配深度学习算法，包括：对心电信号样本以及音乐信号样本进行预处理；将执行预处理之后的心电-音乐数据对，输入到各自分支的特征提取模块中，特征提取模块输出二者的特征向量数据，二者的特征向量具有相同的维度与形状；将二者的特征向量数据分别输入各自的价态-唤醒预测器，得到二者的情绪信息；再将二者的特征向量进行串联，然后输入到相似性预测器中，得到二者的相似度。
下面我们通过具体实施例对本发明的匹配方法、系统和装置进行详细说明。
如图2所示，图2为本发明实施例一种心电信号与音乐信号匹配方法的流程示意图。
参照图2，本发明实施例提出的一种心电信号与音乐信号匹配方法，包括如下步骤S1-S6。
S1：对心电信号样本和音乐信号样本进行预处理，获得心电信号样本数据和音乐信号样本数据。
在本实施例中，对心电信号样本进行高通滤波和Z-score标准化处理，获得心电信号样本数据；对音乐信号样本进行音乐特征提取，包括提取音乐信号样本的MFCC（Mel-scale Frequency Cepstral Coefficients，梅尔频率倒谱系数）特征、响度特征、频谱特征，获得音乐信号样本数据。这样，通过预处理操作，获得心电-音乐数据对。
参照图1，对心电信号样本的预处理包括高通滤波以及Z-score标准化。心电信号是通过安装在人体皮肤表面的电极来拾取的。人体呼吸或者移动会造成心电信号的基线漂移，使用高通滤波器可以过滤掉心电信号中的低频噪声，最终得到了1×2560矩阵形状的数据。对音乐信号样本的预处理包括用OpenSmile提取音乐的MFCC、响度、频谱等特征，最终得到了88×260矩阵形状的数据；需要说明的是，矩阵形状可依据信号的特征等因素设定。
S2：对心电信号样本数据和音乐信号样本数据分别进行特征向量提取，得到心电特征向量和音乐特征向量。
具体的，可以通过编码器分别对心电-音乐数据对进行特征向量提取，提取心电信号样本数据和音乐信号样本数据中包含情绪信息的特征向量数据，再通过池化操作获得心电特征向量和音乐特征向量。这样，通过特征向量处理操作得到心电-音乐特征向量对。
参照图1，在本实施例中，对心电样本数据和音乐样本数据分别使用两个深度学习网络编码器进行特征向量的提取。这两个深度学习网络编码器相互独立，不共享参数。然后再进行池化操作，得到矩阵形状相同的心电特征向量以及音乐特征向量。在本实施例获得的矩阵形状是1×1024。需要说明的是，深度学习网络编码器可以很好的提取数据的特征，提取到的带有情绪信息的特征对情感识别具有显著的效果。例如，可以选择ResNet50-1d（50-layer one-dimensional residual connected deep neural network , 50层一维深度残差网络）编码器。
在本实施例中，情绪信息包括唤醒信息和价态信息。其中，价态表示愉快和不愉快（即积极和消极）的程度，唤醒表示代表兴奋和平静的程度。
S3：根据心电信号情绪预测模型和音乐信号情绪预测模型，分别以心电特征向量和所述音乐特征向量作为输入，获得心电情绪信息和音乐情绪信息。
参照图1，在本实施例中，心电信号情绪预测模型和音乐信号情绪预测模型，具体采用价态-唤醒预测器执行，价态-唤醒预测器由两层全连接神经网络FC（Fullconnection，全连接网络）构成。将心电-音乐特征向量对分别输入到相应的价态-唤醒预测器中，最终输出心电和音乐的价态唤醒值，即得到心电情绪信息和音乐情绪信息。
S4：根据相似性预测模型，将心电特征向量与音乐特征向量进行串联作为输入，通过相似性检测得到两者相似度。
参照图1，在本实施例中，相似性预测模型采用相似性预测器执行，相似性预测器由两层全连接神经网络FC构成。将心电-音乐特征向量对进行串联，然后输入到相似性预测模型中得到二者的相似度，根据相似度判断二者是否匹配。
S5：根据心电情绪信息、音乐情绪信息、相似度对相似性预测模型进行优化训练获得目标相似性预测模型。
在本实施例中，通过得到的心电情绪信息、音乐情绪信息和相似度，可以计算各个预测模型输出的均方误差，具体如下：
根据心电情绪信息，确定心电信号情绪预测模型的心电均方误差
Figure 884272DEST_PATH_IMAGE010
；
Figure 251799DEST_PATH_IMAGE001
，
其中，
Figure 493424DEST_PATH_IMAGE002
表示所述心电情绪信息中唤醒度信息和价态信息组成的坐标，
Figure 955499DEST_PATH_IMAGE003
表示对心电特征向量标注的唤醒度信息和价态信息组成的坐标，n表示数据量；
根据音乐情绪信息，确定音乐信号情绪预测模型的音乐均方误差
Figure 598970DEST_PATH_IMAGE011
；
Figure 871819DEST_PATH_IMAGE004
，
其中，
Figure 600741DEST_PATH_IMAGE005
表示所述音乐情绪信息中唤醒度信息和价态信息组成的坐标，
Figure 866506DEST_PATH_IMAGE006
表示对音乐特征向量标注的唤醒度信息和价态信息组成的坐标，n表示数据量；
根据相似度，确定相似性预测模型的相似度均方误差
Figure 364483DEST_PATH_IMAGE012
；
Figure 73813DEST_PATH_IMAGE007
；
其中，
Figure 24452DEST_PATH_IMAGE008
表示所述相似性预测模型预测的相似度，
Figure 93908DEST_PATH_IMAGE009
表示对音乐特征向量和心电特征向量标注的相似度，n表示数据量；
通过梯度下降算法，最小化心电均方误差
Figure 446392DEST_PATH_IMAGE010
、音乐均方误差
Figure 326623DEST_PATH_IMAGE011
和相似度均方误差
Figure 764558DEST_PATH_IMAGE012
的和
Figure 375055DEST_PATH_IMAGE013
，其中，
Figure 847625DEST_PATH_IMAGE014
；
在训练过程中最优化模型参数θ；
Figure 898757DEST_PATH_IMAGE015
；
其中，
Figure 823988DEST_PATH_IMAGE016
是此轮迭代的模型参数，
Figure 235247DEST_PATH_IMAGE017
是上一轮迭代的模型参数。
不断重复上述两个公式，直到
Figure 296744DEST_PATH_IMAGE018
，此时心电均方误差
Figure 518777DEST_PATH_IMAGE010
、音乐均方误差
Figure 931304DEST_PATH_IMAGE011
和相似度均方误差
Figure 146254DEST_PATH_IMAGE012
的和
Figure 327836DEST_PATH_IMAGE013
达到最小值，即模型预测误差最小，效果最优。
通过上述训练优化操作，从而获得目标相似性预测模型。
S6：获取待匹配的心电信号和音乐信号，基于目标相似性预测模型，获得心电信号和音乐信号匹配的相似度。
在本发明中，通过构建深度学习模型来学习心电信号和音乐信号所包含的情绪信息，以心电信号和音乐信号中包含的情绪信息为纽带，使心电信号和音乐信号可比较，解决了心电信号与音乐之间的语义差距造成的难以量化二者关系的问题。基于解决了这个问题，心电信号与音乐信号的匹配可以用于许多领域，如基于生理特征的个性化音乐推荐、音乐创作和音乐数字疗法等。
在不同的技术领域根据不同的技术问题将采用不同的匹配方法，比如，用于音乐推荐时会根据心电情绪推荐相似度高的音乐，用于音乐理疗时会根据心电情绪播放情绪相反的音乐，等等。
本发明实施例还提出一种心电信号与音乐信号匹配系统，包括：
信号处理模块，用于对心电信号样本和音乐信号样本分别进行预处理，获得心电信号样本数据和音乐信号样本数据；
特征提取模块，用于对心电信号样本数据和音乐信号样本数据分别进行特征向量提取，得到心电特征向量和音乐特征向量；
情绪预测模块，用于根据心电信号情绪预测模型和音乐信号情绪预测模型，分别以心电特征向量和音乐特征向量作为输入，获得心电情绪信息和音乐情绪信息；
相似预测模块，用于根据相似性预测模型，将心电特征向量与音乐特征向量进行串联作为输入，通过相似性检测得到两者相似度；
训练优化模块，用于根据心电情绪信息、音乐情绪信息、相似度对相似性预测模型进行优化训练获得目标相似性预测模型；
匹配模块，用于获取待匹配的心电信号和音乐信号，基于目标相似性预测模型，获得心电信号和音乐信号匹配的相似度。
本发明实施例还提出一种心电信号与音乐信号匹配装置，包括：存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，所述程序指令被处理器加载并执行时实现上述的方法。
本发明实施例还提出一种计算机存储介质，所述存储介质包括存储的程序，处理器执行所述程序以实现上述的方法。
本发明实施例以两种信号中包含的情绪信息为纽带，解决了心电信号与音乐之间的语义差距造成的难以量化二者关系的问题，可以应用于许多领域，如基于生理特征的个性化音乐推荐、音乐创作和音乐数字疗法等。
需要说明的是，上述实施例中程序可以是一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种心电信号与音乐信号匹配方法，其特征在于，包括：
对心电信号样本和音乐信号样本分别进行预处理，获得心电信号样本数据和音乐信号样本数据；
对所述心电信号样本数据和所述音乐信号样本数据分别进行特征向量提取，得到心电特征向量和音乐特征向量；
根据心电信号情绪预测模型和音乐信号情绪预测模型，分别以所述心电特征向量和所述音乐特征向量作为输入，获得心电情绪信息和音乐情绪信息；
根据相似性预测模型，将所述心电特征向量与所述音乐特征向量进行串联作为输入，通过相似性检测得到两者相似度；
根据所述心电情绪信息、所述音乐情绪信息、所述相似度对所述相似性预测模型进行优化训练获得目标相似性预测模型；
获取待匹配的心电信号和音乐信号，基于所述目标相似性预测模型，获得所述心电信号和所述音乐信号匹配的相似度。
2.根据权利要求1所述的心电信号与音乐信号匹配方法，其特征在于，对心电信号样本和音乐信号样本分别进行预处理，包括：
对所述心电信号样本进行高通滤波处理和z-score标准化处理；
对所述音乐信号样本进行音乐特征提取，所述音乐特征包括梅尔频率倒谱系数MFCC特征、响度特征、频谱特征。
3.根据权利要求1所述的心电信号与音乐信号匹配方法，其特征在于，对所述心电信号样本数据和所述音乐信号样本数据分别进行特征向量提取，包括：
对所述心电信号样本数据中提取包含情绪信息的特征向量数据，通过池化操作获得心电特征向量；
对所述音乐信号样本数据中提取包含情绪信息的特征向量数据，通过池化操作获得音乐特征向量。
4.根据权利要求1所述的心电信号与音乐信号匹配方法，其特征在于，所述心电情绪信息包括心电唤醒信息和心电价态信息，所述音乐情绪信息包括音乐唤醒信息和音乐价态信息。
5.根据权利要求4所述的心电信号与音乐信号匹配方法，其特征在于，根据所述心电情绪信息、所述音乐情绪信息和所述相似度对所述相似性预测模型进行优化训练获得目标相似性预测模型，包括：
根据所述心电情绪信息，确定所述心电信号情绪预测模型的心电均方误差
Figure 807243DEST_PATH_IMAGE001
，其中，
Figure 238225DEST_PATH_IMAGE002
表示所述心电情绪信息中唤醒信息和价态信息组成的坐标，
Figure 460127DEST_PATH_IMAGE003
表示对心电特征向量标注的唤醒信息和价态信息组成的坐标，n表示数据量；
根据所述音乐情绪信息，确定所述音乐信号情绪预测模型的音乐均方误差
Figure 292954DEST_PATH_IMAGE004
，其中，
Figure 60053DEST_PATH_IMAGE005
表示所述音乐情绪信息中唤醒信息和价态信息组成的坐标，
Figure 181593DEST_PATH_IMAGE006
表示对音乐特征向量标注的唤醒信息和价态信息组成的坐标，n表示数据量；
根据所述相似度，确定所述相似性预测模型的相似度均方误差
Figure 82553DEST_PATH_IMAGE007
；其中，
Figure 130405DEST_PATH_IMAGE008
表示所述相似性预测模型预测的相似度，
Figure 458619DEST_PATH_IMAGE009
表示对音乐特征向量和心电特征向量标注的相似度，n表示数据量；
通过梯度下降法，对所述心电均方误差
Figure 739558DEST_PATH_IMAGE010
、所述音乐均方误差
Figure 444209DEST_PATH_IMAGE011
和相似度均方误差
Figure 110683DEST_PATH_IMAGE012
的和进行优化，调整模型参数，获得目标相似性预测模型。
6.一种心电信号与音乐信号匹配系统，其特征在于，包括：
信号处理模块，用于对心电信号样本和音乐信号样本分别进行预处理，获得心电信号样本数据和音乐信号样本数据；
特征提取模块，用于对所述心电信号样本数据和所述音乐信号样本数据分别进行特征向量提取，得到心电特征向量和音乐特征向量；
情绪预测模块，用于根据心电信号情绪预测模型和音乐信号情绪预测模型，分别以所述心电特征向量和所述音乐特征向量作为输入，获得心电情绪信息和音乐情绪信息；
相似预测模块，用于根据相似性预测模型，将所述心电特征向量与所述音乐特征向量进行串联作为输入，通过相似性检测得到两者相似度；
训练优化模块，用于根据所述心电情绪信息、所述音乐情绪信息、所述相似度对所述相似性预测模型进行优化训练获得目标相似性预测模型；
匹配模块，用于获取待匹配的心电信号和音乐信号，基于所述目标相似性预测模型，获得所述心电信号和所述音乐信号匹配的相似度。
7.一种心电信号与音乐信号匹配装置，其特征在于，包括：存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，所述程序指令被处理器加载并执行时实现权利要求1至5任意一项所述的方法。
8.一种计算机存储介质，所述存储介质包括存储的程序，其特征在于，处理器执行所述程序以实现权利要求1至5任意一项所述的方法。
CN202210262392.3A 2022-03-17 2022-03-17 一种心电信号与音乐信号匹配方法、系统、装置和介质 Active CN114357237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210262392.3A CN114357237B (zh) 2022-03-17 2022-03-17 一种心电信号与音乐信号匹配方法、系统、装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210262392.3A CN114357237B (zh) 2022-03-17 2022-03-17 一种心电信号与音乐信号匹配方法、系统、装置和介质

Publications (2)

Publication Number Publication Date
CN114357237A CN114357237A (zh) 2022-04-15
CN114357237B true CN114357237B (zh) 2022-05-20

Family

ID=81094453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210262392.3A Active CN114357237B (zh) 2022-03-17 2022-03-17 一种心电信号与音乐信号匹配方法、系统、装置和介质

Country Status (1)

Country Link
CN (1) CN114357237B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114582463A (zh) * 2022-05-05 2022-06-03 成都尚医信息科技有限公司 一种基于机器学习的个性化运动指导系统及方法
CN115227259A (zh) * 2022-06-14 2022-10-25 浙江好络维医疗技术有限公司 一种基于深层相似性的干预效果分析方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123355A (zh) * 2014-07-17 2014-10-29 深圳市明康迈软件有限公司 一种音乐推荐方法及系统
JP2016106689A (ja) * 2014-12-03 2016-06-20 日本電信電話株式会社 感情情報推定装置、感情情報推定方法及び感情情報推定プログラム
CN108446635A (zh) * 2018-03-19 2018-08-24 西北大学 一种利用脑电信号辅助偏好获取协同过滤推荐系统及方法
CN113241096A (zh) * 2021-07-09 2021-08-10 明品云(北京)数据科技有限公司 一种情绪监测装置及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11232466B2 (en) * 2015-01-29 2022-01-25 Affectomatics Ltd. Recommendation for experiences based on measurements of affective response that are backed by assurances
US20210259560A1 (en) * 2020-02-26 2021-08-26 Eko Devices, Inc. Methods and systems for determining a physiological or biological state or condition of a subject

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123355A (zh) * 2014-07-17 2014-10-29 深圳市明康迈软件有限公司 一种音乐推荐方法及系统
JP2016106689A (ja) * 2014-12-03 2016-06-20 日本電信電話株式会社 感情情報推定装置、感情情報推定方法及び感情情報推定プログラム
CN108446635A (zh) * 2018-03-19 2018-08-24 西北大学 一种利用脑电信号辅助偏好获取协同过滤推荐系统及方法
CN113241096A (zh) * 2021-07-09 2021-08-10 明品云(北京)数据科技有限公司 一种情绪监测装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Machine learning model for mapping of music mood and human emotion based on physiological signals;Anupam Garg等;《Multimedia Tools and Applications》;20220108;全文 *

Also Published As

Publication number Publication date
CN114357237A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
Li et al. Feature extraction and classification of heart sound using 1D convolutional neural networks
Singh et al. A new ECG denoising framework using generative adversarial network
CN114357237B (zh) 一种心电信号与音乐信号匹配方法、系统、装置和介质
Das et al. A spatio-temporal model for EEG-based person identification
CN110619322A (zh) 一种基于多流态卷积循环神经网络的多导联心电异常信号识别方法及系统
Wang et al. An ECG signal denoising method using conditional generative adversarial net
Deperlioglu Heart sound classification with signal instant energy and stacked autoencoder network
Mohammed et al. A multi-agent feature selection and hybrid classification model for Parkinson's disease diagnosis
CN109871831B (zh) 一种情感识别方法及系统
Mini et al. EEG based direct speech BCI system using a fusion of SMRT and MFCC/LPCC features with ANN classifier
Hussain et al. A radial base neural network approach for emotion recognition in human speech
CN111920420A (zh) 一种基于统计学习的患者行为多模态分析与预测系统
Liang et al. Obstructive sleep apnea detection using combination of CNN and LSTM techniques
Yao et al. Interpretation of electrocardiogram heartbeat by CNN and GRU
Pandey et al. A multistage deep residual network for biomedical cyber-physical systems
CN113180679A (zh) 一种单导联心电异常信号识别方法
Ozseven Infant cry classification by using different deep neural network models and hand-crafted features
CN116712056A (zh) 心电图数据的特征图像生成与识别方法、设备及存储介质
Mustafa et al. Detection of heartbeat sounds arrhythmia using automatic spectral methods and cardiac auscultatory
Wang et al. A Parkinson's Auxiliary Diagnosis Algorithm Based on a Hyperparameter Optimization Method of Deep Learning
CN114091529A (zh) 一种基于生成对抗网络数据增强的脑电情感识别方法
Priyasad et al. Detecting heart failure through voice analysis using self-supervised mode-based memory fusion
Boussaa et al. Comparison of MFCC and DWT features extractors applied to PCG classification
Meng et al. Biosignal Classification Based on Multi-Feature Multi-Dimensional WaveNet-LSTM Models.
Mitrokhin et al. Deep learning approach for QRS wave detection in ECG monitoring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant