CN115445050B - 一种基于双向闭环脑机音乐接口的身心状态调节系统 - Google Patents

一种基于双向闭环脑机音乐接口的身心状态调节系统 Download PDF

Info

Publication number
CN115445050B
CN115445050B CN202211052721.8A CN202211052721A CN115445050B CN 115445050 B CN115445050 B CN 115445050B CN 202211052721 A CN202211052721 A CN 202211052721A CN 115445050 B CN115445050 B CN 115445050B
Authority
CN
China
Prior art keywords
state
music
micro
physical
brain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211052721.8A
Other languages
English (en)
Other versions
CN115445050A (zh
Inventor
崔兴然
万旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202211052721.8A priority Critical patent/CN115445050B/zh
Publication of CN115445050A publication Critical patent/CN115445050A/zh
Application granted granted Critical
Publication of CN115445050B publication Critical patent/CN115445050B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/38—Acoustic or auditory stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6804—Garments; Clothes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Physiology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Anesthesiology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Developmental Disabilities (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pain & Pain Management (AREA)
  • Hematology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Pulmonology (AREA)

Abstract

本发明公开了一种基于双向闭环脑机音乐接口的身心状态调节系统，包括生理信号采集模块、身心状态评估模块、AI音乐生成模块、实时显示和交互模块、健康状态模板离线训练模块和AI音乐生成模型离线训练模块；所述身心状态评估模块计算使用者当前身心状态与健康身心状态之间的差异与距离，其中包括一种衡量当前大脑微状态与健康微状态相异度的脑电微状态信息相似度分析算法；AI音乐生成模块用于实现多模态神经生理反馈和自适应音乐生成，其中包括一种基于强化学习的音乐生成模型。本发明将音乐干预与身心状态调节相结合，基于多模态生理信息解码和强化学习实现双向闭环的脑机音乐接口系统，最终达到使使用者身心状态向更接近健康的方向调节。

Description

一种基于双向闭环脑机音乐接口的身心状态调节系统
技术领域
本发明属于脑机接口、音乐调理技术领域，特别涉及一种基于双向闭环脑机音乐接口的身心状态调节系统。
背景技术
随着经济社会高速发展和COVID-19大流行，带来的高强度、高压力的社会环境，压力、焦虑、负性情绪、睡眠障碍和自主神经功能失调等已成为当代人民普遍存在的身心健康问题，这些症状可能极大的增加了抑郁症、焦虑症和各种慢性疾病的患病风险。药物调节、经颅电磁刺激调节也往往是对疾病阶段进行治疗和干预，其价格昂贵、操作复杂、疗效个体差异大，且需要专业医生参与，不符合当前我国国情、医疗资源及人均收入水平。因此迫切需要一种对身心状态进行便捷、低成本、无副作用、个性化干预的手段。
音乐可以激活并调制一系列脑区的功能及脑边缘结构系统，能够参与听觉处理、认知功能、运动能力和情感功能，促进神经重塑。音乐治疗已经被纳入国家医疗行业标准，是非药物干预的重要手段。音乐治疗需要有专业资格的音乐治疗师对患者进行治疗，而目前音乐治疗师的稀缺导致音乐干预这一重要手段没有被广泛地、有效地使用。由于音乐效果存在明显的个体化差异，个性化的音乐干预极具应用前景。
将音乐和神经信息工程结合，建立脑电信号与音乐特征的映射关系，生成个性化的、依赖于个人大脑电信号特性的音乐，实现个性化音乐干预。这一过程目前仍面临着挑战，缺乏精确的神经特征参数和音乐参数的映射模型，且要让生成的音乐美妙动听仍需要考虑更多的参与音乐体验的多模态因素。
人工智能技术正广泛应用于音乐创作，通过对大数据的学习训练后，对大量的音乐数据分析后形成对音乐旋律、节奏、音高、音强等音乐参数的理解，模型可以自动创作出类似于人工的曲子，但目前仍需要大量的样本进行训练，缺乏人体的生理信号参与反馈调节，从而无法形成个性化的音乐干预。
大脑的动态变化假设为由多种微状态不规则交替出现的过程，身心状态异常人群存在情绪、认知甚至是大脑结构的异常，这意味着其将表现出异于健康人的微状态交替出现模式。
发明内容
发明目的：为了解决上述背景技术中提到的技术问题，本发明提出了一种基于双向闭环脑机音乐接口的身心状态调节系统，以神经生理信号解码和AI技术为基础实现大脑神经系统和音乐调节交互的双向闭环脑机交互系统，从而实现个性化的音乐干预，使得使用者的身心状态向更接近健康的方向发展。
技术方案：本发明提供一种基于双向闭环脑机音乐接口的身心状态调节系统，包括生理信号采集模块、身心状态评估模块、AI音乐生成模块、实时交互和存储模块、健康状态模板离线训练模块和AI音乐生成模型离线训练模块；
所述生理信号采集模块实时采集使用者聆听音乐过程中的多模态生理信号并实时传输至身心状态评估模块用于数据分析；
所述身心状态评估模块对多模态生理信号进行预处理、信号质量评估和特征信息解码，并采用脑电微状态信息相似度分析算法，用于衡量当前的大脑微状态与健康微状态的相异度；
所述AI音乐生成模块包括条件生成对抗网络CGAN和双向长短时记忆网络LSTM，以多模态生理信号指标作为反馈，采用一种基于强化学习的音乐模型实现多模态神经生理反馈和自适应音乐生成；
所述实时交互和存储模块完成生理信号的波形、信号质量、特征解码、身心状态评估结果和音乐参数调整情况的实时访问、集中收集和存储要求；
所述健康状态模板离线训练模块完成微状态信息相似度算法的训练优化和健康人群静息态的微状态模板库建立；
所述AI音乐生成模型离线训练模块完成对音乐生成模型的训练。
进一步地，所述多模态生理信号为使用者脑电信号、心电信号和呼吸信号的混合；也可以为脑电信号一种信号；亦可以为脑电信号与心电信号的组合、脑电信号与呼吸信号的组合。
进一步地，所述脑电微状态信息相似度算法是基于符号化序列分析的信息相似度方法，检测微状态离散时间序列中的时间结构，量化特定身心状态异于健康状态的微状态交替出现模式，为双向闭环的音乐生成和神经反馈提供指标，具体实现过程如下：
对于通道数为N的脑电信号[x1,x2,x3,…,xN],计算全局场能量GFP，从GFP的局部波峰值和局部波谷值的时间点上提取所有脑电电极的电势拓扑，通过基于拓扑的雾化和聚集层次聚类算法进行微状态聚类分析，得到k个标准微状态；通过空间相关性匹配，将每个时间点的电势拓扑变为离散的微状态时间序列；以步长为1、窗口为m的滑窗，将微状态长序列分成多个长为m的符号化序列的集合
对每一个微状态序列中每一个m位的字的出现概率进行排序，按照频率大小倒序排序得到每个固有m位微状态序列模式的出现情况，对于当前大脑微状态时间序列Sa和健康状态的微状态时间序列Sh，对两个微状态序列中m位字的出现频率和排序，计算两个微状态序列的信息相似度MDm(Sa,Sh)：
其中，和/>分别代表m位字/>在当前大脑微状态时间序列Sa中出现的概率和排名，/>和/>分别代表m位字/>在当前健康状态微状态时间序列Sh中出现的概率和排名；/>为每个m位字的权重因子，MDm(Sa,Sh)的范围为0～1，当前大脑微状态时间序列越接近于健康状态，MDm(Sa,Sh)越接近于0，反之微状态相似度越接近与1。
进一步地，所述身心状态评估模块中的特征信息解码包括心电信号和呼吸信号信息解码，是用于量化自主神经系统健康和调节自主神经系统平衡的反馈指标，包括：
心电信号的特征指标包括心电信号的形态特征、统计特征和小波特征；心率变异性的特征指标由频域指标、分形分析指标和非线性分析指标；呼吸信号的特征信息解码包括呼吸频率、吸呼比和呼吸变异性指标；心肺融合特征提取包括心肺耦合指标和心肺共振度指标。
进一步地，所述基于强化学习的音乐生成模型以健康人群的同类脑电特征为目标，以奖励的最大化机制使得模型生成的音乐对被试者的刺激逐渐逼近理想的目标状态；音乐模型将t时刻给定使用者的目标状态St和高斯分布噪声z作为输入经过一个预训练的条件生成对抗网络CGAN模型，生成与目标相关的音乐Mt；然后，将Mt作为刺激材料激励使用者，使其从状态St到St+1，计算St，St+1与目标状态的接近程度得到奖励Rt+1；将Rt+1作为新的条件重新输入至CGAN产生更新音乐Mt+1，以此交替更新状态和音乐，以奖励的最大化使得音乐模型生成的音乐对使用者的刺激逐渐逼近理想的目标状态。
进一步地，所述条件生成对抗神经网络CGAN中的生成器模块使用音乐规则模块，加入对音乐规则的限制来规范生成的音乐，不断迭代优化模型。
进一步地，所述健康状态模板离线训练模块中采用自采实验数据和公开数据库相结合的方式完成脑电微状态信息相似度算法的优化和健康人群静息态的微状态模板库建立。
进一步地，所述健康状态模板离线训练模块使用了多种任务态诱发下的神经和生理信号数据及多种身心疾病患者的生理信号数据用于当前身心状态评估模块中微状态信息相似度算法的优化，使微状态信息相似度算法能准确评估当前身心状态与健康状态的距离。
进一步地，所述AI音乐生成模型离线训练模块基于公开的情感音乐脑机接口数据库和自采数据集来完成AI音乐生成模型的预训练。
有益效果：与现有技术相比，本发明的有益效果为：本发明实时采集使用者聆听音乐的过程中的脑电、心电、呼吸等信号，通过新型算法分析获得表征使用者当前身心状态的神经、生理指标，以健康人群的同类指标特征为目标，利用AI实时调整并生成新的音乐，使得使用者的身心状态向更接近健康的方向发展。在此过程中，通过使用者自身的神经生理反馈，构建双向闭环脑机音乐接口系统，实现了个性化的身心状态调节。
附图说明
图1为本发明组成示意图；
图2为本发明所提出的脑电微状态信息相似度算法的流程图；
图3为本发明所提出的AI音乐生成模型示意图；
图4为本发明的工作原理示意图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细说明。本领域的技术人员在没有做出创造性改进技术的前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明提出了一种基于双向闭环脑机音乐接口的身心状态调节系统，如图1所示，包括生理信号采集模块、身心状态评估模块、AI音乐生成模块、实时显示和交互模块、健康状态模板离线训练模块和AI音乐生成模型离线训练模块。
各个模块在本实施方式中的具体实现方式如下所述：
生理信号采集模块采用穿戴式脑电采集设备和穿戴式心电、呼吸采集设备组成。其中，穿戴式脑电采集设备可以是集成于头环、帽子、头盔、眼睛、耳机等任意装置中；穿戴式心电、呼吸采集设备可以基于胸带、腹腰带、贴片设备、智能衣物等任意装置。生理信号采集模块可以实时采集使用者的脑电信号、心电信号、呼吸信号等的多模态生理信号并实时传输至后续模块用于数据分析。
用于脑机音乐接口的生理信号可以是使用者脑电信号、心电信号和呼吸信号的三种混合进行反馈，也可以为脑电信号一种信号，亦可以为脑电信号与心电信号的组合、脑电信号与呼吸信号的组合。根据多模态生理信号质量评估的结果，在后续双向闭环系统分析使用者身心状态时，可以根据脑电信号、心电信号和呼吸信号的实时信号质量，自动切换该系统所使用的生理信号组合进行反馈，以提高监测的准确率。
身心状态评估模块按指定的步长和时窗，对实时获取的脑电信号、心电信号、呼吸信号进行截取分析，对多模态生理信号进行预处理、信号质量评估和特征提取，完成特征信息解码后，身心状态评估模块将基于健康状态离线训练模块，评估使用者当前大脑身心状态，并计算使用者当前身心状态与健康状态之间的差异与距离。
身心状态评估模块，除了采用常规的生理信号分析技术对实时脑电信号、心电信号、呼吸信号进行预处理和特征提取之外，本发明提出一种微状态信息相似度分析算法(Micsrostates Information-Based Similarity)，用于衡量当前的大脑微状态与健康微状态的相异度。
如图2所示，一种微状态信息相似度分析算法，用于衡量当前的大脑微状态与健康微状态的相异度。脑电信号的微状态包含着丰富的动力学特征，这些特征与身心状态、认知功能和默认网络变化有关。该算法首先采用脑电的微状态分析方法，获得大脑微状态随时间进程变化的离线时间序列，然后基于信息的相似指数来检测和量化大脑微状态时间序列中的时间结构，计算当前大脑状态与健康状态之间的相异度，即衡量当前大脑状态到健康的距离，该算法的具体实施步骤如下：
1)首先计算微状态离散时间序列。对于通道数为N的脑电信号[x1,x2,x3,…,xN],计算全局场能量(Global field power，GFP)：
其中，t以采样点的形式表示时间。从GFP的局部波峰值和局部波谷值的时间点上提取所有电极的电势拓扑，进行下一步的微状态聚类。
2)使用基于拓扑的雾化和聚集层次聚类算法(TAAHC)，对GFP的局部波峰值和局部波谷值的时间点上提取所有电极的电势拓扑分别进行聚类分析。将每一个电势拓扑图都看作为一个族类，分别计算每一个电势拓扑图与其他地形图的空间相关性，并将相关性总和最低的拓扑图重新分配到与其相关性最密切的剩余群体中，然后将这一群体中的电势拓扑图平均，得到新的电势拓扑分布。将这一步骤重复迭代，每次迭代都重新分配一个相关性总和最低的电势拓扑图，直到聚类簇数达到预先的设置类别数量k。
3)计算微状态的离散序列。将每个时间点处的头皮电势拓扑图与聚类得到的k个标准微状态进行空间相关性比较，并将头皮电势匹配标准微状态的标签。经过计算，脑电信号被解码为k种微状态交替出现的微状态时间序列。
4)应用一种计算符号化序列信息相似度的方法来分析微状态时间序列的动力学特性。首先对于长为L的k进制的微状态符号化序列S＝{s1,s2,…,sL}，以步长为1、窗口为m的滑窗来确定所有的m位微状态序列“字”，即将微状态长序列分成多个长为m的符号化序列的集合
然后对一个微状态序列中每一个m位的字的出现概率进行排序，统计集合中每个字出现的次数和频率，按照频率大小倒序排序得到每个固有m位模式的出现情况。
5)对于当前大脑微状态时间序列Sa和健康状态的微状态时间序列Sh，对于两个微状态序列中m位字的出现频率和排序，计算两个微状态序列的信息相似度MDm(Sa,Sh)：
其中，和/>分别代表m位字/>在当前大脑微状态时间序列Sa中出现的概率和排名，/>和/>分别代表m位字/>在当前健康状态微状态时间序列Sh中出现的概率和排名。/>为每个m位字的权重因子，MDm(Sa,Sh)的范围为0～1，当前大脑微状态时间序列越接近于健康状态，MDm(Sa,Sh)越接近于0，反之微状态相似度越接近与1。
心电信号和呼吸信号同样为衡量身心健康的重要指标，同时可用于量化音乐对心跳、呼吸、血压和心率变异性等的影响，并作为个性化音乐生成的反馈指标。自主神经的交感神经和副交感神经共同维持体内正常的调节过程，心电信号和呼吸信号反馈一种无创、简便的量化自主神经系统健康和调节自主神经平衡的方案。
心电信号的特征指标提取包括心电(electrocardiogram，ECG)的特征提取和心率变异性(heart rate variability，HRV)特征提取。其中，ECG的特征指标包括ECG的形态特征、统计特征、小波特征和其他分形量度。HRV的特征指标由频域指标、分形分析指标和非线性分析指标组成，其中：
HRV频域指标包括极低频功率(0-0.003Hz)、超低频功率(0.003-0.04Hz)、低频功率(0.03-0.15Hz)、高频功率(0.15-0.4Hz)和低频高频功率比。
HRV分形分析指标包括分形维数和去趋势波动分析，其中，分形维数采用Higuchi算法在时间域内进行计算，刻画RR间期的不规则程度和相似特性；去趋势波动分析提取短期标度指数alpha-1、长期标度指数alpha-2和alpha-1/alpha-2比率，去趋势波动分析排除了由于RR间期序列的非平稳性所导致的虚假长程相关性，揭示表征心脏系统动力学行为的长程相关性。
非线性分析指标包括单尺度复杂度(频谱熵、样本熵、模糊熵和kolmogorov复杂度等)、多尺度复杂度(多尺度样本熵、多尺度模糊熵、多尺度排列熵)、多通道多尺度复杂度(多变量多尺度熵)及动态复杂度扩展特征指标(复杂度衰减率)。
呼吸信号用于表征聆听音乐过程中的呼吸调节状态，音乐结构或包络会产生同步的呼吸反应。对于呼吸信号的特征提取包括：
1)呼吸频率；
2)吸呼比：呼吸周期中的吸气时间与呼气时间的比值；
3)呼吸变异性指标：呼吸变异性频域特征和呼吸变异性非线性特征。
身心状态评估模块还包括心肺融合特征提取；其中，心电信号和呼吸信号可用于计算心肺耦合模型和心肺共振指标，包括心肺耦合指标和心肺共振度指标(心肺共振曲线在共振频率的最大值)。
AI音乐生成模块以多模态神经生理信号指标作为反馈，采用一种基于强化学习的音乐模型实现多模态神经生理反馈和自适应音乐生成，如图3所示，St表示第t时刻使用者听完音乐的状态(可反映为使用者的生理信号特征)，Rt代表t-1时刻与t时刻的奖励程度(可体现在使用者听完音乐后状态与目标状态的接近程度，越接近奖励程度的值越大)，Mt代表t-1时刻向t时刻的激励音乐(可由条件生成对抗网络CGAN得到，其中Rt为CGAN的条件输入)。该模型可解释为：t时刻给定使用者的目标状态St和高斯分布噪声z作为输入经过一个预训练的CGAN模型，生成与目标相关的音乐Mt。然后，将Mt作为刺激材料激励使用者，使其从状态St到St+1，计算St，St+1与目标状态的接近程度得到奖励Rt+1。将Rt+1作为新的条件重新输入至CGAN产生更新音乐Mt+1，以此交替更新状态和音乐，以奖励的最大化使得模型生成的音乐对使用者的刺激逐渐逼近理想的目标状态。此外，在条件生成对抗神经网络的生成器(Generator)模块内增加一个音乐规则模块，在利用CGAN进行生成模型训练的同时，加入对音乐规则的限制来规范生成的音乐。在该模块内计算生成音乐在所施加音乐规则下的损失函数，通过梯度下降调整生成器神经元参数。音乐规则的定义，受音乐自身的结构原则制约。为了保证人工智能技术生成结构严谨又好听的音乐，本研究将在遵循人的听觉感性审美规律及情态活动的心理规律的基础上，按照音乐联觉对应关系规律来改变音乐的形式结构。
由于音乐的结构存在时序上的约束特征，而且音乐刺激对患者的神经生理状态的影响是在时间中呈现的，因此，还将采用双向长短时记忆网络LSTM，获取音乐序列的时序特征，实现对音乐平衡性和期望的规律约束。
AI音乐生成模块还包括对使用者产生刺激的音乐播放设备，可以通过音响、耳机、适配MIDI的各种乐器或可以进行音频数模转换的音频设备。
AI音乐生成模型离线训练模块基于公开的情感音乐脑机接口数据库和自采数据集来完成CGAN网络的预训练。
健康状态模板离线训练模块中采用自采实验数据和公开数据库相结合的方式完成健康使用者健康静息态的微状态模板库建立。同时，预训练模板使用了多种任务态诱发下的神经和生理信号数据及多种身心疾病患者的生理信号数据用于当前身心状态评估模块中微状态信息相似度算法的优化，使微状态信息相似度算法能准确评估当前身心状态(包括但不限于不同认知状态、不同情绪状态、不同精神状态、不同心理状态、不同健康状态)与健康状态的距离。
本发明的工作原理如图4所示，采集使用者聆听音乐过程中的实时生理信号，基于本发明提出的微状态信息相似度分析算法在内的特征分析算法，实时评估当前身心状态与健康状态之间的距离的变化程度，以健康人群的同类脑电特征为目标，利用AI实时调整并生成新的音乐，使得身心状态向更接近健康的方向发展，即与前一刻相比，如果当前的脑电特征更接近健康的脑电特征(相似度增加，距离减小)，则保持当前的音乐；反之，如果距离增加或不变，则调整音乐特征生成新的音乐，直至距离减小。在此过程中，通过使用者自身反馈以及实时监测的心电、呼吸等生理指标确保无不良反应。
实时交互和存储模块包括生理信号波形和信号质量的实时显示、生理信号特性信息解码进程的实时显示、当前身心状态评估结果的实时显示、音乐参数调整情况实时显示和音乐频谱实时显示。实时交互和存储模块包括用户交互和操作界面，生理数据和音乐参数的存储。实时交互和存储模块，其具体实施载体的形式可以是各类便携移动终端，也可以是设置在远程云端服务器中。
本领域的技术人员可以理解的是，为了描述的简洁和清晰，仅以上述划分的各模块进行具体说明，实际应用中，可以根据需要将上述的不同模块进行组合，以完成以上描述的全部或部分功能；
可以理解的是，所述的一种基于双向闭环脑机音乐接口的身心状态调节系统的各个模块的实时载体可以是单独的设备存在，通过设备通讯协议进行信号连接；也可以是两个或两个以上模块集成在一个实施载体，各设备通过通讯协议进行信号连接；也可以是所有软硬件模块集中于一个实施载体，该实施载体可以是基于智能耳机、智能头盔、智能帽子或其他穿戴式集成设备等任意装置，具体的实施载体并不用于限制本申请的保护范围。
实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (9)

1.一种基于双向闭环脑机音乐接口的身心状态调节系统，其特征在于，包括生理信号采集模块、身心状态评估模块、AI音乐生成模块、实时交互和存储模块、健康状态模板离线训练模块和AI音乐生成模型离线训练模块；
所述生理信号采集模块实时采集使用者聆听音乐过程中的多模态生理信号并实时传输至身心状态评估模块用于数据分析；
所述身心状态评估模块对多模态生理信号进行预处理、信号质量评估和特征信息解码，并采用脑电微状态信息相似度分析算法，用于衡量当前的大脑微状态与健康微状态的相异度；
所述AI音乐生成模块包括条件生成对抗网络CGAN和双向长短时记忆网络LSTM，以多模态生理信号指标作为反馈，采用一种基于强化学习的音乐模型实现多模态神经生理反馈和自适应音乐生成；
所述实时交互和存储模块完成生理信号的波形、信号质量、特征解码、身心状态评估结果和音乐参数调整情况的实时访问、集中收集和存储要求；
所述健康状态模板离线训练模块完成微状态信息相似度算法的训练优化和健康人群静息态的微状态模板库建立；
所述AI音乐生成模型离线训练模块完成对音乐生成模型的训练。
2.根据权利要求1所述一种基于双向闭环脑机音乐接口的身心状态调节系统，其特征在于，所述多模态生理信号为使用者脑电信号、心电信号和呼吸信号的混合；也可以为脑电信号一种信号；亦可以为脑电信号与心电信号的组合、脑电信号与呼吸信号的组合。
3.根据权利要求1所述一种基于双向闭环脑机音乐接口的身心状态调节系统，其特征在于，所述脑电微状态信息相似度算法是基于符号化序列分析的信息相似度方法，检测微状态离散时间序列中的时间结构，量化特定身心状态异于健康状态的微状态交替出现模式，为双向闭环的音乐生成和神经反馈提供指标，具体实现过程如下：
对于通道数为N的脑电信号[x1,x2,x3,…,xN],计算全局场能量GFP，从GFP的局部波峰值和局部波谷值的时间点上提取所有脑电电极的电势拓扑，通过基于拓扑的雾化和聚集层次聚类算法进行微状态聚类分析，得到k个标准微状态；通过空间相关性匹配，将每个时间点的电势拓扑变为离散的微状态时间序列；以步长为1、窗口为m的滑窗，将微状态长序列分成多个长为m的符号化序列的集合
对每一个微状态序列中每一个m位的字的出现概率进行排序，按照频率大小倒序排序得到每个固有m位微状态序列模式的出现情况，对于当前大脑微状态时间序列Sa和健康状态的微状态时间序列Sh，对两个微状态序列中m位字的出现频率和排序，计算两个微状态序列的信息相似度MDm(Sa,Sh)：
其中，和/>分别代表m位字/>在当前大脑微状态时间序列Sa中出现的概率和排名，/>和/>分别代表m位字/>在当前健康状态微状态时间序列Sh中出现的概率和排名；/>为每个m位字的权重因子，MDm(Sa,Sh)的范围为0～1，当前大脑微状态时间序列越接近于健康状态，MDm(Sa,Sh)越接近于0，反之微状态相似度越接近与1。
4.根据权利要求1所述一种基于双向闭环脑机音乐接口的身心状态调节系统，其特征在于，所述身心状态评估模块中的特征信息解码包括心电信号和呼吸信号信息解码，是用于量化自主神经系统健康和调节自主神经系统平衡的反馈指标，包括：
心电信号的特征指标包括心电信号的形态特征、统计特征和小波特征；心率变异性的特征指标由频域指标、分形分析指标和非线性分析指标；呼吸信号的特征信息解码包括呼吸频率、吸呼比和呼吸变异性指标；心肺融合特征提取包括心肺耦合指标和心肺共振度指标。
5.根据权利要求1所述一种基于双向闭环脑机音乐接口的身心状态调节系统，其特征在于，所述基于强化学习的音乐生成模型以健康人群的同类脑电特征为目标，以奖励的最大化机制使得模型生成的音乐对被试者的刺激逐渐逼近理想的目标状态；音乐模型将t时刻给定使用者的目标状态St和高斯分布噪声z作为输入经过一个预训练的条件生成对抗网络CGAN模型，生成与目标相关的音乐Mt；然后，将Mt作为刺激材料激励使用者，使其从状态St到St+1，计算St，St+1与目标状态的接近程度得到奖励Rt+1；将Rt+1作为新的条件重新输入至CGAN产生更新音乐Mt+1，以此交替更新状态和音乐，以奖励的最大化使得音乐模型生成的音乐对使用者的刺激逐渐逼近理想的目标状态。
6.根据权利要求1所述一种基于双向闭环脑机音乐接口的身心状态调节系统，其特征在于，所述条件生成对抗神经网络CGAN中的生成器模块使用音乐规则模块，加入对音乐规则的限制来规范生成的音乐，不断迭代优化模型。
7.根据权利要求1所述一种基于双向闭环脑机音乐接口的身心状态调节系统，其特征在于，所述健康状态模板离线训练模块中采用自采实验数据和公开数据库相结合的方式完成脑电微状态信息相似度算法的优化和健康人群静息态的微状态模板库建立。
8.根据权利要求1所述一种基于双向闭环脑机音乐接口的身心状态调节系统，其特征在于，所述健康状态模板离线训练模块使用了多种任务态诱发下的神经和生理信号数据及多种身心疾病患者的生理信号数据用于当前身心状态评估模块中微状态信息相似度算法的优化，使微状态信息相似度算法能准确评估当前身心状态与健康状态的距离。
9.根据权利要求1所述一种基于双向闭环脑机音乐接口的身心状态调节系统，其特征在于，所述AI音乐生成模型离线训练模块基于公开的情感音乐脑机接口数据库和自采数据集来完成AI音乐生成模型的预训练。
CN202211052721.8A 2022-08-30 2022-08-30 一种基于双向闭环脑机音乐接口的身心状态调节系统 Active CN115445050B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211052721.8A CN115445050B (zh) 2022-08-30 2022-08-30 一种基于双向闭环脑机音乐接口的身心状态调节系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211052721.8A CN115445050B (zh) 2022-08-30 2022-08-30 一种基于双向闭环脑机音乐接口的身心状态调节系统

Publications (2)

Publication Number Publication Date
CN115445050A CN115445050A (zh) 2022-12-09
CN115445050B true CN115445050B (zh) 2024-03-12

Family

ID=84301356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211052721.8A Active CN115445050B (zh) 2022-08-30 2022-08-30 一种基于双向闭环脑机音乐接口的身心状态调节系统

Country Status (1)

Country Link
CN (1) CN115445050B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN208027537U (zh) * 2018-03-30 2018-10-30 比亚迪股份有限公司 智能穿戴设备和车辆辅助驾驶系统
CN110947075A (zh) * 2019-11-27 2020-04-03 华南理工大学 基于脑波音乐的个性化精神状态调节系统及调节方法
CN111068159A (zh) * 2019-12-27 2020-04-28 兰州大学 一种基于脑电信号的音乐反馈抑郁情绪调节系统
CN112603335A (zh) * 2020-12-29 2021-04-06 深圳航天科技创新研究院 脑电情感识别方法、系统、设备及存储介质
CN114099894A (zh) * 2020-08-26 2022-03-01 西安慧脑智能科技有限公司 脑波音频助眠方法、装置、设备及存储介质
CN114469141A (zh) * 2020-10-28 2022-05-13 香港大学 用于从大脑活动中解码和弦信息的系统和方法
CN114652328A (zh) * 2022-03-14 2022-06-24 东南大学 一种用于失眠的双向闭环脑机交互电针参数智能匹配系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12042293B2 (en) * 2016-09-27 2024-07-23 Mor Research Applications Ltd. EEG microstates analysis

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN208027537U (zh) * 2018-03-30 2018-10-30 比亚迪股份有限公司 智能穿戴设备和车辆辅助驾驶系统
CN110947075A (zh) * 2019-11-27 2020-04-03 华南理工大学 基于脑波音乐的个性化精神状态调节系统及调节方法
CN111068159A (zh) * 2019-12-27 2020-04-28 兰州大学 一种基于脑电信号的音乐反馈抑郁情绪调节系统
CH717003A2 (de) * 2019-12-27 2021-06-30 Univ Lanzhou System zum Regulieren einer gedrückten Stimmung durch Musik-Feedback beruhend auf einem Elektroenzephalogramm Signal.
CN114099894A (zh) * 2020-08-26 2022-03-01 西安慧脑智能科技有限公司 脑波音频助眠方法、装置、设备及存储介质
CN114469141A (zh) * 2020-10-28 2022-05-13 香港大学 用于从大脑活动中解码和弦信息的系统和方法
CN112603335A (zh) * 2020-12-29 2021-04-06 深圳航天科技创新研究院 脑电情感识别方法、系统、设备及存储介质
CN114652328A (zh) * 2022-03-14 2022-06-24 东南大学 一种用于失眠的双向闭环脑机交互电针参数智能匹配系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
自闭症谱系障碍儿童静息状态下脑电微状态研究;张锁良 等;《中国生物医学工程学报》;20211231;第653-661页 *

Also Published As

Publication number Publication date
CN115445050A (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN111477299B (zh) 结合脑电检测分析控制的声电刺激神经调控方法及装置
Wang et al. Review of the emotional feature extraction and classification using EEG signals
CN110251801A (zh) 一种眼罩反馈式微电流刺激睡眠辅助系统
CN115640827B (zh) 对电刺激数据处理的智能闭环反馈网络方法及系统
CN108721048A (zh) 康复训练控制方法、计算机可读存储介质和终端
KR100287549B1 (ko) 뇌파 바이오피드백을 이용한 두뇌개발장치 및 그 방법
CN104951082A (zh) 一种利用随机共振增强脑电信号的脑机接口方法
CN108992066A (zh) 基于肌电信号的便携式下肢行为模式实时识别系统及方法
CN106236117A (zh) 基于心电和呼吸信号同步性特征的情绪检测方法
CN105125186B (zh) 一种确定干预治疗方式的方法及系统
Li et al. A neuro-fuzzy fatigue-tracking and classification system for wheelchair users
US12042606B2 (en) Systems, methods, and devices for biomarker shaping and sleep profile enhancement
Ma et al. Time-distributed attention network for EEG-based motor imagery decoding from the same limb
CN111481799A (zh) 一种脑电波闭环控制设备
CN108919947A (zh) 一种通过视觉诱发电位来实现的脑机接口系统及方法
CN115445050B (zh) 一种基于双向闭环脑机音乐接口的身心状态调节系统
CN108814569A (zh) 康复训练控制装置
CN115381413B (zh) 一种自适应的双模态情绪调节方法与系统
Zhao [Retracted] Intelligent System of Somatosensory Music Therapy Information Feedback in Deep Learning Environment
CN115826743A (zh) 一种面向ssvep脑机接口的多通道脑电信号建模方法
CN112263768A (zh) 一种基于听觉节律的焦虑治疗方法和系统
Zarei Developing enhanced classification methods for ECG and EEG signals
CN111544289A (zh) 一种脑电反馈智能眼部理疗仪
Kanaga et al. A Pilot Investigation on the Performance of Auditory Stimuli based on EEG Signals Classification for BCI Applications
Wang et al. Comfort Assessment Method of EEG-Based Exoskeleton Walking-Assistive Device.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant