CN115363587A - 基于音乐创作的神经心理评估及干预的方法、系统和装置 - Google Patents

基于音乐创作的神经心理评估及干预的方法、系统和装置 Download PDF

Info

Publication number
CN115363587A
CN115363587A CN202211314935.8A CN202211314935A CN115363587A CN 115363587 A CN115363587 A CN 115363587A CN 202211314935 A CN202211314935 A CN 202211314935A CN 115363587 A CN115363587 A CN 115363587A
Authority
CN
China
Prior art keywords
music
physiological
state
neuropsychological
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211314935.8A
Other languages
English (en)
Inventor
何将
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Xingchen Zhiyue Technology Co ltd
Original Assignee
Anhui Xingchen Zhiyue Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Xingchen Zhiyue Technology Co ltd filed Critical Anhui Xingchen Zhiyue Technology Co ltd
Priority to CN202211314935.8A priority Critical patent/CN115363587A/zh
Publication of CN115363587A publication Critical patent/CN115363587A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4848—Monitoring or testing the effects of treatment, e.g. of medication
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Anesthesiology (AREA)
  • Psychology (AREA)
  • Pain & Pain Management (AREA)
  • Fuzzy Systems (AREA)
  • Social Psychology (AREA)
  • Acoustics & Sound (AREA)
  • Hematology (AREA)
  • Developmental Disabilities (AREA)
  • Evolutionary Computation (AREA)
  • Hospice & Palliative Care (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Child & Adolescent Psychology (AREA)
  • Signal Processing (AREA)
  • Educational Technology (AREA)
  • Pulmonology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提出了一种基于音乐创作的神经心理评估及干预的方法、系统和装置，包括在一预设执行时长内执行对待检测用户的神经心理评估检测，通过提取待检测用户的生理状态数据特征，并对生理状态数据特征进行处理后得到参数调整策略，以更新音乐交互场景，在执行时长的时间终点停止检测，从而实现在多次交互过程中对待检测用户进行神经心理检测及训练的过程。本发明通过生理信号、音乐创作、音乐心理分析的创新融合方式方法，极大地提升了待检测用户的参与度和依从性，增加了方案的情绪影响力和干预治疗穿透度，尤其是在焦虑症、抑郁症、孤独症、自闭症，失眠等场景中，能够快速识别和改善人的情绪和心境，达到疾病诊断或康复干预的目的。

Description

基于音乐创作的神经心理评估及干预的方法、系统和装置
技术领域
本发明涉及神经心理分析领域，特别涉及基于音乐创作的神经心理评估及干预的方法、系统和装置。
背景技术
音乐能够调节人的情绪和心境。音乐治疗广泛应用于精神心理疾病和其他疾病的治疗过程中。目前精神心理疾病主要以药物治疗、物理治疗和心理治疗为主，心理治疗主要包括认知心理治疗、行为心理治疗和音乐治疗。
人的行为和思维也能创作音乐。与音乐本身一样，人能够从音乐创作的过程参与和结果达成中获得专注、快乐、自信和满足感，也能达到调节情绪和心境的作用。
现有临床诊疗实践和诊疗技术方案中，主要以心理量表和医生经验问询为诊断基础，以药物治疗、心理治疗和物理治疗为主要治疗康复手段，尤其是缺乏神经生理和精神心理的融合分析和综合评估作为诊疗证据，疾病检测或诊断、疾病治疗或康复的技术或设备是独立分离的且功能单一的，无法同时提取客观的诊断证据、得到准确的疾病状态、动态评估治疗效果并调整治疗方案，加之患者较低的诊断参与度和治疗依从性，最终导致了精神心理疾病的治疗效果不佳且持续周期长。如何通过客观的疾病诊断指标证据和动态的疾病评价评估，来提高疾病诊断的准确性、疾病治疗的有效性和疾病康复的成功率，成为了精神心理疾病诊疗不可回避的难题。
发明内容
本发明的目的在于提供基于音乐创作的神经心理评估及干预的方法，通过生理信号、音乐创作、音乐心理分析的创新融合方式方法，实现了神经生理学和神经心理学的融合分析和综合评价，实现动态评估分析精神心理疾病患者的病情状态和治疗效果，增加诊疗的趣味性和客观性的进而提高病人的诊疗参与度和治疗依从性，最终提高疾病诊断的准确性、疾病治疗的有效性和疾病康复的成功率，辅助临床诊疗实践。
根据本发明的目的，本发明提出了一种基于音乐创作的神经心理评估及干预的方法，该方法包括如下步骤：
预先设置一执行时长，并在所述执行时长的时间起点处启动音乐交互场景；
在所述音乐交互场景下，采集待检测用户的生理状态信号并进行连续滑动处理，提取出生理状态数据特征，以及对场景交互音乐进行分析处理并提取音乐数据特征；
对所述生理状态数据特征和所述音乐数据特征进行分析处理，生成待检测用户当前的情绪状态类型、情绪状态水平以及生理音乐耦合指数；
对所述生理状态数据特征进行音乐要素特征映射转化并输入音乐生成引擎，生成并播放神经心理音乐片段及进行音乐心理学分析，生成心理状态评估简报；
根据所述情绪状态类型、所述情绪状态水平、所述生理音乐耦合指数和所述心理状态评估简报，完成目标路径规划分析，生成音乐生成参数调整策略，更新所述音乐生成引擎的生产参数；
重复执行上述步骤至所述执行时长的终点时刻处停止，根据待检测用户的不同生理状态数据特征执行所述音乐生成引擎的生产参数的多次更新，实现对待检测用户的神经心理评估及干预。
优选的，所述预先设置一执行时长，并在所述执行时长的时间起点处启动音乐交互场景的步骤具体为，根据待检测用户的基本状态信息确定神经心理创乐方案的编辑设置，以及音乐生成引擎的生产参数初始化，其中，所述基本状态信息至少包括姓名、性别、出生日期、年龄、身高、体重、血压、健康状况、疾病信息；在所述执行时长的时间起点处启动音乐交互场景，播放初始音乐。
优选的，所述神经心理创乐方案至少包括方案名称、方案类型、目标情绪类型、目标情绪水平、音乐要素、生理驱动信号、音乐要素特征关系映射、执行时长、反馈类型；其中，所述音乐要素至少包括片段时长、主题背景、情感类型、情感水平、流派风格、演奏乐器、曲式调式、节奏节拍、和声和弦、音色表演、音量策略、优化方向、优化步进系数、旋律继承系数。
优选的，所述在所述音乐交互场景下，采集待检测用户的生理状态信号并进行连续滑动处理，提取出生理状态数据特征，以及对场景交互音乐进行分析处理并提取音乐数据特征的步骤具体为，采集待检测用户的所述生理状态信号；以预设时间步长、预设时间窗口对所述生理状态信号进行信号数据提取、数据预处理和数据特征分析，提取出所述生理状态数据特征；对所述场景交互音乐进行分析处理，提取所述音乐数据特征。
优选的，所述生理状态信号至少包括脑电图信号、脑磁图信号、心电图信号、肌电图信号、皮肤电信号、血氧水平依赖信号、血氧信号、脉搏信号、呼吸信号、温度信号。
优选的，所述数据预处理至少包括A/D数模转换、重采样、重参考、降噪、去伪迹、信号矫正、工频陷波、低通滤波、高通滤波和带通滤波。
优选的，所述数据特征分析至少包括时域特征分析、频域特征分析、线性特征分析、非线性特征分析。
优选的，所述生理状态数据特征至少包括时域特征、频域特征、线性特征、非线性特征。
优选的，所述音乐数据特征至少包括时域特征、频域特征、线性特征、非线性特征。
优选的，所述对所述生理状态数据特征和所述音乐数据特征进行分析处理，生成待检测用户当前的情绪状态类型、情绪状态水平以及生理音乐耦合指数的步骤具体为，通过对基于不同情绪类型、不同情绪水平的生理状态数据特征的训练集数据进行训练，预先构建基于Bi-LSTM神经网络的神经网络情绪分类模型和基于GAN对抗神经网络模型的神经网络情绪水平计算模型，由所述神经网络情绪分类模型和所述神经网络情绪水平计算模型构成神经网络情绪分类与状态计算模型；将所述生理状态数据特征输入至所述神经网络情绪分类与状态计算模型，得到待检测用户当前的所述情绪状态类型和所述情绪状态水平；将所述生理状态数据特征和所述音乐数据特征输入生理音乐耦合分析模型，得到待检测用户当前的所述生理音乐耦合指数。
优选的，所述生理音乐耦合分析模型用于根据所述生理状态数据特征和所述音乐数据特征，分析生理和音乐的关联性，评估音乐对生理的调节强度，生成所述生理音乐耦合指数。
优选的，所述对所述生理状态数据特征进行音乐要素特征映射转化并输入音乐生成引擎，生成并播放神经心理音乐片段及进行音乐心理学分析，生成心理状态评估简报的步骤具体为，预先构建基于GAN对抗神经网络和音乐要素优化程序的音乐生成引擎；根据音乐要素特征关系映射的映射关系，将所述生理状态数据特征中的生理状态数据特征值转化为所述音乐要素中要素的参数取值；将所述参数取值输入音乐生成引擎生成所述神经心理音乐片段，并播放反馈给待检测用户；对所述神经心理音乐片段进行心理学分析，并结合所述情绪状态类型、所述情绪状态水平和所述生理音乐耦合指数，生成所述心理状态评估简报。
优选的，所述根据所述情绪状态类型、所述情绪状态水平、所述生理音乐耦合指数和所述心理状态评估简报，完成目标路径规划分析，生成音乐生成参数调整策略，更新所述音乐生成引擎的生产参数的步骤具体为，根据所述神经心理创乐方案中目标情绪类型和目标情绪水平，对所述情绪状态类型、所述情绪状态水平和所述心理状态评估简报进行情绪迭代计算，获取当前的情绪状态类型和情绪状态水平与所述神经心理创乐方案中目标情绪类型和目标情绪水平的情绪状态差值，获取当前已执行时长，计算剩余优化次数，根据所述剩余优化次数计算情绪次均优化增量；根据所述情绪状态类型、所述情绪状态水平、所述心理状态评估简报和所述情绪次均优化增量进行音乐要素迭代分析，生成所述音乐生成参数调整策略，以更新所述音乐生成引擎的生产参数。
优选的，所述情绪状态差值的计算公式，如下：
Figure 642742DEST_PATH_IMAGE001
式中，
Figure 391518DEST_PATH_IMAGE002
为所述情绪状态差值，
Figure 210438DEST_PATH_IMAGE003
为所述神经心理创乐方案中目标情绪类型的目标情绪水平，
Figure 488098DEST_PATH_IMAGE004
为当前情绪状态类型的情绪状态水平，
Figure 658048DEST_PATH_IMAGE005
为不同情绪状态类型的换算系数；
所述剩余优化次数的计算公式，如下：
Figure 600727DEST_PATH_IMAGE006
式中，
Figure 775619DEST_PATH_IMAGE007
为所述剩余优化次数，
Figure 66923DEST_PATH_IMAGE008
为所述神经心理创乐方案中的执行时长，
Figure 458590DEST_PATH_IMAGE009
为已执行时长，
Figure 673802DEST_PATH_IMAGE010
为预设时间窗口长度；
所述情绪次均优化增量的计算公式，如下：
Figure 968779DEST_PATH_IMAGE011
式中，dMI为所述情绪次均优化增量、
Figure 617935DEST_PATH_IMAGE012
为所述情绪状态差值、
Figure 732784DEST_PATH_IMAGE007
为所述剩余优化次数。
优选的，所述音乐生成参数调整策略至少包括情感迭代目标值、演奏乐器组合、曲式调式演变策略、节奏节拍目标值、和声和弦调整策略、音色表演调整策略、音量目标强度值、音频目标播放速率。
优选的，所述重复执行上述步骤至所述执行时长的终点时刻处停止，根据待检测用户的不同生理状态数据特征执行所述音乐生成引擎的生产参数的多次更新，实现对待检测用户的神经心理评估及干预的步骤还包括，执行多次更新过程中生成的全部的所述神经心理音乐片段生成神经心理音乐，以及，执行多次更新过程中生成的全部的所述心理状态评估简报生成精神心理评估报告和治疗干预进展报告，实现对待检测用户的神经心理评估及干预。
优选的，所述精神心理评估报告至少包括精神状态报告、应激应对报告、动机情感报告、人格类型报告；所述治疗干预进展报告至少包括治疗效果报告、治疗干预调整策略、疾病治疗建议。
本发明还提供了一种基于音乐创作的神经心理评估及干预的系统，所述系统包括如下模块：
创乐方案管理模块，用于根据待检测用户的基本状态信息确定神经心理创乐方案的编辑设置，以及音乐生成引擎的生产参数初始化；在所述神经心理创乐方案中预先设置执行时长，并在所述执行时长的时间起点处启动音乐交互场景，在所述执行时长的终点时刻处停止所述音乐交互场景，以根据待检测用户的不同生理状态数据特征执行所述音乐生成引擎的生产参数的多次更新，生成对待检测用户的神经心理评估及干预方案；
信号采集处理模块，用于在所述音乐交互场景下，采集待检测用户的生理状态信号并进行连续滑动处理，提取出生理状态数据特征，以及对场景交互音乐进行分析处理并提取音乐数据特征；
情绪耦合分析模块，用于对所述生理状态数据特征和所述音乐数据特征进行分析处理，生成待检测用户当前的情绪状态类型、情绪状态水平以及生理音乐耦合指数；
创乐心理分析模块，用于对所述生理状态数据特征进行音乐要素特征映射转化并输入音乐生成引擎，生成并播放神经心理音乐片段及进行音乐心理学分析，生成心理状态评估简报；根据所述情绪状态类型、所述情绪状态水平、所述生理音乐耦合指数和所述心理状态评估简报，完成目标路径规划分析，生成音乐生成参数调整策略，更新所述音乐生成引擎的生产参数；
神经心理报告模块，用于根据所述心理状态评估简报和所述神经心理音乐片段，生成神经心理音乐、精神心理评估报告和治疗干预进展报告；
数据存储管理模块，用于对创乐方案管理模块、信号采集处理模块、情绪耦合分析模块、创乐心理分析模块和神经心理报告模块所产生的过程数据进行统一存储和管理。
优选的，所述创乐方案管理模块包括：
信息记录单元，用于待检测用户所述基本状态信息的输入、编辑、删除、查询和设置管理，所述基本状态信息至少包括姓名、性别、年龄、身高、体重、血压、健康状况、疾病信息；
创乐方案设置单元，用于所述神经心理创乐方案的输入、编辑、删除、查询和设置管理，所述神经心理创乐方案至少包括方案名称、方案类型、目标情绪类型、目标情绪水平、音乐要素、生理驱动信号、音乐要素特征关系映射、执行时长、反馈类型；
关系映射设置单元，用于所述音乐要素特征关系映射的输入、编辑、删除、查询和设置管理。
优选的，所述信号采集处理模块包括：
生理信号采集单元，用于连接生理状态监测设备，获取所述生理状态信号，所述生理状态信号至少包括脑电图信号、脑磁图信号、心电图信号、肌电图信号、皮肤电信号、血氧水平依赖信号、血氧信号、呼吸信号、温度信号；
信号数据提取单元，用于以预设时间步长、预设时间窗口对所述生理状态信号进行信号截取和数据提取；
数据预处理单元，用于对所述生理状态信号进行数据预处理，所述数据预处理至少包括A/D数模转换、重采样、重参考、降噪、去伪迹、信号矫正、工频陷波、低通滤波、高通滤波和带通滤波；
数据特征分析单元，用于对所述生理状态信号进行数据特征分析，所述数据特征分析至少包括时域特征分析、频域特征分析、线性特征分析、非线性特征分析；
音乐特征提取单元，用于对所述场景交互音乐进行分析处理，提取所述音乐数据特征，所述音乐数据特征至少包括时域特征、频域特征、线性特征、非线性特征。
优选的，所述情绪耦合分析模块包括：
情绪计算识别单元，用于将所述生理状态数据特征输入神经网络情绪分类与状态计算模型，生成所述情绪状态类型和所述情绪状态水平；
生乐耦合分析单元，用于将所述生理状态数据特征和所述音乐数据特征输入生理音乐耦合分析模型，生成所述生理音乐耦合指数。
优选的，所述创乐心理分析模块包括：
特征映射转化单元，用于根据所述音乐要素特征关系映射，将所述生理状态数据特征中的数据特征值转化为所述音乐要素中要素的参数取值；
音乐生成引擎工作单元，用于根据所述音乐要素的策略设置和参数取值，生成所述神经心理音乐片段；
行为心理分析单元，用于结合所述情绪状态类型、所述情绪状态水平和所述生理音乐耦合指数，对所述神经心理音乐片段进行音乐心理学分析，生成所述心理状态评估简报；
音乐调整策略单元，用于完成目标路径规划分析，生成所述音乐生成参数调整策略，并对所述音乐要素的启用和/或取值进行更新调整，更新所述音乐生成引擎的生产参数，所述音乐生成参数调整策略至少包括音乐生成参数调整策略包括情感迭代目标值、演奏乐器组合、曲式调式演变策略、节奏节拍目标值、和声和弦调整策略、音色表演调整策略、音量目标强度值、音频目标播放速率；
音乐播放控制单元，用于根据所述神经心理创乐方案中的反馈类型取值，将所述神经心理音乐片段播放输出，反馈或不反馈给检测和/或其他用户。
优选的，所述神经心理报告模块包括：
音乐片段合成单元，用于根据多次更新过程中生成的全部连续时序的所述神经心理音乐片段，拼接生成所述神经心理音乐；
心理评估报告单元，用于根据多次更新过程中生成的全部连续时序的所述心理状态评估简报，生成所述精神心理评估报告；
治疗进展报告单元，用于根据多次更新过程中生成的全部连续时序的所述心理状态评估简报，生成所述治疗干预进展报告。
本发明还提供了一种基于音乐创作的神经心理评估及干预的装置，包括以下模组：
可视化控制界面，用于所述神经心理创乐方案的编辑输入和执行控制，心理状态评估简报、精神心理评估报告和治疗干预进展报告的展示和反馈，神经音乐片段和神经心理音乐的播放控制和界面展示；
生理信号采集器，用于通过生理信号采集设备和采集集成通讯模组，实现采集记录待检测用户的生理状态信号；
数据分析处理器，用于对所述生理状态信号进行连续滑动处理，提取出生理状态数据特征；对场景交互音乐进行分析处理，提取音乐数据特征；对所述生理状态数据特征和所述音乐数据特征进行分析处理，生成待检测用户当前的情绪状态类型、情绪状态水平以及生理音乐耦合指数；对所述生理状态数据特征进行音乐要素特征映射转化并输入音乐生成引擎，生成并播放神经心理音乐片段及进行音乐心理学分析，生成心理状态评估简报；根据所述情绪状态类型、所述情绪状态水平、所述生理音乐耦合指数和所述心理状态评估简报，完成目标路径规划分析，生成音乐生成参数调整策略，更新所述音乐生成引擎的生产参数；生成精神心理评估报告和治疗干预进展报告；
音乐生成引擎器，用于实现所述神经心理音乐片段和所述神经心理音乐的生成；
音乐播放控制器，用于实现所述神经心理音乐片段和所述神经心理音乐的播放控制和音频输出；
数据记录存储器，用于记录和存储全部的过程数据。
本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序实现评估及干预的方法的步骤。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行实现评估及干预的方法的步骤。
本实施例中，本发明提供了基于音乐创作的神经心理评估及干预的方法、系统和装置，通过生理信号、音乐创作、音乐心理分析的创新融合方式方法，实现了神经生理学和神经心理学的融合分析和综合评价，实现动态评估分析精神心理疾病患者的病情状态和治疗效果，增加诊疗的趣味性和客观性的进而提高病人的诊疗参与度和治疗依从性，最终提高疾病诊断的准确性、疾病治疗的有效性和疾病康复的成功率，辅助临床诊疗实践。
在实际临床实践和实际使用场景中，基于音乐创作的神经心理评估及干预的方法、系统和装置，具备实时和离线两大实施特性，满足实时应用和离线分析应用的不同场景需求，不仅能够应用于不同人群的精神心理疾病的诊断评估和治疗干预，还能够应用于帕金森、阿尔茨海默症、脑卒中等脑功能相关疾病的辅助康复治疗，以及应用于一般人群的情绪改善干预等需求场景。结合待检测用户的生理特点和情景应激，通过动态音乐生成并实时播放、主动优化创作的方式，使得待检测用户主动参与和渴望参与并驱动音乐创作，提高待检测用户的专注度、愉悦感、自信心和满足感，达到调节待检测用户情绪和心境的作用。音乐创作过程中，使得每一个待检测用户的每一次尝试，每一次尝试的每一个时段，都拥有一张唯一的、高个性化的神经心理音乐CD。最后，这些都极大地提升待检测用户的参与度和依从性，增加了方案的情绪影响力和干预治疗穿透度，尤其是在焦虑症、抑郁症、孤独症、自闭症，失眠等场景中，能够快速识别和改善人的情绪和心境，达到疾病诊断或康复干预的目的。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1是基于音乐创作的神经心理评估及干预的方法基本流程图。
图2是基于音乐创作的神经心理评估及干预的系统模块组成图。
图3是基于音乐创作的神经心理评估及干预系统的创乐方案管理模块组成图。
图4是基于音乐创作的神经心理评估及干预系统的信号采集处理模块组成图。
图5是基于音乐创作的神经心理评估及干预系统的情绪耦合分析模块组成图。
图6是基于音乐创作的神经心理评估及干预系统的创乐心理分析模块组成图。
图7是基于音乐创作的神经心理评估及干预系统的神经心理报告模块组成图。
图8是基于音乐创作的神经心理评估及干预的装置模组构成图。
具体实施方式
为了更清楚地说明本发明的目的和技术方案，下面将结合本发明申请实施例中的附图，对本发明进行进一步介绍说明。显而易见地，下面描述的实施例仅是本发明一部分实施例，而不是全部的实施例。在没有创造性劳动前提下，本领域普通技术人员基于本发明的实施例所得到的其他实施例，都应属于本发明的保护范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
为了更加详尽的阐述方案内容，下面对基于音乐创作的神经心理评估及干预的方法的具体实施情况进行详细说明。需要说明的是，所述系统被用于执行图1所述的方法以及发明内容部分以及下文中提及的对应方法流程。
如图1所示，本发明实施例提供的基于音乐创作的神经心理评估及干预的方法，包括如下步骤：
P001：预先设置一执行时长，并在所述执行时长的时间起点处启动音乐交互场景。
本实施例中，需要预先根据待检测用户的基本状态信息来确定神经心理创乐方案的初始化设置并构建音乐交互场景，待检测用户的基本状态信息包括姓名、性别、出生日期、年龄、身高、体重、血压、健康状况、疾病信息等等，尤其是性别、年龄和疾病信息，神经心理创乐方案包括方案名称、方案类型、目标情绪类型、目标情绪水平、音乐要素、生理驱动信号、音乐要素特征关系映射、执行时长、反馈类型。其中，音乐要素包括片段时长、主题背景、情感类型、情感水平、流派风格、演奏乐器、曲式调式、节奏节拍、和声和弦、音色表演、音量策略、优化方向、优化步进系数、旋律继承系数。
在本实施例中，以32岁女性焦虑症（待检测用户）的居家日常康复治疗（方案类型为疾病治疗干预）来说明神经心理创乐方案的设置；通过神经心理创乐方案的设置和20分钟（执行时长）的反馈式治疗执行训练（反馈类型为反馈），使其深度参与到音乐创作并享受创作结果音乐，转移其注意力和情绪，来减轻待检测用户的焦虑程度，进一步诱导培养积极健康且长期稳定的心境和情绪。
本实施例中，音乐要素中，片段时长为等窗有效时长（即预设时间窗口与预设时间步长的差值，保证神经心理创乐方案执行过程中全部时刻都有音乐覆盖），主题背景选择为自然界雨声，情感类型选择为轻松开朗，情感水平选择为中度60（0~100），流派风格选择为民歌，演奏乐器为长笛、曲式调式为F自然大调、节奏节拍为90BPM、和声和弦为F和弦、音色表演为器乐音色、音量策略为动态调整（正常范围35~60分贝，初始35分贝）、优化方向为情感增强、优化步进系数为1、旋律继承系数为0.85。
本实施例中，音乐交互场景中可以设置多种类型的生理状态采集传感器或设备，持续采集记录整个交互过程中待检测用户的生理状态信号，生理状态信号至少包括脑电图信号、脑磁图信号、心电图信号、肌电图信号、皮肤电信号、血氧水平依赖信号、血氧信号、脉搏信号、呼吸信号、温度信号。
本实施例中，选择脑电图信号、皮肤电信号、脉搏信号和呼吸信号作为生理驱动信号；完成脑电图信号、皮肤电信号、脉搏信号和呼吸信号的数据特征与之间的音乐要素特征关系映射设置，为了更好的说明和陈述音乐要素特征关系映射的具体实施，将在“音乐要素特征映射转化”的具体实施中详细的联合陈述。在实际使用场景中，尤其是待检测用户的健康状态和疾病信息，来完成具体设置。
在本实施例中，构建完成音乐交互场景和待检测用户的神经心理创乐方案后，待检测用户进入到音乐交互场景中，以执行神经心理创乐方案中预设的执行时长来对待检测用户进行检测、训练。执行时长一般根据待检测用户的实际情况进行设置，实际上是一个时间范围，目的是检测待检测用户在该时间范围内产生的心理状态、行为状态等内容。在用户就绪后，执行预设执行时长的初始时间点，实际中可以是时间起点是0点开始，当然也可以是任意时间点开始，此处不做限制，只要完成执行时长即设定的时间范围内完成对待检测用户的检测即可。本方案记录的也是一时间范围内的待检测用户的心理状态和行为状态。
本实施例中，完成基础设置和基本构建后，在执行时长的时间起点处启动音乐交互场景，播放初始音乐。
P002：在所述音乐交互场景下，采集待检测用户的生理状态信号并进行连续滑动处理，提取出生理状态数据特征，以及对场景交互音乐进行分析处理并提取音乐数据特征。
本实施例中，选择便携式脑电图、皮肤电、脉搏和呼吸传感器来采集记录待检测用户的生理状态信号。其中，脑电图传感器的参数，采样率为1024Hz，四通道，基于国际10-20系统脑电电极位置放置标准的采集电极点F3、F4、T3、T4，参考电极为左右耳垂A1、A2；皮肤电传感器的参数，采样率为256Hz，单通道，左右食指和中指；脉搏传感器（压电式脉搏传感器），采样率为128Hz，单通道，选择右手的手腕桡侧（摸桡动脉）作为目标部位；呼吸传感器（胸腹带传感器）的参数，采样率为128Hz，单通道，固定在胸部和腹部之间中心带。
本实施例中，连续滑动处理是指以预设时间步长、预设时间窗口对生理状态信号进行信号数据提取、数据预处理和数据特征分析，而生理状态数据特征包括时域特征、频域特征、线性特征、非线性特征。使用30s时间窗口和15s时间步长（50%的重叠率）对生理状态信号进行信号截取和数据提取，这意味着后续生成更多的神经心理音乐片段，同时实现更快速的反馈互动和更连续的干预牵引力。
本实施例中，对截取提取后的窗口信号数据进行数据预处理，对脑电图信号的数据预处理主要是进行重参考（以A1、A2的平均电位重参考），去伪迹，信号矫正，小波降噪，通过Hamming窗、零相位的FIR数字滤波器完成50Hz工频陷波滤波，0.5~200Hz带通滤波；对皮肤电信号、脉搏信号和呼吸信号的数据预处理主要是进行去伪迹，信号矫正，通过Hamming窗、零相位的FIR数字滤波器完成2Hz低通滤波。
本实施例中，对数据预处理后的窗口信号数据进行数据特征分析，提取相应的生理数据特征，包括：脑电图信号的频谱图（频域特征）和样本熵（非线性特征），提取皮肤电信号中的SCL信号和SCR信号的均值（时域特征）和变异系数（时域特征），提取脉搏信号的平均脉率（时域特征）和变异系数（时域特征），提取呼吸信号的平均呼吸频率（时域特征）和变异系数（时域特征）。
本实施例中，对场景交互音乐（即播放初始音乐和神经心理音乐片段）进行分析处理，提取音乐数据特征，包括信号包络特征（时域特征）、频谱图和质心特征（频域特征）、信号过零率（线性特征）。
P003：对所述生理状态数据特征和所述音乐数据特征进行分析处理，生成待检测用户当前的情绪状态类型、情绪状态水平以及生理音乐耦合指数。
本实施例中，通过Bi-LSTM神经网络对不同情绪类型、不同情绪水平的生理状态数据特征输入进行训练学习和建模调优，得到神经网络情绪分类模型；通过GAN对抗神经网络对输入的不同情绪类型、不同情绪水平的生理状态数据特征进行训练学习和建模调优，得到神经网络情绪水平计算模型；由神经网络情绪分类模型和神经网络情绪水平计算模型，形成神经网络情绪分类与状态计算模型。将脑电图信号、皮肤电信号、脉搏信号和呼吸信号的生理状态数据特征输入神经网络情绪分类与状态计算模型，得到待检测用户当前时间窗口的情绪状态类型和情绪状态水平。
本实施例中，生理音乐耦合分析模型主要分析音乐频谱图功率谱对脑电图信号功率谱的频谱相关系数，以及音乐信号包络特征对脑电图信号功率谱中8-13Hz频带功率的调制强度，并进行加权计算。将生理状态数据特征和音乐数据特征输入生理音乐耦合分析模型，分析生理和音乐的关联性，评估音乐对生理的调节强度，生成生理音乐耦合指数。
P004：对所述生理状态数据特征进行音乐要素特征映射转化并输入音乐生成引擎，生成并播放神经心理音乐片段及进行音乐心理学分析，生成心理状态评估简报。
本实施例中，音乐生成引擎由神经网络音乐生成模型和音乐要素优化程序构成。通过GAN对抗神经网络对不同主题背景、不同流派风格、不同情绪类型、不同情绪水平、不同乐器、不同调式等音乐进行训练学习和建模调优，得到神经网络音乐生成模型；通过计算机解析程序将音乐要素取值作为模型参数输入神经网络音乐生成模型，实现音乐的智能生成，通过音乐要素优化程序对所生成音乐进行优化调整并输出音乐片段。
本实施例中，音乐要素特征关系映射是指建立生理信号数据特征集中的特征与音乐要素中的要素之间的对应关系映射，音乐要素特征映射转化则是指根据音乐要素特征关系映射，将生理状态数据特征中的生理状态数据特征值转化为音乐要素中要素的参数取值。音乐要素特征关系映射和音乐要素特征映射转化是音乐生成引擎工作的关键基础，是将生理状态到音乐创作、神经心理分析串联起来，是神经生理和精神心理之间的技术桥梁。以下为主要映射关系和转化原则：
1）脑电图信号的总功率对应主题背景，总功率的顺序范围对应主题背景的音量大小顺序范围（0~100）；
2）脑电图信号的频谱图中8-13Hz频带功率对应情感水平（即焦虑待检测用户的平静水平）；
3）脑电图信号的样本熵对应流派风格的感知程度，将归一化后的样本熵作为流派风格的感知度评价指数，超过或低于设定阈值范围会触发流派风格更新；
4）皮肤电信号中的SCL信号均值和SCR信号均值之和对应演奏乐器的感知程度，将归一化后的信号均值总和作为演奏乐器的感知度评价指数，超过或低于设定阈值范围会触发演奏乐器更新；
5）脉搏信号中的平均脉率对应节奏节拍，将平均脉率的相对变化量比例作为节奏节拍的相对变化量的调整比例，即根据平均脉率来调整音乐的节奏节拍。
6）呼吸信号中的平均呼吸频率对应音量（动态调整）策略，平均呼吸频率的相对变化量比例作为音量动态调整比例。
本实施例中，生理状态数据特征经过音乐要素特征映射转化，数据特征值转化为音乐要素取值，将音乐要素取值输入音乐生成引擎生成神经心理音乐片段，并播放反馈给待检测用户。
在实际使用场景中，应该根据待检测用户的具体情况，完成更多的生理状态数据特征提取，以及更合适且全面的音乐要素特征关系映射和音乐要素特征映射转化，尤其是主题背景、情感水平、节奏节拍、音量策略的变换或保持，来保证神经心理音乐片段和神经心理音乐的音乐渲染力和生理穿透力，以达到更好的实际应用效果。
本实施例中，使用脑电图信号、皮肤电信号、脉搏信号和呼吸信号作为生理驱动信号，在实际使用场景中脑电图信号和皮肤电信号同样也是能够直观反映情绪状态、心理活动和精神状态变化的生理信号，而脉搏信号和呼吸信号能够直观反映音乐对于听者（待检测用户）的生理影响。因此，在脑电图信号、皮肤电信号、脉搏信号和呼吸信号的数据特征驱动下，结合神经网络音乐生成模型的创造性和表现力，持续生成的神经心理音乐片段也能够很好地激发和诱导待检测用户的情绪状态、心理活动和精神状态，使其心境脱离焦虑并进入一种专注和平静的状态。
本实施例中，对持续变化的神经心理音乐片段进行音乐心理学分析，评估待检测用户的人际关系状况、情绪状态、心理状态、应激和应对状态、性格特征等，并结合来自生理方向分析评估的情绪状态类型、情绪状态水平和生理音乐耦合指数，生成心理状态评估简报，包括情绪状态类型、情绪状态指数、心理精神状态、应激水平、应对能力、情感动机。
P005：根据所述情绪状态类型、所述情绪状态水平、所述生理音乐耦合指数和所述心理状态评估简报，完成目标路径规划分析，生成音乐生成参数调整策略，更新所述音乐生成引擎的生产参数。
本实施例中，目标路径规划分析是根据神经心理创乐方案中目标情绪类型和目标情绪水平，对情绪状态类型、情绪状态水平和心理状态评估简报进行情绪迭代分析和音乐要素迭代分析，生成音乐生成参数调整策略。
本实施例中，情绪迭代分析的基本方法步骤是：获取当前情绪状态类型和情绪状态水平，结合神经心理创乐方案中目标情绪类型和目标情绪水平，获得情绪状态差值；获取当前已执行时长，计算剩余优化次数，获得情绪次均优化增量。
本实施例中，情绪状态差值的计算公式，如下：
Figure 860009DEST_PATH_IMAGE013
式中，
Figure 586657DEST_PATH_IMAGE014
为情绪状态差值，
Figure 310110DEST_PATH_IMAGE015
为神经心理创乐方案中目标情绪类型的目标情绪水平，
Figure 754998DEST_PATH_IMAGE016
为当前情绪状态类型的情绪状态水平，
Figure 577592DEST_PATH_IMAGE017
为不同情绪状态类型的换算系数。
在实际使用场景中，情绪状态类型可以分为快乐、愤怒、悲哀、恐惧四种基本形式及其混合叠加形式，也可以分为快乐、信任、惊讶、期待、生气、悲伤、厌恶、恐惧八种基本形式及其混合叠加形式，在情绪状态分类和情绪水平识别实际操作中选择后者更优。不同情绪状态类型间的换算系数，可由实际使用场景确定，本实施例中选择后者，且以快乐为目标情绪类别，快乐、信任、惊讶、期待、生气、悲伤、厌恶、恐惧对于快乐的换算系数分别为1.0、0.8、0.7、0.6、-1.0、-0.8、-0.9、-1.0。
本实施例中，剩余优化次数的计算公式，如下：
Figure 378320DEST_PATH_IMAGE018
式中，
Figure 306962DEST_PATH_IMAGE019
为剩余优化次数，
Figure 661982DEST_PATH_IMAGE020
为神经心理创乐方案中的执行时长，
Figure 209638DEST_PATH_IMAGE021
为已执行时长，
Figure 301091DEST_PATH_IMAGE022
为预设时间窗口长度。
本实施例中，情绪次均优化增量的计算公式，如下：
Figure 433257DEST_PATH_IMAGE023
式中，
Figure 774108DEST_PATH_IMAGE024
为情绪次均优化增量、
Figure 282712DEST_PATH_IMAGE025
为情绪状态差值、
Figure DEST_PATH_IMAGE026
为剩余优化次数。
本实施例中，音乐要素迭代分析是指基于神经心理创乐方案中目标情绪类型和目标情绪水平，根据情绪状态类型、情绪状态水平、心理状态评估简报和情绪次均优化增量，通过人工智能算法对音乐要素中主片段时长、主题背景、情感类型、情感水平、流派风格、演奏乐器、曲式调式、节奏节拍、和声和弦、音色表演、音量策略进行分析评估，以优化方向、优化步进系数、旋律继承系数确定音乐生成引擎的生产参数。
本实施例中，音乐生成参数调整策略包括情感迭代目标值、演奏乐器组合、曲式调式演变策略、节奏节拍目标值、和声和弦调整策略、音色表演调整策略、音量目标强度值、音频目标播放速率及其他音频播放控制参数。根据当前状态下的情绪状态类型、情绪状态水平、生理音乐耦合指数和心理状态评估简报，对比分析待检测用户前后的情绪状态和心境状态，识别疾病治疗干预的下一步目的方向，确定音乐要素的启用状态和参数取值，生成音乐生成参数调整策略，更新音乐生成引擎的生产参数。
P006：重复执行上述步骤至所述执行时长的终点时刻处停止，根据待检测用户的不同生理状态数据特征执行所述音乐生成引擎的生产参数的多次更新，实现对待检测用户的神经心理评估及干预。
本实施例中，通过实时地采集记录女性焦虑症患者的脑电图信号、皮肤电信号、脉搏信号和呼吸信号（生理状态信号），实时地以15s时间步长、30s时间窗口对生理状态信号进行信号数据提取、数据预处理和数据特征分析，实时地提取时域特征、频域特征、线性特征、非线性特征等生理状态数据特征，实时地完成情绪状态类型、情绪状态水平和生理音乐耦合指数的分析提取，实时地完成生理状态数据特征进行音乐要素特征映射转化并输入音乐生成引擎生成神经心理音乐片段，实时地向女性焦虑症患者进行播放反馈，实时地对当前神经心理音乐片段的音乐心理学分析并生成心理状态评估简报和提取音乐生成参数调整策略，通过不同时序的预设时间窗口的神经心理创乐迭代过程来实现对女性焦虑症患者的动态地疾病治疗干预。
本实施例中，方案执行时长为20分钟，使用30s时间窗口和15s时间步长的时间窗口，来完成对女性焦虑症患者更快速的神经生理和神经心理的观察分析和效果评估，更及时地调整干预治疗的策略和内容，过程中也产生了更多的心理状态评估简报和神经心理音乐片段。神经心理音乐由多个连续时序神经心理音乐片段构成，是精神心理和心境变化的直观体验反映。在连续时序生成的神经心理音乐片段合成神经心理音乐后，音乐要素中的旋律继承系数依然保证了曲子音乐的整体感和流畅和谐。精神心理评估报告和治疗干预进展报告，由多个连续时序心理状态评估简报生成，是对整个疾病治疗干预过程中女性焦虑症患者（待测试用户）的精神心理状态演变和行为心理变化进行整体观察和总结分析的结果，其中，精神心理评估报告包括精神状态报告、应激应对报告、动机情感报告、人格类型报告，治疗干预进展报告包括治疗效果报告、治疗干预调整策略、疾病治疗建议。
如图2-7所示，本发明还提出了一种基于音乐创作的神经心理评估及干预的系统S000，系统S000包括如下模块：
创乐方案管理模块S100，用于根据待检测用户的基本状态信息确定神经心理创乐方案的编辑设置，以及音乐生成引擎的生产参数初始化；在神经心理创乐方案中预先设置执行时长，并在执行时长的时间起点处启动音乐交互场景的状态开启，并在执行时长的终点时刻处停止音乐交互场景，以根据待检测用户的不同生理状态数据特征执行音乐生成引擎的生产参数的多次更新，生成对待检测用户的神经心理评估及干预方案；
信号采集处理模块S200，用于在音乐交互场景下，采集待检测用户的生理状态信号并进行连续滑动处理，提取出生理状态数据特征；
情绪耦合分析模块S300，用于对生理状态数据特征和音乐数据特征进行分析处理，生成待检测用户当前的情绪状态类型、情绪状态水平以及生理音乐耦合指数；
创乐心理分析模块S400，用于对生理状态数据特征进行音乐要素特征映射转化并输入音乐生成引擎，生成并播放神经心理音乐片段及进行音乐心理学分析，生成心理状态评估简报；根据情绪状态类型、情绪状态水平、生理音乐耦合指数和心理状态评估简报，完成目标路径规划分析，生成音乐生成参数调整策略，更新音乐生成引擎的生产参数。
神经心理报告模块S500，用于根据心理状态评估简报和神经心理音乐片段，生成神经心理音乐、精神心理评估报告和治疗干预进展报告；
数据存储管理模块S600，用于对创乐方案管理模块S100、信号采集处理模块S200、情绪耦合分析模块S300、创乐心理分析模块S400和神经心理报告模块S500所产生的过程数据进行统一存储和管理；
创乐方案管理模块S100块包括：
信息记录单元S101，用于待检测用户基本状态信息的输入、编辑、删除、查询和设置管理，基本状态信息包括姓名、性别、年龄、身高、体重、血压、健康状况、疾病信息；
创乐方案设置单元S102，用于神经心理创乐方案的输入、编辑、删除、查询和设置管理，神经心理创乐方案包括方案名称、方案类型、目标情绪类型、目标情绪水平、音乐要素、生理驱动信号、音乐要素特征关系映射、执行时长、反馈类型；
关系映射设置单元S103，用于音乐要素特征关系映射的输入、编辑、删除、查询和设置管理。
信号采集处理模块S200包括：
生理信号采集单元S201，用于连接生理状态监测设备，获取生理状态信号，生理状态信号包括脑电图信号、脑磁图信号、心电图信号、肌电图信号、皮肤电信号、血氧水平依赖信号、血氧信号、呼吸信号、温度信号；
信号数据提取单元S202，用于以预设时间步长、预设时间窗口对生理状态信号进行信号截取和数据提取；
数据预处理单元S203，用于对生理状态信号进行数据预处理，数据预处理包括A/D数模转换、重采样、重参考、降噪、去伪迹、信号矫正、工频陷波、低通滤波、高通滤波和带通滤波；
数据特征分析单元S204，用于对生理状态信号进行数据特征分析，数据特征分析包括时域特征分析、频域特征分析、线性特征分析、非线性特征分析。
音乐特征提取单元S205，用于对场景交互音乐进行分析处理，提取音乐数据特征，音乐数据特征包括时域特征、频域特征、线性特征、非线性特征。
情绪耦合分析模块S300包括：
情绪计算识别单元S301，用于将生理状态数据特征输入神经网络情绪分类与状态计算模型，生成情绪状态类型和情绪状态水平；
生乐耦合分析单元S302，用于将生理状态数据特征和音乐数据特征输入生理音乐耦合分析模型，生成生理音乐耦合指数。
创乐心理分析模块S400包括：
特征映射转化单元S401，用于根据音乐要素特征关系映射，将生理状态数据特征中的数据特征值转化为音乐要素中要素的参数取值；
音乐生成引擎工作单元S402，用于根据音乐要素的策略设置和参数取值，生成神经心理音乐片段；
行为心理分析单元S403，用于结合情绪状态类型、情绪状态水平和生理音乐耦合指数，对神经心理音乐片段进行音乐心理学分析，生成心理状态评估简报；
音乐调整策略单元S404，用于完成目标路径规划分析，生成音乐生成参数调整策略，并对音乐要素的启用和/或取值进行更新调整，更新音乐生成引擎的生产参数，音乐生成参数调整策略包括情感迭代目标值、演奏乐器组合、曲式调式演变策略、节奏节拍目标值、和声和弦调整策略、音色表演调整策略、音量目标强度值、音频目标播放速率及其他音频播放控制参数；
音乐播放控制单元S405，用于根据神经心理创乐方案中的反馈类型取值，将神经心理音乐片段播放输出，反馈或不反馈给检测用户和/或其他用户。
神经心理报告模块S500包括：
音乐片段合成单元S501，用于根据多次更新过程中生成的全部连续时序的神经心理音乐片段，拼接生成神经心理音乐；
心理评估报告单元S502，用于根据多次更新过程中生成的全部连续时序的心理状态评估简报，生成精神心理评估报告；
治疗进展报告单元S503，用于根据多次更新过程中生成的全部连续时序的心理状态评估简报，生成治疗干预进展报告。
如图8所示，本发明还提出了一种基于音乐创作的神经心理评估及干预的装置，该装置包括：
可视化控制界面M100，用于神经心理创乐方案的编辑输入和执行控制，心理状态评估简报、精神心理评估报告和治疗干预进展报告的展示和反馈，神经音乐片段和神经心理音乐的播放控制和界面展示；
生理信号采集器M200，用于通过生理信号采集设备和采集集成通讯模组，实现采集记录待检测用户的生理状态信号；
数据分析处理器M300，用于在对生理状态信号进行连续滑动处理，提取出生理状态数据特征；对场景交互音乐进行分析处理，提取音乐数据特征；对生理状态数据特征和所述音乐数据特征进行分析处理，生成待检测用户当前的情绪状态类型、情绪状态水平以及生理音乐耦合指数；对生理状态数据特征进行音乐要素特征映射转化并输入音乐生成引擎，生成并播放神经心理音乐片段及进行音乐心理学分析，生成心理状态评估简报；根据情绪状态类型、情绪状态水平、生理音乐耦合指数和心理状态评估简报，完成目标路径规划分析，生成音乐生成参数调整策略，更新音乐生成引擎的生产参数；生成精神心理评估报告和治疗干预进展报告；
音乐生成引擎器M400，用于实现神经心理音乐片段和神经心理音乐的生成；
音乐播放控制器M500，用于实现神经心理音乐片段和神经心理音乐的播放控制和音频输出；
数据记录存储器M600，用于记录和存储全部的过程数据。
本发明还提供了可编程的各类处理器（FPGA、ASIC或其他集成电路），上述处理器用于运行程序，其中，上述程序运行时执行实施例中的步骤。
本发明还提供了对应的计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，上述存储器执行上述程序时实现实施例中的步骤。
虽然本发明所揭露的实施方式如上，但上述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和原则的前提下，可以在实施的形式及细节上进行任何的修改与变化、等同替换等，这些都属于本发明的保护范围。因此，本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (26)

1.一种基于音乐创作的神经心理评估及干预的方法，其特征在于，所述方法包括如下步骤：
预先设置一执行时长，并在所述执行时长的时间起点处启动音乐交互场景；
在所述音乐交互场景下，采集待检测用户的生理状态信号并进行连续滑动处理，提取出生理状态数据特征，以及对场景交互音乐进行分析处理并提取音乐数据特征；
对所述生理状态数据特征和所述音乐数据特征进行分析处理，生成待检测用户当前的情绪状态类型、情绪状态水平以及生理音乐耦合指数；
对所述生理状态数据特征进行音乐要素特征映射转化并输入音乐生成引擎，生成并播放神经心理音乐片段及进行音乐心理学分析，生成心理状态评估简报；
根据所述情绪状态类型、所述情绪状态水平、所述生理音乐耦合指数和所述心理状态评估简报，完成目标路径规划分析，生成音乐生成参数调整策略，更新所述音乐生成引擎的生产参数；
重复执行上述步骤至所述执行时长的终点时刻处停止，根据待检测用户的不同生理状态数据特征执行所述音乐生成引擎的生产参数的多次更新，实现对待检测用户的神经心理评估及干预。
2.如权利要求1所述的方法，其特征在于，所述预先设置一执行时长，并在所述执行时长的时间起点处启动音乐交互场景的步骤具体为，根据待检测用户的基本状态信息确定神经心理创乐方案的编辑设置，以及音乐生成引擎的生产参数初始化，其中，所述基本状态信息至少包括姓名、性别、出生日期、年龄、身高、体重、血压、健康状况、疾病信息；在所述执行时长的时间起点处启动音乐交互场景，播放初始音乐。
3.如权利要求2所述的方法，其特征在于，所述神经心理创乐方案至少包括方案名称、方案类型、目标情绪类型、目标情绪水平、音乐要素、生理驱动信号、音乐要素特征关系映射、执行时长、反馈类型；其中，所述音乐要素至少包括片段时长、主题背景、情感类型、情感水平、流派风格、演奏乐器、曲式调式、节奏节拍、和声和弦、音色表演、音量策略、优化方向、优化步进系数、旋律继承系数。
4.如权利要求1所述的方法，其特征在于，所述在所述音乐交互场景下，采集待检测用户的生理状态信号并进行连续滑动处理，提取出生理状态数据特征，以及对场景交互音乐进行分析处理并提取音乐数据特征的步骤具体为，采集待检测用户的所述生理状态信号；以预设时间步长、预设时间窗口对所述生理状态信号进行信号数据提取、数据预处理和数据特征分析，提取出所述生理状态数据特征；对所述场景交互音乐进行分析处理，提取所述音乐数据特征。
5.如权利要求1所述的方法，其特征在于，所述生理状态信号至少包括脑电图信号、脑磁图信号、心电图信号、肌电图信号、皮肤电信号、血氧水平依赖信号、血氧信号、脉搏信号、呼吸信号、温度信号。
6.如权利要求4所述的方法，其特征在于，所述数据预处理至少包括A/D数模转换、重采样、重参考、降噪、去伪迹、信号矫正、工频陷波、低通滤波、高通滤波和带通滤波。
7.如权利要求4所述的方法，其特征在于，所述数据特征分析至少包括时域特征分析、频域特征分析、线性特征分析、非线性特征分析。
8.如权利要求1所述的方法，其特征在于，所述生理状态数据特征至少包括时域特征、频域特征、线性特征、非线性特征。
9.如权利要求1所述的方法，其特征在于，所述音乐数据特征至少包括时域特征、频域特征、线性特征、非线性特征。
10.如权利要求1所述的方法，其特征在于，所述对所述生理状态数据特征和所述音乐数据特征进行分析处理，生成待检测用户当前的情绪状态类型、情绪状态水平以及生理音乐耦合指数的步骤具体为，通过对基于不同情绪类型、不同情绪水平的生理状态数据特征的训练集数据进行训练，预先构建基于Bi-LSTM神经网络的神经网络情绪分类模型和基于GAN对抗神经网络模型的神经网络情绪水平计算模型，由所述神经网络情绪分类模型和所述神经网络情绪水平计算模型构成神经网络情绪分类与状态计算模型；将所述生理状态数据特征输入至所述神经网络情绪分类与状态计算模型，得到待检测用户当前的所述情绪状态类型和所述情绪状态水平；将所述生理状态数据特征和所述音乐数据特征输入生理音乐耦合分析模型，得到待检测用户当前的所述生理音乐耦合指数。
11.如权利要求10所述的方法，其特征在于，所述生理音乐耦合分析模型用于根据所述生理状态数据特征和所述音乐数据特征，分析生理和音乐的关联性，评估音乐对生理的调节强度，生成所述生理音乐耦合指数。
12.如权利要求1所述的方法，其特征在于，所述对所述生理状态数据特征进行音乐要素特征映射转化并输入音乐生成引擎，生成并播放神经心理音乐片段及进行音乐心理学分析，生成心理状态评估简报的步骤具体为，预先构建基于GAN对抗神经网络和音乐要素优化程序的音乐生成引擎；根据音乐要素特征关系映射的映射关系，将所述生理状态数据特征中的生理状态数据特征值转化为所述音乐要素中要素的参数取值；将所述参数取值输入音乐生成引擎生成所述神经心理音乐片段，并播放反馈给待检测用户；对所述神经心理音乐片段进行心理学分析，并结合所述情绪状态类型、所述情绪状态水平和所述生理音乐耦合指数，生成所述心理状态评估简报。
13.如权利要求2所述的方法，其特征在于，所述根据所述情绪状态类型、所述情绪状态水平、所述生理音乐耦合指数和所述心理状态评估简报，完成目标路径规划分析，生成音乐生成参数调整策略，更新所述音乐生成引擎的生产参数的步骤具体为，根据所述神经心理创乐方案中目标情绪类型和目标情绪水平，对所述情绪状态类型、所述情绪状态水平和所述心理状态评估简报进行情绪迭代计算，获取当前的情绪状态类型和情绪状态水平与所述神经心理创乐方案中目标情绪类型和目标情绪水平的情绪状态差值，获取当前已执行时长，计算剩余优化次数，根据所述剩余优化次数计算情绪次均优化增量；根据所述情绪状态类型、所述情绪状态水平、所述心理状态评估简报和所述情绪次均优化增量进行音乐要素迭代分析，生成所述音乐生成参数调整策略，以更新所述音乐生成引擎的生产参数。
14.如权利要求13所述的方法，其特征在于，
所述情绪状态差值的计算公式，如下：
Figure 300235DEST_PATH_IMAGE001
式中，
Figure 367417DEST_PATH_IMAGE002
为所述情绪状态差值，
Figure 962609DEST_PATH_IMAGE003
为所述神经心理创乐方案中目标情绪类型的目标情绪水平，
Figure 507860DEST_PATH_IMAGE004
为当前情绪状态类型的情绪状态水平，
Figure 340949DEST_PATH_IMAGE005
为不同情绪状态类型的换算系数；
所述剩余优化次数的计算公式，如下：
Figure 1869DEST_PATH_IMAGE006
式中，
Figure 130362DEST_PATH_IMAGE007
为所述剩余优化次数，
Figure 479303DEST_PATH_IMAGE008
为所述神经心理创乐方案中的执行时长，
Figure 88270DEST_PATH_IMAGE009
为已执行时长，
Figure 998720DEST_PATH_IMAGE010
为预设时间窗口长度；
所述情绪次均优化增量的计算公式，如下：
Figure 270301DEST_PATH_IMAGE011
式中，dMI为所述情绪次均优化增量、
Figure 924399DEST_PATH_IMAGE012
为所述情绪状态差值、
Figure 168298DEST_PATH_IMAGE013
为所述剩余优化次数。
15.如权利要求13所述的方法，其特征在于，所述音乐生成参数调整策略至少包括情感迭代目标值、演奏乐器组合、曲式调式演变策略、节奏节拍目标值、和声和弦调整策略、音色表演调整策略、音量目标强度值、音频目标播放速率。
16.如权利要求1所述的方法，其特征在于，所述重复执行上述步骤至所述执行时长的终点时刻处停止，根据待检测用户的不同生理状态数据特征执行所述音乐生成引擎的生产参数的多次更新，实现对待检测用户的神经心理评估及干预的步骤还包括，执行多次更新过程中生成的全部的所述神经心理音乐片段生成神经心理音乐，以及，执行多次更新过程中生成的全部的所述心理状态评估简报生成精神心理评估报告和治疗干预进展报告，实现对待检测用户的神经心理评估及干预。
17.如权利要求16所述的方法，其特征在于，所述精神心理评估报告至少包括精神状态报告、应激应对报告、动机情感报告、人格类型报告；所述治疗干预进展报告至少包括治疗效果报告、治疗干预调整策略、疾病治疗建议。
18.一种基于音乐创作的神经心理评估及干预的系统，其特征在于，所述系统包括如下模块：
创乐方案管理模块，用于根据待检测用户的基本状态信息确定神经心理创乐方案的编辑设置，以及音乐生成引擎的生产参数初始化；在所述神经心理创乐方案中预先设置执行时长，并在所述执行时长的时间起点处启动音乐交互场景，在所述执行时长的终点时刻处停止所述音乐交互场景，以根据待检测用户的不同生理状态数据特征执行所述音乐生成引擎的生产参数的多次更新，生成对待检测用户的神经心理评估及干预方案；
信号采集处理模块，用于在所述音乐交互场景下，采集待检测用户的生理状态信号并进行连续滑动处理，提取出生理状态数据特征，以及对场景交互音乐进行分析处理并提取音乐数据特征；
情绪耦合分析模块，用于对所述生理状态数据特征和所述音乐数据特征进行分析处理，生成待检测用户当前的情绪状态类型、情绪状态水平以及生理音乐耦合指数；
创乐心理分析模块，用于对所述生理状态数据特征进行音乐要素特征映射转化并输入音乐生成引擎，生成并播放神经心理音乐片段及进行音乐心理学分析，生成心理状态评估简报；根据所述情绪状态类型、所述情绪状态水平、所述生理音乐耦合指数和所述心理状态评估简报，完成目标路径规划分析，生成音乐生成参数调整策略，更新所述音乐生成引擎的生产参数；
神经心理报告模块，用于根据所述心理状态评估简报和所述神经心理音乐片段，生成神经心理音乐、精神心理评估报告和治疗干预进展报告；
数据存储管理模块，用于对创乐方案管理模块、信号采集处理模块、创乐心理分析模块、情绪耦合分析模块和神经心理报告模块所产生的过程数据进行统一存储和管理。
19.如权利要求18所述的系统，其特征在于，所述创乐方案管理模块包括：
信息记录单元，用于待检测用户所述基本状态信息的输入、编辑、删除、查询和设置管理，所述基本状态信息至少包括姓名、性别、年龄、身高、体重、血压、健康状况、疾病信息；
创乐方案设置单元，用于所述神经心理创乐方案的输入、编辑、删除、查询和设置管理，所述神经心理创乐方案至少包括方案名称、方案类型、目标情绪类型、目标情绪水平、音乐要素、生理驱动信号、音乐要素特征关系映射、执行时长、反馈类型；
关系映射设置单元，用于所述音乐要素特征关系映射的输入、编辑、删除、查询和设置管理。
20.如权利要求18所述的系统，其特征在于，所述信号采集处理模块包括：
生理信号采集单元，用于连接生理状态监测设备，获取所述生理状态信号，所述生理状态信号至少包括脑电图信号、脑磁图信号、心电图信号、肌电图信号、皮肤电信号、血氧水平依赖信号、血氧信号、呼吸信号、温度信号；
信号数据提取单元，用于以预设时间步长、预设时间窗口对所述生理状态信号进行信号截取和数据提取；
数据预处理单元，用于对所述生理状态信号进行数据预处理，所述数据预处理至少包括A/D数模转换、重采样、重参考、降噪、去伪迹、信号矫正、工频陷波、低通滤波、高通滤波和带通滤波；
数据特征分析单元，用于对所述生理状态信号进行数据特征分析，所述数据特征分析至少包括时域特征分析、频域特征分析、线性特征分析、非线性特征分析；
音乐特征提取单元，用于对所述场景交互音乐进行分析处理，提取所述音乐数据特征，所述音乐数据特征至少包括时域特征、频域特征、线性特征、非线性特征。
21.如权利要求18所述的系统，其特征在于，所述情绪耦合分析模块包括：
情绪计算识别单元，用于将所述生理状态数据特征输入神经网络情绪分类与状态计算模型，生成所述情绪状态类型和所述情绪状态水平；
生乐耦合分析单元，用于将所述生理状态数据特征和所述音乐数据特征输入生理音乐耦合分析模型，生成所述生理音乐耦合指数。
22.如权利要求18所述的系统，其特征在于，所述创乐心理分析模块包括：
特征映射转化单元，用于根据所述音乐要素特征关系映射，将所述生理状态数据特征中的数据特征值转化为所述音乐要素中要素的参数取值；
音乐生成引擎工作单元，用于根据所述音乐要素的策略设置和参数取值，生成所述神经心理音乐片段；
行为心理分析单元，用于结合所述情绪状态类型、所述情绪状态水平和所述生理音乐耦合指数，对所述神经心理音乐片段进行音乐心理学分析，生成所述心理状态评估简报；
音乐调整策略单元，用于完成目标路径规划分析，生成所述音乐生成参数调整策略，并对所述音乐要素的启用和/或取值进行更新调整，更新所述音乐生成引擎的生产参数，所述音乐生成参数调整策略至少包括音乐生成参数调整策略包括情感迭代目标值、演奏乐器组合、曲式调式演变策略、节奏节拍目标值、和声和弦调整策略、音色表演调整策略、音量目标强度值、音频目标播放速率；
音乐播放控制单元，用于根据所述神经心理创乐方案中的反馈类型取值，将所述神经心理音乐片段播放输出，反馈或不反馈给检测和/或其他用户。
23.如权利要求18所述的系统，其特征在于，所述神经心理报告模块，包括：
音乐片段合成单元，用于根据多次更新过程中生成的全部连续时序的所述神经心理音乐片段，拼接生成所述神经心理音乐；
心理评估报告单元，用于根据多次更新过程中生成的全部连续时序的所述心理状态评估简报，生成所述精神心理评估报告；
治疗进展报告单元，用于根据多次更新过程中生成的全部连续时序的所述心理状态评估简报，生成所述治疗干预进展报告。
24.一种基于音乐创作的神经心理评估及干预的装置，其特征在于，所述装置包括以下模组：
可视化控制界面，用于所述神经心理创乐方案的编辑输入和执行控制，心理状态评估简报、精神心理评估报告和治疗干预进展报告的展示和反馈，神经音乐片段和神经心理音乐的播放控制和界面展示；
生理信号采集器，用于通过生理信号采集设备和采集集成通讯模组，实现采集记录待检测用户的生理状态信号；
数据分析处理器，用于对所述生理状态信号进行连续滑动处理，提取出生理状态数据特征；对场景交互音乐进行分析处理，提取音乐数据特征；对所述生理状态数据特征和所述音乐数据特征进行分析处理，生成待检测用户当前的情绪状态类型、情绪状态水平以及生理音乐耦合指数；对所述生理状态数据特征进行音乐要素特征映射转化并输入音乐生成引擎，生成并播放神经心理音乐片段及进行音乐心理学分析，生成心理状态评估简报；根据所述情绪状态类型、所述情绪状态水平、所述生理音乐耦合指数和所述心理状态评估简报，完成目标路径规划分析，生成音乐生成参数调整策略，更新所述音乐生成引擎的生产参数；生成精神心理评估报告和治疗干预进展报告；
音乐生成引擎器，用于实现所述神经心理音乐片段和所述神经心理音乐的生成；
音乐播放控制器，用于实现所述神经心理音乐片段和所述神经心理音乐的播放控制和音频输出；
数据记录存储器，用于记录和存储全部的过程数据。
25.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序实现如权利要求1-17任一项所述方法的步骤。
26.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行实现如权利要求1-17任一项所述方法的步骤。
CN202211314935.8A 2022-10-26 2022-10-26 基于音乐创作的神经心理评估及干预的方法、系统和装置 Pending CN115363587A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211314935.8A CN115363587A (zh) 2022-10-26 2022-10-26 基于音乐创作的神经心理评估及干预的方法、系统和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211314935.8A CN115363587A (zh) 2022-10-26 2022-10-26 基于音乐创作的神经心理评估及干预的方法、系统和装置

Publications (1)

Publication Number Publication Date
CN115363587A true CN115363587A (zh) 2022-11-22

Family

ID=84072758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211314935.8A Pending CN115363587A (zh) 2022-10-26 2022-10-26 基于音乐创作的神经心理评估及干预的方法、系统和装置

Country Status (1)

Country Link
CN (1) CN115363587A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100234671A1 (en) * 2009-03-12 2010-09-16 Brandes Vera M Systems and Methods for Music Therapy
CN107174238A (zh) * 2017-05-19 2017-09-19 深圳睿京科技有限公司 生理数据的处理方法及装置
CN110947076A (zh) * 2019-11-27 2020-04-03 华南理工大学 一种可进行精神状态调节的智能脑波音乐可穿戴设备
CN111068159A (zh) * 2019-12-27 2020-04-28 兰州大学 一种基于脑电信号的音乐反馈抑郁情绪调节系统
CN114470475A (zh) * 2022-01-25 2022-05-13 福州亚历山大健康管理有限公司 场景型认知引导音波治疗系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100234671A1 (en) * 2009-03-12 2010-09-16 Brandes Vera M Systems and Methods for Music Therapy
CN107174238A (zh) * 2017-05-19 2017-09-19 深圳睿京科技有限公司 生理数据的处理方法及装置
CN110947076A (zh) * 2019-11-27 2020-04-03 华南理工大学 一种可进行精神状态调节的智能脑波音乐可穿戴设备
CN111068159A (zh) * 2019-12-27 2020-04-28 兰州大学 一种基于脑电信号的音乐反馈抑郁情绪调节系统
CN114470475A (zh) * 2022-01-25 2022-05-13 福州亚历山大健康管理有限公司 场景型认知引导音波治疗系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡光蓉 *

Similar Documents

Publication Publication Date Title
CN109087706B (zh) 基于睡眠大数据的人体健康评估方法及评估系统
CN107242857A (zh) 基于深度学习的智能中医综合诊疗系统
CN111068159A (zh) 一种基于脑电信号的音乐反馈抑郁情绪调节系统
CN201227465Y (zh) 多路径便携式心理情绪调节及智力潜能激发仪
CN101822863A (zh) 情绪调节装置和方法
JP2001503667A (ja) 睡眠プロファイルを求める装置と方法
CN101284156A (zh) 注意缺陷障碍症的个性化矫治方法及装置
CN115376695A (zh) 基于扩展现实的神经心理评估及干预的方法、系统和装置
CN109715049A (zh) 用于创伤性脑损伤的多模态生理刺激和评估的协议和签名
CN108721048A (zh) 康复训练控制方法、计算机可读存储介质和终端
WO2018106146A2 (ru) Способ и система неинвазивной скрининговой оценки физиологических параметров и патологий
CN1739817A (zh) 个性化立体健康训练方法及装置
CN116313029B (zh) 一种数字针灸动态控制优化的方法、系统和装置
CN116058804A (zh) 一种睡眠情绪活跃水平动态调节的方法、系统和装置
CN110782992B (zh) 基于心电信号的康复效果量化评估智能实现方法及系统
CN114582466A (zh) 一种基于hrv生物反馈训练的心理舒缓减压方法及系统
CN115486819B (zh) 一种感知觉神经通路多级联检测量化的方法、系统和装置
Yiu et al. Fatigue-Related change in surface electromyographic activities of the perilaryngeal muscles
CN115486820B (zh) 一种针灸疗效及生理效应检测量化的方法、系统和装置
CN115363587A (zh) 基于音乐创作的神经心理评估及干预的方法、系统和装置
Idrobo-Ávila et al. Development of a biofeedback system using harmonic musical intervals to control heart rate variability with a generative adversarial network
CN115394395B (zh) 基于绘画创作的神经心理评估及干预的方法、系统和装置
CN112190233A (zh) 患者术后居家疼痛观察远程分析管理系统
Sano et al. A Method for Estimating Emotions Using HRV for Vital Data and Its Application to Self-mental care management system
JP4371699B2 (ja) バイタルサイン計測システム、バイタルサイン計測方法、バイタルサイン計測プログラム、及び記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination