CN117959555A - 基于实时脑电监测技术的体感音波刺激方法和装置 - Google Patents

基于实时脑电监测技术的体感音波刺激方法和装置 Download PDF

Info

Publication number
CN117959555A
CN117959555A CN202410186631.0A CN202410186631A CN117959555A CN 117959555 A CN117959555 A CN 117959555A CN 202410186631 A CN202410186631 A CN 202410186631A CN 117959555 A CN117959555 A CN 117959555A
Authority
CN
China
Prior art keywords
somatosensory
time
signal
signals
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410186631.0A
Other languages
English (en)
Inventor
缪国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Dnake Intelligent Technology Co ltd
Original Assignee
Xiamen Dnake Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Dnake Intelligent Technology Co ltd filed Critical Xiamen Dnake Intelligent Technology Co ltd
Priority to CN202410186631.0A priority Critical patent/CN117959555A/zh
Publication of CN117959555A publication Critical patent/CN117959555A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Anesthesiology (AREA)
  • Evolutionary Biology (AREA)
  • Acoustics & Sound (AREA)
  • Hematology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Dermatology (AREA)
  • Fuzzy Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)

Abstract

本发明公开了基于实时脑电监测技术的体感音波刺激方法和装置，其体感音波刺激方法包括以下步骤：S1：使用脑电图设备‑EEG电极帽，来记录个体的脑电信号，将EEG电极帽上的电极分布在头皮上，并记录大脑神经元的电活动，其可以提供实时和非侵入式的大脑活动信息；S2：采集到的脑电信号通常需要进行预处理，以去除噪声和伪迹，并增强有用的信号成分。本发明通过采集个体的脑电信号，并通过处理生成相应的音波刺激进行传递播放的方式，能够适用于个体的使用，从而能够实现个性化、沉浸式和实时的体感体验，提高人员使用体验感。

Description

基于实时脑电监测技术的体感音波刺激方法和装置
技术领域
本发明涉及体感音波刺激技术领域，尤其涉及基于实时脑电监测技术的体感音波刺激方法和装置。
背景技术
体感音波刺激是指通过音波向个体传递特定的声音刺激，以产生特定的感觉或效果，体感音波刺激可用于虚拟现实、游戏和心理疗法，在虚拟现实领域通过音波刺激耳朵或身体的特定部位，可以模拟人们在虚拟场景中的感觉，例如风吹过耳边、爆炸声、触感等，从而提升用户的沉浸感，在游戏领域通过音波刺激耳朵和身体的感受器官，能够让玩家更好地感受到游戏中的音效、动作和环境，在心理疗法领域通过音波刺激患者的平衡感受器官，可以帮助他们恢复平衡功能，此外，体感音波刺激还可以用于促进深度放松、减轻焦虑和疼痛等方面；
现有技术中的体感音波刺激方法在使用过程中仍存在以下不足：1、现有的体感音波刺激方法较为单一，其使用体验感较低，不能够根据个体的年龄、性别、认知状态和大脑结构等因素给出适合的体感音波刺激，不能满足使用需求，综合上述情况，因此我们提出了基于实时脑电监测技术的体感音波刺激方法和装置。
发明内容
基于背景技术存在的技术问题，本发明提出了基于实时脑电监测技术的体感音波刺激方法和装置。
本发明提出的基于实时脑电监测技术的体感音波刺激方法，包括以下步骤：
S1：使用脑电图设备-EEG电极帽，来记录个体的脑电信号，将EEG电极帽上的电极分布在头皮上，并记录大脑神经元的电活动，其可以提供实时和非侵入式的大脑活动信息；
S2：采集到的脑电信号通常需要进行预处理，以去除噪声和伪迹，并增强有用的信号成分；
S3：从脑电信号中提取相关的特征以描述个体的体感状态或意图，从而能够反映不同体感状态下的脑电信号特点；
S4：以学习特定体感状态或意图的模式，训练一个支持向量机(SVM)分类器，通过机器学习算法对提取到的特征进行分类和识别；
S5：根据识别出的个体体感状态或意图，生成相应的音波刺激并传递给耳机、扬声器或其他音频设备来实现播放，并将音频刺激与图像、虚拟显示场景等其他刺激形式相结合，以提供更加沉浸式的体感体验。
优选地，所述S2的具体操作步骤如下：
滤波：应用带通滤波器来去除脑电信号中的噪声和不需要的频率成分，常见的带通滤波器包括低通滤波器、高通滤波器和带通滤波器，选择合适的滤波器参数以满足具体应用需求；
去伪迹：去除脑电信号中的伪迹，如眼电伪迹和肌电伪迹，常用的方法是使用均方根去眼动伪迹，通过计算信号的均方根值来检测和去除眼电伪迹，对于肌电伪迹，可以使用经验模态分解(EMD)等方法来去除，其中均方根植使用的表达式为：RMS＝sqrt((1/N)*Σ(xi^2))，其中N表示数据点的数量，xi表示每个数据点的值，Σ表示求和；
运动伪迹去除：运动伪迹是由于头部或身体运动引起的脑电信号中的伪迹，通常使用独立成分分析(ICA)的技术来分离脑电信号和运动伪迹信号，并将运动伪迹信号去除，其表达式为：X＝AS，其中X是一个m×T的观测矩阵，m表示观测信号的数量，T表示信号的时间长度，A是一个m×n的混合矩阵，每一行表示一个观测信号对应的混合权重，S是一个n×T的源信号矩阵，每一行表示一个源信号，T表示信号的时间长度；
伪迹检测与修剪：进一步检测和修剪可能由于电极接触不良、运动或其他干扰引起的伪迹，通过检测信号的幅度、斜率、时频特征或统计指标等来确定伪迹的存在，并将其修剪或排除；
信号重采样：对信号进行重采样，以调整采样率和数据点数，以满足后续处理的需求，例如，可以将高采样率的信号降采样到更低的采样率，以降低计算复杂性和存储需求；
均值化和标准化：对信号进行均值化和标准化，以消除偏移和增强信号的相对变化。
优选地，所述S3中，从脑电信号中提取与体感状态或意图相关的特征，其特征包括时域、频域和时频域特征，其中时域特征是根据信号的振幅和波形特征进行计算的，时域特征包括均值、方差、斜率等，反映了信号的振幅和波形特征，其中均值为信号的平均值，反映信号的整体水平，方差为信号的离散程度，反映信号的波动性，斜率为信号在单位时间内的变化率，反映信号的变化速度；频域特征通常使用傅立叶变换或小波变换来计算信号的频谱分布，例如能量、功率或频谱特征，其中能量为某个频带内信号的总能量，功率为信号的功率值，是能量在单位时间内的平均分布，频谱特征是通过计算频谱的形态、宽度、剖面等特征来描述信号的频谱分布；时频域特征可以使用时频分析方法(如短时傅立叶变换)计算信号的时频变化特征，其中短时傅立叶变换是将信号分解为时域和频域的信号成分，可以用于分析信号的时频变化，其使用的数学表达式为：STFT(x(t),\tau,\Deltat)＝X(\tau,f)，其中x(t)是原始信号，表示为时间的函数，\tau是时间偏移量，表示窗口的中心时间位置，\Deltat是窗口的时长(也称为帧长)，表示时间窗口的长度，X(\tau,f)是在时频域上得到的信号的表示，是一个复数矩阵，f是频率变量，表示频率轴上的点。
优选地，所述S3中从脑电信号中提取相关的特征以描述个体的体感状态或意图的具体步骤如下：
在预处理后，从脑电信号中提取与体感状态或意图相关的特征；
根据具体的应用需求，对提取到的大量特征进行选择和筛选，其中特征选择可以基于统计分析、信息论或机器学习算法进行选择，目标是选择那些与体感状态或意图相关性较高的、能够提供有效信息的特征，以减少维度和冗余，其中统计分析使用的表达式为： 其中r表示相关系数，用于衡量两个变量之间的线性相关程度，μx表示变量x的均值(mean)，μy表示变量y的均值(mean)，xi表示变量x的第i个观测值，yi表示变量y的第i个观测值，∑表示求和符号，表示需要对观测值进行累加操作，N表示观测值的总数或样本大小，(xi-μx)(yi-μy)表示对应观测值之间的偏差的乘积，用于计算协方差，/>表示测值偏差的平方和的乘积的开方，用于计算标准差的乘积；
特征表示和编码：对选定的特征进行归一化、规范化或其他预处理步骤，以确保特征在不同数据范围下具有一致的值。
优选地，所述S4的具体步骤如下：
数据准备：首先准备用于训练的数据集，这个数据集应包括已经标记了体感状态或意图的样本，以及与之相关联的特征集合；
特征标准化：将特征采用Z-score标准化或将特征缩放到固定的范围内进行标准化或规范化处理，以确保不同特征在数值上具有相似的尺度；
分离训练数据：将数据集划分为训练集和验证集，训练集用于训练SVM模型的参数，而验证集用于调节SVM模型的超参数；
参数调节与优化：通过交叉验证方法来调整SVM模型的超参数，以获得最佳的分类性能，常见的超参数包括核函数类型、惩罚系数C等；
训练SVM模型：使用训练集来训练SVM模型，SVM算法的目标是找到一个最优的超平面，将不同类别的样本分隔开，以最大化间隔；
模型评估和验证：采用准确度、精确度、召回率、F1得分等指标来评估SVM模型分类器的性能；
模型应用：经过验证的SVM模型可以应用于新的未标记数据，以进行体感状态或意图的预测和分类，可以使用训练好的SVM模型，通过输入特征值进行预测，并输出相应的分类结果。
优选地，所述S5的具体步骤如下：
特定体感状态或意图的映射：通过训练好的分类器对个体的体感状态或意图进行识别，并将其映射到相应的音波刺激模式，其在映射时需要用到线性映射函数，其表达式为stimulus＝a*state+b其中，state表示体感状态或意图的识别结果，a和b是根据实际情况需要调整的参数；
音波刺激生成：根据映射关系，通过音频合成技术、音频处理算法或预先录制的音频片段，生成相应的音波刺激，根据需要，可以生成具有不同音频特性的音波刺激，其不同音频特性包括频率、振幅和声谱特征等；
音波刺激传递：将生成的音波刺激传递给耳机、扬声器或其他音频设备，使用户能够感受到相应的音频刺激，这可以通过无线或有线连接实现，以确保音波刺激以适当的方式传递到用户的听觉系统；
刺激形式结合：将音频刺激与图像、虚拟显示场景或其他刺激形式相结合，以提供更加沉浸式的体感体验，例如，在虚拟现实场景中，可以将生成的音频刺激与虚拟环境的声音效果、动作反馈等相结合，以增强用户对虚拟场景的身临其境感受；
调整和优化：通过实时反馈机制或用户调节参数的方式，对音频刺激进行调整和优化，使音频刺激更加符合用户的体感需求和期望。
本发明还提出了基于实时脑电监测技术的体感音波刺激装置，包括脑电信号采集模块、信号预处理模块、特征提取模块、特征分类和识别模块、音波刺激生成和传递模块；
所述脑电信号采集模块用于采集大脑神经元的电活动，其可以提供实时和非侵入式的大脑活动信息；
采集的数据通过信号预处理模块进行预处理，特征提取模块从处理后的数据中提取相关的特征以描述个体的体感状态或意图；
所述特征分类和识别模块用于通过机器学习算法对提取到的特征进行分类和识别；
所述音波刺激生成和传递模块根据识别出的个体体感状态或意图，生成相应的音波刺激并传递给耳机、扬声器或其他音频设备来实现播放。
与现有的技术相比，本发明的有益效果是：
1、通过采集个体的脑电信号，进行处理分析，并根据识别出的个体体感状态或意图，生成相应的音波刺激传递给耳机、扬声器或其他音频设备进行播放，从而能够实现个性化、沉浸式和实时的体感体验，提高人员使用体验感；
本发明通过采集个体的脑电信号，并通过处理生成相应的音波刺激进行传递播放的方式，能够适用于个体的使用，从而能够实现个性化、沉浸式和实时的体感体验，提高人员使用体验感。
附图说明
图1为本发明提出的基于实时脑电监测技术的体感音波刺激方法的流程图；
图2为本发明提出的基于实时脑电监测技术的体感音波刺激装置的框图。
具体实施方式
下面结合具体实施例对本发明作进一步解说。
实施例1
参照图1，本实施例提出了基于实时脑电监测技术的体感音波刺激方法，包括以下步骤：
S1：使用脑电图设备-EEG电极帽，来记录个体的脑电信号，将EEG电极帽上的电极分布在头皮上，并记录大脑神经元的电活动，其可以提供实时和非侵入式的大脑活动信息；
S2：采集到的脑电信号通常需要进行预处理，以去除噪声和伪迹，并增强有用的信号成分；其具体操作步骤如下：
滤波：应用带通滤波器来去除脑电信号中的噪声和不需要的频率成分，常见的带通滤波器包括低通滤波器、高通滤波器和带通滤波器，选择合适的滤波器参数以满足具体应用需求；
去伪迹：去除脑电信号中的伪迹，如眼电伪迹和肌电伪迹，常用的方法是使用均方根去眼动伪迹，通过计算信号的均方根值来检测和去除眼电伪迹，对于肌电伪迹，可以使用经验模态分解(EMD)等方法来去除，其中均方根植使用的表达式为：RMS＝sqrt((1/N)*Σ(xi^2))，其中N表示数据点的数量，xi表示每个数据点的值，Σ表示求和；
运动伪迹去除：运动伪迹是由于头部或身体运动引起的脑电信号中的伪迹，通常使用独立成分分析(ICA)的技术来分离脑电信号和运动伪迹信号，并将运动伪迹信号去除，其表达式为：X＝AS，其中X是一个m×T的观测矩阵，m表示观测信号的数量，T表示信号的时间长度，A是一个m×n的混合矩阵，每一行表示一个观测信号对应的混合权重，S是一个n×T的源信号矩阵，每一行表示一个源信号，T表示信号的时间长度；
伪迹检测与修剪：进一步检测和修剪可能由于电极接触不良、运动或其他干扰引起的伪迹，通过检测信号的幅度、斜率、时频特征或统计指标等来确定伪迹的存在，并将其修剪或排除；
信号重采样：对信号进行重采样，以调整采样率和数据点数，以满足后续处理的需求，例如，可以将高采样率的信号降采样到更低的采样率，以降低计算复杂性和存储需求；
均值化和标准化：对信号进行均值化和标准化，以消除偏移和增强信号的相对变化；
S3：从脑电信号中提取相关的特征以描述个体的体感状态或意图，从而能够反映不同体感状态下的脑电信号特点；
其中从脑电信号中提取与体感状态或意图相关的特征，其特征包括时域、频域和时频域特征，其中时域特征是根据信号的振幅和波形特征进行计算的，时域特征包括均值、方差、斜率等，反映了信号的振幅和波形特征，其中均值为信号的平均值，反映信号的整体水平，方差为信号的离散程度，反映信号的波动性，斜率为信号在单位时间内的变化率，反映信号的变化速度；频域特征通常使用傅立叶变换或小波变换来计算信号的频谱分布，例如能量、功率或频谱特征，其中能量为某个频带内信号的总能量，功率为信号的功率值，是能量在单位时间内的平均分布，频谱特征是通过计算频谱的形态、宽度、剖面等特征来描述信号的频谱分布；时频域特征可以使用时频分析方法(如短时傅立叶变换)计算信号的时频变化特征，其中短时傅立叶变换是将信号分解为时域和频域的信号成分，可以用于分析信号的时频变化，其使用的数学表达式为：STFT(x(t),\tau,\Deltat)＝X(\tau,f)，其中x(t)是原始信号，表示为时间的函数，\tau是时间偏移量，表示窗口的中心时间位置，\Deltat是窗口的时长(也称为帧长)，表示时间窗口的长度，X(\tau,f)是在时频域上得到的信号的表示，是一个复数矩阵，f是频率变量，表示频率轴上的点；
S3中从脑电信号中提取相关的特征以描述个体的体感状态或意图的具体步骤如下：
在预处理后，从脑电信号中提取与体感状态或意图相关的特征，其提取的特征为上述提及的特征；
根据具体的应用需求，对提取到的大量特征进行选择和筛选，其中特征选择可以基于统计分析、信息论或机器学习算法进行选择，目标是选择那些与体感状态或意图相关性较高的、能够提供有效信息的特征，以减少维度和冗余，其中统计分析使用的表达式为： 其中r表示相关系数，用于衡量两个变量之间的线性相关程度，μx表示变量x的均值(mean)，μy表示变量y的均值(mean)，xi表示变量x的第i个观测值，yi表示变量y的第i个观测值，∑表示求和符号，表示需要对观测值进行累加操作，N表示观测值的总数或样本大小，(xi-μx)(yi-μy)表示对应观测值之间的偏差的乘积，用于计算协方差，/>表示测值偏差的平方和的乘积的开方，用于计算标准差的乘积；
特征表示和编码：对选定的特征进行归一化、规范化或其他预处理步骤，以确保特征在不同数据范围下具有一致的值；
S4：以学习特定体感状态或意图的模式，训练一个支持向量机(SVM)分类器，通过机器学习算法对提取到的特征进行分类和识别；其具体步骤如下：
数据准备：首先准备用于训练的数据集，这个数据集应包括已经标记了体感状态或意图的样本，以及与之相关联的特征集合；
特征标准化：将特征采用Z-score标准化或将特征缩放到固定的范围内进行标准化或规范化处理，以确保不同特征在数值上具有相似的尺度；
分离训练数据：将数据集划分为训练集和验证集，训练集用于训练SVM模型的参数，而验证集用于调节SVM模型的超参数；
参数调节与优化：通过交叉验证方法来调整SVM模型的超参数，以获得最佳的分类性能，常见的超参数包括核函数类型、惩罚系数C等；
训练SVM模型：使用训练集来训练SVM模型，SVM算法的目标是找到一个最优的超平面，将不同类别的样本分隔开，以最大化间隔；
模型评估和验证：采用准确度、精确度、召回率、F1得分等指标来评估SVM模型分类器的性能；
模型应用：经过验证的SVM模型可以应用于新的未标记数据，以进行体感状态或意图的预测和分类，可以使用训练好的SVM模型，通过输入特征值进行预测，并输出相应的分类结果；
S5：根据识别出的个体体感状态或意图，生成相应的音波刺激并传递给耳机、扬声器或其他音频设备来实现播放，并将音频刺激与图像、虚拟显示场景等其他刺激形式相结合，以提供更加沉浸式的体感体验，其具体步骤如下：
特定体感状态或意图的映射：通过训练好的分类器对个体的体感状态或意图进行识别，并将其映射到相应的音波刺激模式，其在映射时需要用到线性映射函数，其表达式为stimulus＝a*state+b其中，state表示体感状态或意图的识别结果，a和b是根据实际情况需要调整的参数；
音波刺激生成：根据映射关系，通过音频合成技术、音频处理算法或预先录制的音频片段，生成相应的音波刺激，根据需要，可以生成具有不同音频特性的音波刺激，其不同音频特性包括频率、振幅和声谱特征等；
音波刺激传递：将生成的音波刺激传递给耳机、扬声器或其他音频设备，使用户能够感受到相应的音频刺激，这可以通过无线或有线连接实现，以确保音波刺激以适当的方式传递到用户的听觉系统；
刺激形式结合：将音频刺激与图像、虚拟显示场景或其他刺激形式相结合，以提供更加沉浸式的体感体验，例如，在虚拟现实场景中，可以将生成的音频刺激与虚拟环境的声音效果、动作反馈等相结合，以增强用户对虚拟场景的身临其境感受；
调整和优化：通过实时反馈机制或用户调节参数的方式，对音频刺激进行调整和优化，使音频刺激更加符合用户的体感需求和期望。
该实施例通过采集个体的脑电信号，并通过处理生成相应的音波刺激进行传递播放的方式，能够适用于个体的使用，从而能够实现个性化、沉浸式和实时的体感体验，提高人员使用体验感。
实施例2
参照图2，本实施例提出了基于实时脑电监测技术的体感音波刺激装置，包括脑电信号采集模块、信号预处理模块、特征提取模块、特征分类和识别模块、音波刺激生成和传递模块；
脑电信号采集模块用于采集大脑神经元的电活动，其可以提供实时和非侵入式的大脑活动信息；
采集的数据通过信号预处理模块进行预处理，特征提取模块从处理后的数据中提取相关的特征以描述个体的体感状态或意图；
特征分类和识别模块用于通过机器学习算法对提取到的特征进行分类和识别；
音波刺激生成和传递模块根据识别出的个体体感状态或意图，生成相应的音波刺激并传递给耳机、扬声器或其他音频设备来实现播放。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.基于实时脑电监测技术的体感音波刺激方法，其特征在于，包括以下步骤：
S1：使用脑电图设备-EEG电极帽，来记录个体的脑电信号，将EEG电极帽上的电极分布在头皮上，并记录大脑神经元的电活动，其可以提供实时和非侵入式的大脑活动信息；
S2：采集到的脑电信号通常需要进行预处理，以去除噪声和伪迹，并增强有用的信号成分；
S3：从脑电信号中提取相关的特征以描述个体的体感状态或意图，从而能够反映不同体感状态下的脑电信号特点；
S4：以学习特定体感状态或意图的模式，训练一个支持向量机(SVM)分类器，通过机器学习算法对提取到的特征进行分类和识别；
S5：根据识别出的个体体感状态或意图，生成相应的音波刺激并传递给耳机、扬声器或其他音频设备来实现播放，并将音频刺激与图像、虚拟显示场景等其他刺激形式相结合，以提供更加沉浸式的体感体验。
2.根据权利要求1所述的基于实时脑电监测技术的体感音波刺激方法，其特征在于，所述S2的具体操作步骤如下：
滤波：应用带通滤波器来去除脑电信号中的噪声和不需要的频率成分，常见的带通滤波器包括低通滤波器、高通滤波器和带通滤波器，选择合适的滤波器参数以满足具体应用需求；
去伪迹：去除脑电信号中的伪迹，如眼电伪迹和肌电伪迹，常用的方法是使用均方根去眼动伪迹，通过计算信号的均方根值来检测和去除眼电伪迹，对于肌电伪迹，可以使用经验模态分解(EMD)等方法来去除，其中均方根植使用的表达式为：RMS＝sqrt((1/N)*Σ(xi^2))，其中N表示数据点的数量，xi表示每个数据点的值，Σ表示求和；
运动伪迹去除：运动伪迹是由于头部或身体运动引起的脑电信号中的伪迹，通常使用独立成分分析(ICA)的技术来分离脑电信号和运动伪迹信号，并将运动伪迹信号去除，其表达式为：X＝AS，其中X是一个m×T的观测矩阵，m表示观测信号的数量，T表示信号的时间长度，A是一个m×n的混合矩阵，每一行表示一个观测信号对应的混合权重，S是一个n×T的源信号矩阵，每一行表示一个源信号，T表示信号的时间长度；
伪迹检测与修剪：进一步检测和修剪可能由于电极接触不良、运动或其他干扰引起的伪迹，通过检测信号的幅度、斜率、时频特征或统计指标等来确定伪迹的存在，并将其修剪或排除；
信号重采样：对信号进行重采样，以调整采样率和数据点数，以满足后续处理的需求，例如，可以将高采样率的信号降采样到更低的采样率，以降低计算复杂性和存储需求；
均值化和标准化：对信号进行均值化和标准化，以消除偏移和增强信号的相对变化。
3.根据权利要求1所述的基于实时脑电监测技术的体感音波刺激方法，其特征在于，所述S3中，从脑电信号中提取与体感状态或意图相关的特征，其特征包括时域、频域和时频域特征，其中时域特征是根据信号的振幅和波形特征进行计算的，时域特征包括均值、方差、斜率等，反映了信号的振幅和波形特征，其中均值为信号的平均值，反映信号的整体水平，方差为信号的离散程度，反映信号的波动性，斜率为信号在单位时间内的变化率，反映信号的变化速度；频域特征通常使用傅立叶变换或小波变换来计算信号的频谱分布，例如能量、功率或频谱特征，其中能量为某个频带内信号的总能量，功率为信号的功率值，是能量在单位时间内的平均分布，频谱特征是通过计算频谱的形态、宽度、剖面等特征来描述信号的频谱分布；时频域特征可以使用时频分析方法(如短时傅立叶变换)计算信号的时频变化特征，其中短时傅立叶变换是将信号分解为时域和频域的信号成分，可以用于分析信号的时频变化，其使用的数学表达式为：STFT(x(t),\tau,\Delta t)＝X(\tau,f)，其中x(t)是原始信号，表示为时间的函数，\tau是时间偏移量，表示窗口的中心时间位置，\Delta t是窗口的时长(也称为帧长)，表示时间窗口的长度，X(\tau,f)是在时频域上得到的信号的表示，是一个复数矩阵，f是频率变量，表示频率轴上的点。
4.根据权利要求1所述的基于实时脑电监测技术的体感音波刺激方法，其特征在于，所述S3中从脑电信号中提取相关的特征以描述个体的体感状态或意图的具体步骤如下：
在预处理后，从脑电信号中提取与体感状态或意图相关的特征，其提取的特征为权利要求3中的特征；
根据具体的应用需求，对提取到的大量特征进行选择和筛选，其中特征选择可以基于统计分析、信息论或机器学习算法进行选择，目标是选择那些与体感状态或意图相关性较高的、能够提供有效信息的特征，以减少维度和冗余，其中统计分析使用的表达式为： 其中r表示相关系数，用于衡量两个变量之间的线性相关程度，μx表示变量x的均值(mean)，μy表示变量y的均值(mean)，xi表示变量x的第i个观测值，yi表示变量y的第i个观测值，∑表示求和符号，表示需要对观测值进行累加操作，N表示观测值的总数或样本大小，(xi-μx)(yi-μy)表示对应观测值之间的偏差的乘积，用于计算协方差，/>表示测值偏差的平方和的乘积的开方，用于计算标准差的乘积；
特征表示和编码：对选定的特征进行归一化、规范化或其他预处理步骤，以确保特征在不同数据范围下具有一致的值。
5.根据权利要求1所述的基于实时脑电监测技术的体感音波刺激方法，其特征在于，所述S4的具体步骤如下：
数据准备：首先准备用于训练的数据集，这个数据集应包括已经标记了体感状态或意图的样本，以及与之相关联的特征集合；
特征标准化：将特征采用Z-score标准化或将特征缩放到固定的范围内进行标准化或规范化处理，以确保不同特征在数值上具有相似的尺度；
分离训练数据：将数据集划分为训练集和验证集，训练集用于训练SVM模型的参数，而验证集用于调节SVM模型的超参数；
参数调节与优化：通过交叉验证方法来调整SVM模型的超参数，以获得最佳的分类性能，常见的超参数包括核函数类型、惩罚系数C等；
训练SVM模型：使用训练集来训练SVM模型，SVM算法的目标是找到一个最优的超平面，将不同类别的样本分隔开，以最大化间隔；
模型评估和验证：采用准确度、精确度、召回率、F1得分等指标来评估SVM模型分类器的性能；
模型应用：经过验证的SVM模型可以应用于新的未标记数据，以进行体感状态或意图的预测和分类，可以使用训练好的SVM模型，通过输入特征值进行预测，并输出相应的分类结果。
6.根据权利要求1所述的基于实时脑电监测技术的体感音波刺激方法，其特征在于，所述S5的具体步骤如下：
特定体感状态或意图的映射：通过训练好的分类器对个体的体感状态或意图进行识别，并将其映射到相应的音波刺激模式，其在映射时需要用到线性映射函数，其表达式为stimulus＝a*state+b其中，state表示体感状态或意图的识别结果，a和b是根据实际情况需要调整的参数；
音波刺激生成：根据映射关系，通过音频合成技术、音频处理算法或预先录制的音频片段，生成相应的音波刺激，根据需要，可以生成具有不同音频特性的音波刺激，其不同音频特性包括频率、振幅和声谱特征等；
音波刺激传递：将生成的音波刺激传递给耳机、扬声器或其他音频设备，使用户能够感受到相应的音频刺激，这可以通过无线或有线连接实现，以确保音波刺激以适当的方式传递到用户的听觉系统；
刺激形式结合：将音频刺激与图像、虚拟显示场景或其他刺激形式相结合，以提供更加沉浸式的体感体验，例如，在虚拟现实场景中，可以将生成的音频刺激与虚拟环境的声音效果、动作反馈等相结合，以增强用户对虚拟场景的身临其境感受；
调整和优化：通过实时反馈机制或用户调节参数的方式，对音频刺激进行调整和优化，使音频刺激更加符合用户的体感需求和期望。
7.基于实时脑电监测技术的体感音波刺激装置，用于实现权利要求1-6任一项所述的方法，其特征在于，包括脑电信号采集模块、信号预处理模块、特征提取模块、特征分类和识别模块、音波刺激生成和传递模块；
所述脑电信号采集模块用于采集大脑神经元的电活动，其可以提供实时和非侵入式的大脑活动信息；
采集的数据通过信号预处理模块进行预处理，特征提取模块从处理后的数据中提取相关的特征以描述个体的体感状态或意图；
所述特征分类和识别模块用于通过机器学习算法对提取到的特征进行分类和识别；
所述音波刺激生成和传递模块根据识别出的个体体感状态或意图，生成相应的音波刺激并传递给耳机、扬声器或其他音频设备来实现播放。
CN202410186631.0A 2024-02-20 2024-02-20 基于实时脑电监测技术的体感音波刺激方法和装置 Pending CN117959555A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410186631.0A CN117959555A (zh) 2024-02-20 2024-02-20 基于实时脑电监测技术的体感音波刺激方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410186631.0A CN117959555A (zh) 2024-02-20 2024-02-20 基于实时脑电监测技术的体感音波刺激方法和装置

Publications (1)

Publication Number Publication Date
CN117959555A true CN117959555A (zh) 2024-05-03

Family

ID=90863160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410186631.0A Pending CN117959555A (zh) 2024-02-20 2024-02-20 基于实时脑电监测技术的体感音波刺激方法和装置

Country Status (1)

Country Link
CN (1) CN117959555A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119580944A (zh) * 2025-02-08 2025-03-07 北京航空航天大学 基于重塑具身感调节皮质肌肉相干性的康复训练方法及装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407733A (zh) * 2016-12-12 2017-02-15 兰州大学 基于虚拟现实场景脑电信号的抑郁症风险筛查系统和方法
CN108227907A (zh) * 2017-01-22 2018-06-29 深圳市未来健身衣科技有限公司 体感检测与体感刺激装置及方法
US20190121431A1 (en) * 2017-10-23 2019-04-25 Korea University Research And Business Foundation Method of recognizing user intention by estimating brain signals, and brain-computer interface apparatus based on head mounted display implementing the method
CN110947076A (zh) * 2019-11-27 2020-04-03 华南理工大学 一种可进行精神状态调节的智能脑波音乐可穿戴设备
CN110947075A (zh) * 2019-11-27 2020-04-03 华南理工大学 基于脑波音乐的个性化精神状态调节系统及调节方法
CN112353391A (zh) * 2020-10-22 2021-02-12 武汉理工大学 一种基于脑电信号的汽车车内声音品质识别方法及装置
CN114343636A (zh) * 2021-12-28 2022-04-15 北方工业大学 一种情绪调节方法及装置
CN114557708A (zh) * 2022-02-21 2022-05-31 天津大学 基于脑电双特征融合的体感刺激意识检测装置和方法
CN115191944A (zh) * 2022-07-11 2022-10-18 苏州奥镁智能科技有限公司 一种基于脑电技术的虚拟现实镇痛效果评估的系统及方法
CN115591113A (zh) * 2022-09-05 2023-01-13 安徽医科大学（Cn） 一种闭环电刺激系统
CN115969377A (zh) * 2023-01-09 2023-04-18 东南大学 一种基于LongFormer的脑波音乐生成的情绪引导系统
CN116211305A (zh) * 2022-12-20 2023-06-06 重庆邮电大学 动态实时情绪检测方法及系统
CN117323537A (zh) * 2023-10-07 2024-01-02 北京理工大学 一种用于精神状态调节的头盔
CN117332256A (zh) * 2023-10-07 2024-01-02 腾讯科技（深圳）有限公司 意图识别方法、装置、计算机设备及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407733A (zh) * 2016-12-12 2017-02-15 兰州大学 基于虚拟现实场景脑电信号的抑郁症风险筛查系统和方法
CN108227907A (zh) * 2017-01-22 2018-06-29 深圳市未来健身衣科技有限公司 体感检测与体感刺激装置及方法
US20190121431A1 (en) * 2017-10-23 2019-04-25 Korea University Research And Business Foundation Method of recognizing user intention by estimating brain signals, and brain-computer interface apparatus based on head mounted display implementing the method
CN110947076A (zh) * 2019-11-27 2020-04-03 华南理工大学 一种可进行精神状态调节的智能脑波音乐可穿戴设备
CN110947075A (zh) * 2019-11-27 2020-04-03 华南理工大学 基于脑波音乐的个性化精神状态调节系统及调节方法
CN112353391A (zh) * 2020-10-22 2021-02-12 武汉理工大学 一种基于脑电信号的汽车车内声音品质识别方法及装置
CN114343636A (zh) * 2021-12-28 2022-04-15 北方工业大学 一种情绪调节方法及装置
CN114557708A (zh) * 2022-02-21 2022-05-31 天津大学 基于脑电双特征融合的体感刺激意识检测装置和方法
CN115191944A (zh) * 2022-07-11 2022-10-18 苏州奥镁智能科技有限公司 一种基于脑电技术的虚拟现实镇痛效果评估的系统及方法
CN115591113A (zh) * 2022-09-05 2023-01-13 安徽医科大学（Cn） 一种闭环电刺激系统
CN116211305A (zh) * 2022-12-20 2023-06-06 重庆邮电大学 动态实时情绪检测方法及系统
CN115969377A (zh) * 2023-01-09 2023-04-18 东南大学 一种基于LongFormer的脑波音乐生成的情绪引导系统
CN117323537A (zh) * 2023-10-07 2024-01-02 北京理工大学 一种用于精神状态调节的头盔
CN117332256A (zh) * 2023-10-07 2024-01-02 腾讯科技（深圳）有限公司 意图识别方法、装置、计算机设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119580944A (zh) * 2025-02-08 2025-03-07 北京航空航天大学 基于重塑具身感调节皮质肌肉相干性的康复训练方法及装置

Similar Documents

Publication Publication Date Title
Khatun et al. A single-channel EEG-based approach to detect mild cognitive impairment via speech-evoked brain responses
Blinowska et al. Electroencephalography (eeg)
Nezam et al. A novel classification strategy to distinguish five levels of pain using the EEG signal features
CN103584872B (zh) 一种基于多生理参数融合的心理压力评估方法
US9149719B2 (en) Device and method for generating a representation of a subject's attention level
JP2019528104A (ja) 生体信号のモニタリングのための耳内感知システムおよび方法
US20070179396A1 (en) Method and System for Detecting and Classifying Facial Muscle Movements
CN112741638B (zh) 一种基于eeg信号的医疗诊断辅助系统
CN110135285B (zh) 一种使用单导设备的脑电静息态身份认证方法及装置
EP3217869A1 (en) Scoring method based on improved signals analysis
CN108042145A (zh) 情绪状态识别方法和系统、情绪状态识别设备
CN110390272B (zh) 一种基于加权主成分分析的eeg信号特征降维方法
CN111671421B (zh) 一种基于脑电图的儿童需求感知方法
Ramos-Aguilar et al. Analysis of EEG signal processing techniques based on spectrograms
Velnath et al. Analysis of EEG signal for the estimation of concentration level of humans
Hu et al. A real-time electroencephalogram (EEG) based individual identification interface for mobile security in ubiquitous environment
CN117959555A (zh) 基于实时脑电监测技术的体感音波刺激方法和装置
CN118797560A (zh) 一种基于脑机接口的自主神经调控方法及相关设备
Aydemir Odor and Subject Identification Using Electroencephalography Reaction to Olfactory.
KR20080107961A (ko) 오감 정보 처리기법 및 뇌파를 활용한 사용자 적응형임상진단/치료시스템
CN119454052A (zh) 基于脑电波的智能睡眠状态监测方法及装置
CN118506988B (zh) 一种孤独症康复训练数据处理方法、系统以及存储介质
Yassin et al. A FUSION OF A DISCRETE WAVELET TRANSFORM-BASED AND TIME-DOMAIN FEATURE EXTRACTION FOR MOTOR IMAGERY CLASSIFICATION.
Zabidi et al. Classification of imagined writing from EEG signals using autoregressive features
Sellami et al. Analysis of speech related EEG signals using emotiv epoc+ headset, fast fourier transform, principal component analysis, and K-nearest neighbor methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination