CN113143289A - 一种可互联互动的智能脑波音乐耳机 - Google Patents
一种可互联互动的智能脑波音乐耳机 Download PDFInfo
- Publication number
- CN113143289A CN113143289A CN202110352683.7A CN202110352683A CN113143289A CN 113143289 A CN113143289 A CN 113143289A CN 202110352683 A CN202110352683 A CN 202110352683A CN 113143289 A CN113143289 A CN 113143289A
- Authority
- CN
- China
- Prior art keywords
- music
- brain wave
- module
- user
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 119
- 230000008451 emotion Effects 0.000 claims abstract description 36
- 230000006996 mental state Effects 0.000 claims abstract description 35
- 238000011156 evaluation Methods 0.000 claims abstract description 18
- 238000004891 communication Methods 0.000 claims abstract description 16
- 230000002996 emotional effect Effects 0.000 claims abstract description 10
- 230000003340 mental effect Effects 0.000 claims abstract description 9
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 7
- 230000005540 biological transmission Effects 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 210000000988 bone and bone Anatomy 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000007787 long-term memory Effects 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 2
- 230000003595 spectral effect Effects 0.000 claims description 2
- 230000003321 amplification Effects 0.000 claims 1
- 230000002452 interceptive effect Effects 0.000 claims 1
- 238000003199 nucleic acid amplification method Methods 0.000 claims 1
- 230000006403 short-term memory Effects 0.000 claims 1
- 238000000051 music therapy Methods 0.000 description 12
- 230000005611 electricity Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000008909 emotion recognition Effects 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000010482 emotional regulation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005714 functional activity Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000001595 mastoid Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2230/00—Measuring parameters of the user
- A61M2230/08—Other bio-electrical signals
- A61M2230/10—Electroencephalographic signals
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Anesthesiology (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Acoustics & Sound (AREA)
- Pain & Pain Management (AREA)
- Hematology (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提供一种可互联互动的智能脑波音乐耳机，包括脑电采集模块、精神状态评估模块、脑波音乐生成模块、脑波音乐播放模块和通信模块，脑电采集模块用于采集用户的脑电信号；精神状态评估模块用于通过人工智能模型从预处理后的脑电信号提取特征，提取出精神情感特征，并根据精神情感特征对使用者的精神状态进行评估；脑波音乐生成模块用于根据情绪类别和预处理后的脑电信号提取脑电波的特征，生成相应的符号音乐；脑波音乐播放模块用于对符号音乐进行解码和播放；通信模块用于实现音乐耳机之间的互联和/或，用于实现音乐耳机与其他设备的之间的数据传输。能够将脑电波转化为符合音乐乐理的音乐，可以对用户的情感有直观的感受与理解。
Description
技术领域
本发明涉及耳机领域，尤其涉及一种可互联互动的智能脑波音乐耳机。
背景技术
脑波(头表脑电信号)是人脑神经元群电活动的综合体现，音乐是一种非语言的听觉艺术形式，脑波与音乐在信号形式上具有相似性，且它们都是大脑功能活动的结果，两者必然会遵从某些共同科学规律。脑电波主要可分为delta、theta、alpha、beta四个波段，不同波段会在不同的精神状态下出现。在紧张、压力大、疲劳状态下，大脑会产生beta波；意识清醒且在放松状态时，大脑会产生alpha波；意识中断且深度放松时，大脑会产生theta波；处于深度睡眠状态时，大脑会产生delta波。音乐中也包含情感，可以影响脑波，相近频率的音乐和脑波可以产生共振，如阿尔法波音乐可以把人们带入到阿尔法脑波状态，可用来开发大脑、激发潜能、协调身心；向大脑发送delta波可以促进睡眠等。
现有的音乐耳机大多是作为一种音乐输出装置，随着科技的发展也涌现出一些效果更好的耳机，如降噪耳机等；此外，多功能的智能耳机也逐渐成为一种趋势，比如根据心率进行音乐推荐，根据睡眠状态来调整耳机中的音乐播放音量等。
现有脑波映射成音乐的方法主要有两种，一种为直接进行音频翻译，也就是将EEG的波形视为声波直接进行播放。但因为EEG的主要频率在30Hz以下，低于人耳的听力阈值(20-20KHZ)，因此需要将其频率提高到人类可以听到的范围。这种方法现在应用较少，因为EEG本身包含了很多背景噪声，其效果几乎没有音乐性，这种方式很难听到真正有意义的信息。另外一种是参数映射的方法，即用数据的原始值或人工抽取的特征来控制音乐合成的参数。音乐合成的参数则有音高、音量、调制频率、速度、节奏和调式等参数。但参数映射方法难以控制音乐的风格，得到的音乐的音乐性难以的到保证，同时需要精通乐理的专家进行系统的调制，灵活性不足。
当前的音乐疗法所采用的音乐是从创作好的的音乐库从选取音乐。这些音乐大多是针对大众化的音乐，如对精神状态相对亢奋的病人采用较为平静的音乐，对精神状态相对低沉的病人采用相对高昂的音乐。
但现有音乐疗法的音乐源选择较为困难。一方面，用于音乐疗法的音乐都是从已有音乐库得到的，而这些音乐的情感大都是通过一些简单的实践或者根据部分人群的主观感受得到的，对患者不一定具有普适性。另一方面，对于现有的音乐疗法很难找到完全与患者的现有情绪相对应的音乐，不完全匹配的音乐也可能降低音乐疗法对患者的治疗程度。
中国专利“用于精神状态评估与调节的头部可穿戴设备及其工作方法(CN201811430882.X)”中，利用对佩戴者进行精神状态评估后，从音乐库中选出音频进行反馈调节。该种技术的音频库是预先设定的。由于用户的个体差异(处于不同的精神状态，以及精神状态的程度不同)较大，不能满足用户的个性化需求。
中国专利“一种可进行精神状态调节的智能脑波音乐可穿戴设备(CN201911179114.6)”中，利用参数映射的方法，将周期、振幅和功率等脑波特性映射成音长、音高和音强。然而该种方法存在以下缺陷：(1)周期、振幅和平均功率这几个特征不足以很好地代表脑电波中蕴含的情感；(2)难以寻找一个很好的映射函数将脑波地特征映射成为音长、音高和音强。导致生成的音乐存在杂乱，难以符合音乐乐理。
发明内容
为了解决现有技术中存在的缺陷，本发明提供了一种可互联互动的智能脑波音乐耳机。
为了实现本发明目的，本发明提供的一种可互联互动的智能脑波音乐耳机，包括脑电采集模块、精神状态评估模块、脑波音乐生成模块、脑波音乐播放模块和通信模块，
所述脑电采集模块用于采集用户的脑电信号，并对脑电信号进行预处理；
所述精神状态评估模块用于通过人工智能模型从预处理后的脑电信号提取delta、theta、alpha和beta四种特征，然后提取出精神情感特征，并根据精神情感特征对使用者的精神状态进行评估，得到使用者的情绪类别；
所述脑波音乐生成模块用于根据情绪类别和预处理后的脑电信号提取脑电波的特征，生成相应的符号音乐；
所述脑波音乐播放模块用于对符号音乐进行解码和播放；
所述通信模块用于实现音乐耳机之间的互联，和/或，用于实现音乐耳机与其他设备的之间的数据传输。
进一步地，所述音乐耳机还包括电源键、指示灯和骨传导振子，所述电源键用于启动及进行功能操作，所述指示灯用于表明智能耳机的状态，所述骨传导振子用于使用户听到脑波音乐。
进一步地，所述脑电采集模块包括用于采集使用者的左额极通道的左额电极、用于采集使用者的右额极通道的右额电极和用于采集使用者的额极中线通道的额极中线电极。
进一步地，所述对脑电信号进行预处理中，所述预处理包括对脑电信号进行去噪、放大、去眼电、去伪迹和滤波操作。
进一步地，所述对使用者的精神状态进行评估得到情绪类别中，采用PAD模型对情感进行量化，并使用人工智能模型进行精神状态评估。
进一步地，所述人工智能模型为长短时记忆网络、注意力机制类模型和时间卷积网络中的任一个。
进一步地，所述脑波音乐生成模块通过将预处理后的脑电信号和情绪类别输入符号音乐生成模型中，得到相应的符号音乐，其中，所述符号音乐生成模型为卷积神经网络、长短时记忆网络或GPT模型中的任一个。
进一步地，所述符号音乐生成模型通过预训练并微调得到，所述预训练包括：当符号音乐生成模型为卷积神经网络时，利用生成对抗式的训练方法，反卷积神经网络作为生成器，卷积神经网络作为判别器对卷积神经网络进行预训练，当符号音乐生成模型为长短时记忆网络或GPT模型时，利用语言模型进行预训练；将预训练后的符号音乐生成模型在带有情绪标签的音乐数据集上做微调。
与现有技术相比，本发明能够实现的有益效果至少如下：
(1)脑电信号的频率范围通常在1-40Hz，而人耳能够听到的声音在20-20000Hz，因此自然状态下人们感受不到脑电波的存在。本发明的可互联的智能脑波音乐耳机能够将脑电波转化为符合音乐乐理的音乐。通过生产的脑波音乐，可以对用户的情感有直观的感受与理解。相对于传统的直接翻译式生成音乐的方法，本方法生成的音乐更具有音乐性，更符合乐理。相对于传统参数映射生成音乐的方法，本方法生成的音乐更符合乐理，同时生成的方法更加灵活多样。
(2)对比传统从音乐库选择音乐的做法，利用脑波生成特定情感的音乐来进行音乐治疗的方案不需要专业的音乐疗法师。因为智能脑波音乐耳机可以根据脑波来对用户的精神状态进行评估。根据精神状态评估的结果结合脑电波，利用符号音乐生成模型来生成用于音乐疗法的具有特定情感的音乐，能够较好地解决音乐源选择较为困难和难以获取与患者的现有情绪相对应的音乐的问题。
(3)现有其他脑波音乐耳机的方案，采集用户的脑电后只能用户自己听。本发明提出的可互联的智能脑波音乐耳机，能够使得脑波音乐耳机生成的脑波音乐在用户间分享。可以让性格开朗的用户与焦虑或者抑郁倾向的用户一同佩戴并配对本发明提出的智能脑波音乐耳机，通过分享性格开朗用户生产的脑波音乐，实现对其他用户的音乐疗法。
附图说明
图1是本发明实施例提供的一种可互联互动的智能脑波音乐耳机的结构示意图。
图2是本发明实施例提供的一种可互联互动的智能脑波音乐耳机的模块示意图。
图3是本发明实施例中脑电采集模块的工作流程图。
图4是本发明实施例中精神状态评估模块的工作流程图。
图5是本发明实施例中脑波音乐生成模块的工作流程图。
图6是本发明实施例中脑波音乐播放模块的工作流程图。
图7是本发明实施例中通信模块的工作流程图。
图8是本发明实施例中音乐耳机之间的通信流程图。
具体实施方式
为了更好地理解本发明，下面结合实施例进一步阐明本发明的内容，但本发明的内容不仅仅局限于下面的实施例。
请参阅图2，本发明提供的一种可互联互动的智能脑波音乐耳机，包括脑电采集模块、精神状态评估模块、脑波音乐生成模块、脑波音乐播放模块和通信模块。
在本发明其中一个实施例中，脑波音乐播放模块包括第一骨传导振子6和第二骨传导振子7，第一骨传导振子6和第二骨传导振子7佩戴时置于耳朵前侧的乳突位置，使用户听到脑波音乐。
在本发明其中一个实施例中，一种可互联互动的智能脑波音乐耳机还包括设置在耳机上的电源键2和指示灯3，电源键2用于启动智能脑波音乐耳机及进行功能操作，指示灯3用于表明智能耳机的状态。
在本发明其中一个实施例中，脑电采集模块用于采集用户的脑电信号，并对脑电信号进行预处理。脑电采集模块包括设置在耳机上的用于采集用户脑电信号的脑电电极，在本发明其中一个实施例中，脑电采集电极包括第一脑电采集电极1、第二脑电采集电极4和第三脑电采集电极5，第一脑电采集电极1、第二脑电采集电极4和第三脑电采集电极5设置在耳机上的位置各不相同。第一脑电采集电极1用于采集人体左额处的脑电信号，第三脑电采集电极5用于采集人体右额处的脑电信号，第二脑电采集电极4用于采集人体额极中线处的脑电信号。脑电采集模块可采用STM32芯片进行控制和处理。使用时，将智能脑波音乐耳机戴在人体头部，使电极稳定接触人体头皮表面，点击电源键2，连接蓝牙或者WIFI，准备进行脑电采集。脑电采集模块实时采集用户的脑电信号，并对信号进行预处理。
在本发明其中一个实施例中，所述预处理为：将采集到的脑电信号进行放大，以得到比较强烈的信号，之后进行去除伪迹操作，以便去除伪迹的对情绪识别的干扰，最后输出脑电信号。
在本发明其中一个实施例中，精神状态评估模块用于从脑电信号中提取得到delta、theta、alpha和beta四种波形并通过人工智能模型(如可以采用长短期记忆网络、注意力机制模型和时间卷积模型中的任一种)从处理后的四种波形提取出精神情感特征，然后根据精神情感特征对使用者的精神状态进行评估，得到使用者的情绪类别。评估结果采用PAD情感模型。其中效价和唤醒度分别表示情绪的正负和情绪的强度。
在本发明其中一个实施例中，精神状态评估模块对采集的脑电首先进行波形提取，从脑电信号中提取得到delta、theta、alpha和beta四种不同频段的波形，然后从这四种波形中提取出精神情感特征，提取得到特征后利用长短时记忆网络或注意力机制类模型或时间卷积网络对脑电进行情绪感知，从而得到情绪类别。
在本发明其中一个实施例中，精神情感特征包括功率谱密度、能量、功率、Hjorth参数特征和分形维数。
在本发明其中一个实施例中，脑波音乐生成模块从精神状态评估模块获取用户现在的情感类别，之后利用符号音乐生成模型，从经预处理后的脑电信号提取脑电波的特征，结合音乐乐理，生成对应可用于音乐疗法的音乐。
在本发明其中一个实施例中，脑波音乐生成模块从脑电采集模块获取脑电信息，从精神状态评估模块获取评估得到的情绪类别。把脑电信息作为输入，情绪类别作为额外的条件(额外条件可视为条件概率中给定的先验信息，如条件概率中p(x|c)的c就是提供的额外条件)信息输入到符号音乐生成模型如卷积神经网络、长短时记忆网络或GPT(Generative Pre-Training)中，生成可以用于音乐疗法的符号音乐。
在本发明其中一个实施例中，用于音乐生成的符号音乐生成模型是预训练好的。首先利用大型符号音乐数据集对这些模型进行预训练。利用生成对抗式的训练方法，反卷积神经网络作为生成器，卷积神经网络作为判别器对卷积神经网络进行预训练。利用语言模型的训练方法，对长短时记忆网络和GPT模型进行预训练。语言模型的任务是给定当前音符或事件预测下一音符或事件。通过对符号音乐生成模型进行预训练，使得符号音乐生成模型可以生成符合乐理的符号音乐。
音乐根据存储方式可分为两种，一是音频音乐，存储了录制好的音频，常见的存储方式有MP3,WAV；二是符号音乐，存储的是创作者谱曲时的曲谱，常见格式有MIDI,MusicXML。大型的符号音乐数据集是公开获取、无版权限制的数据集。
为了使得模型能够针对用户的特定情感生成对应用于音乐治疗的音乐。将预训练好的符号音乐生成模型，在带有情绪标签的符号音乐数据集上做微调。利用标签信息帮助符号音乐生成模型更好理解音乐蕴含的情感。
脑波音乐播放模块用于对符号音乐进行解码和播放。本实施例中，脑波音乐生成后，发出音乐播放指令，脑波音乐播放模块根据脑波音乐生成模块生成的用于音乐疗法的符号音乐，解码生成对应的音频信号，通过扬声器或者骨传导耳机播放出来，从而对用户进行音乐治疗，调节用户的精神状态。
通信模块用于智能脑波音乐耳机与手机、云平台和其他智能脑波音乐耳机间的通信。通信方式可采用蓝牙和WIFI中的一种或者两种。通过通信模块，可以将精神状态评估结果和生成的音频信号传输到手机和云平台上，以方便进一步的分析与记录。
同时，通信模块还允许智能脑波音乐耳机之间直接通过蓝牙或WIFI相连。智能脑波音乐耳机之间直接通信使得能够直接向对方分享用户的脑波音乐。发送者经过发送者端的脑波音乐生成模块生成的音乐，通过通信模块传输到接收者，并在接收者端的脑波音乐播放模块进行播放。
用户操作时，需长按电源键，进入配对模式。通过蓝牙或者WIFI，与手机或者其他用户的智能脑波音乐耳机进行配对。之后再进行精神状态评估结果和音频信号的传输。
本发明从互联互动角度出发，提供了智能脑波音乐耳机，用户可以通过蓝牙或WIFI等手段将智能脑波音乐耳机生成的脑波音乐分享给其他用户的智能脑波音乐耳机。使得用户间能够通过音乐直观地感受对方地心情与精神状态。
本发明所提出的音乐生成技术是基于用户的脑电信号，结合精神状态评估的结果，利用神经网络技术生成符号音乐(五线谱等)。之后再将符号音乐转换成音频(mp3或wav)。生成的音乐具有个性化特征；佩戴者之间可以通过智能脑波音乐耳机直接通信，体验对方的脑波音乐。
本发明基于人工神经网络的强大特征提取能力，从脑电波中提取能够代表情感的隐层向量。基于神经网络提取特征向量的方法目前在脑电情感识别的研究领域取得了最先进的结果。本发明提出的利用经过预训练的GPT或长短时神经网络或卷积神经网络模型，在满足情感调控的条件下，能够生成符合乐理的音乐。
本发明未涉及部分均与现有技术相同或采用现有技术加以实现。
以上所述仅为本发明的优先实施例，而非对本发明作任何形式上的限制。本领域的技术人员可在上述实施例的基础上施以各种等同的更改和改进，凡在权利要求范围内所做的等同变化和修饰，均应落入本发明的保护范围之内。
Claims (10)
1.一种可互联互动的智能脑波音乐耳机，其特征在于：包括脑电采集模块、精神状态评估模块、脑波音乐生成模块、脑波音乐播放模块和通信模块，
所述脑电采集模块用于采集用户的脑电信号，并对脑电信号进行预处理；
所述精神状态评估模块用于从脑电信号中提取得到delta、theta、alpha和beta四种波形并从处理后的四种波形提取出精神情感特征，然后根据精神情感特征对使用者的精神状态进行评估，得到使用者的情绪类别；
所述脑波音乐生成模块用于根据情绪类别和预处理后的脑电信号提取脑电波的特征，生成相应的符号音乐；
所述脑波音乐播放模块用于对符号音乐进行解码和播放；
所述通信模块用于实现音乐耳机之间的互联，和/或，用于实现音乐耳机与其他设备之间的数据传输。
2.根据权利要求1所述的一种可互联互动的智能脑波音乐耳机，其特征在于：所述音乐耳机还包括电源键、指示灯和骨传导振子，所述电源键用于启动及进行功能操作，所述指示灯用于表明智能耳机的状态，所述骨传导振子用于使用户听到脑波音乐。
3.根据权利要求1所述的一种可互联互动的智能脑波音乐耳机，其特征在于：所述脑电采集模块包括用于采集使用者的左额极通道的第一脑电采集电极、用于采集使用者的右额极通道的第三脑电采集电极和用于采集使用者的额极中线通道的第二脑电采集电极。
4.根据权利要求1所述的一种可互联互动的智能脑波音乐耳机，其特征在于：所述对脑电信号进行预处理中，所述预处理包括对脑电信号进行导联选择、放大、去除伪迹。
5.根据权利要求1所述的一种可互联互动的智能脑波音乐耳机，其特征在于：所述对使用者的精神状态进行评估得到情绪类别中，采用PAD模型对情感进行量化，并利用人工智能模型进行情绪感知以得到情绪类别。
6.根据权利要求1所述的一种可互联互动的智能脑波音乐耳机，其特征在于：所述精神情感特征包括功率谱密度、能量、功率、Hjorth参数特征和分形维数。
7.根据权利要求1所述的一种可互联互动的智能脑波音乐耳机，其特征在于：所述根据精神情感特征对使用者的精神状态进行评估，得到使用者的情绪类别中，采用人工智能模型对使用者的精神状态进行评估。
8.根据权利要求1所述的一种可互联互动的智能脑波音乐耳机，其特征在于：所述人工智能模型为长短时记忆网络、注意力机制类模型和时间卷积网络中的任一个。
9.根据权利要求1-8任一所述的一种可互联互动的智能脑波音乐耳机，其特征在于：所述脑波音乐生成模块通过将预处理后的脑电信号和情绪类别输入符号音乐生成模型中，得到相应的符号音乐，其中，所述符号音乐生成模型为卷积神经网络、长短时记忆网络或GPT模型中的任一个。
10.根据权利要求9所述的一种可互联互动的智能脑波音乐耳机，其特征在于：所述符号音乐生成模型通过预训练并微调得到，所述预训练包括：当符号音乐生成模型为卷积神经网络时，利用生成对抗式的训练方法，反卷积神经网络作为生成器，卷积神经网络作为判别器对卷积神经网络进行预训练，当符号音乐生成模型为长短时记忆网络或GPT模型时，利用语言模型进行预训练；将预训练后的符号音乐生成模型在带有情绪标签的音乐数据集上做微调。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110352683.7A CN113143289A (zh) | 2021-03-31 | 2021-03-31 | 一种可互联互动的智能脑波音乐耳机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110352683.7A CN113143289A (zh) | 2021-03-31 | 2021-03-31 | 一种可互联互动的智能脑波音乐耳机 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113143289A true CN113143289A (zh) | 2021-07-23 |
Family
ID=76886341
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110352683.7A Pending CN113143289A (zh) | 2021-03-31 | 2021-03-31 | 一种可互联互动的智能脑波音乐耳机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113143289A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114081490A (zh) * | 2021-11-02 | 2022-02-25 | 北京理工大学 | 一种基于闭环反馈的精神状态监测与治疗的系统和方法 |
| CN117014761A (zh) * | 2023-09-28 | 2023-11-07 | 小舟科技有限公司 | 交互式脑控耳机控制方法及装置、脑控耳机、存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0301790A2 (en) * | 1987-07-24 | 1989-02-01 | BioControl Systems, Inc. | Biopotential digital controller for music and video applications |
| CN103412646A (zh) * | 2013-08-07 | 2013-11-27 | 南京师范大学 | 基于脑机交互的音乐情绪化推荐方法 |
| CN104850223A (zh) * | 2015-04-28 | 2015-08-19 | 成都腾悦科技有限公司 | 基于脑电波无线耳机的音乐终端实时交互系统 |
| CN108877749A (zh) * | 2018-04-25 | 2018-11-23 | 杭州回车电子科技有限公司 | 一种脑波ai音乐的生成方法及系统 |
| US20190387998A1 (en) * | 2014-04-22 | 2019-12-26 | Interaxon Inc | System and method for associating music with brain-state data |
| CN110742603A (zh) * | 2019-10-31 | 2020-02-04 | 华南理工大学 | 一种脑电波可听化精神状态检测方法及实现该方法的系统 |
| US20200188790A1 (en) * | 2018-11-15 | 2020-06-18 | Sony Interactive Entertainment LLC | Dynamic music creation in gaming |
| WO2021051516A1 (zh) * | 2019-09-18 | 2021-03-25 | 平安科技（深圳）有限公司 | 基于人工智能的古诗词生成方法、装置、设备及存储介质 |
-
2021
- 2021-03-31 CN CN202110352683.7A patent/CN113143289A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0301790A2 (en) * | 1987-07-24 | 1989-02-01 | BioControl Systems, Inc. | Biopotential digital controller for music and video applications |
| CN103412646A (zh) * | 2013-08-07 | 2013-11-27 | 南京师范大学 | 基于脑机交互的音乐情绪化推荐方法 |
| US20190387998A1 (en) * | 2014-04-22 | 2019-12-26 | Interaxon Inc | System and method for associating music with brain-state data |
| CN104850223A (zh) * | 2015-04-28 | 2015-08-19 | 成都腾悦科技有限公司 | 基于脑电波无线耳机的音乐终端实时交互系统 |
| CN108877749A (zh) * | 2018-04-25 | 2018-11-23 | 杭州回车电子科技有限公司 | 一种脑波ai音乐的生成方法及系统 |
| US20200188790A1 (en) * | 2018-11-15 | 2020-06-18 | Sony Interactive Entertainment LLC | Dynamic music creation in gaming |
| WO2021051516A1 (zh) * | 2019-09-18 | 2021-03-25 | 平安科技（深圳）有限公司 | 基于人工智能的古诗词生成方法、装置、设备及存储介质 |
| CN110742603A (zh) * | 2019-10-31 | 2020-02-04 | 华南理工大学 | 一种脑电波可听化精神状态检测方法及实现该方法的系统 |
Non-Patent Citations (2)
| Title |
|---|
| DAN WU 等: "《Music Composition from the Brain Signal: Representing the Mental State by Music》", 《COMPUTATIONAL INTELLIGENCE AND NEUROSCIENCE》, vol. 2010, 31 December 2010 (2010-12-31), pages 1 - 6 * |
| KUN ZHAO 等: "《An Emotional Symbolic Music Generation System based on LSTM Networks》", 《2019 IEEE 3RD INFORMATION TECHNOLOGY，NETWORKING，ELECTRONIC AND AUTOMATION CONTROL CONFERENCE》, pages 2039 - 2043 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114081490A (zh) * | 2021-11-02 | 2022-02-25 | 北京理工大学 | 一种基于闭环反馈的精神状态监测与治疗的系统和方法 |
| CN117014761A (zh) * | 2023-09-28 | 2023-11-07 | 小舟科技有限公司 | 交互式脑控耳机控制方法及装置、脑控耳机、存储介质 |
| CN117014761B (zh) * | 2023-09-28 | 2024-01-26 | 小舟科技有限公司 | 交互式脑控耳机控制方法及装置、脑控耳机、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Molinaro et al. | Delta (but not theta)‐band cortical entrainment involves speech‐specific processing | |
| CN109585021B (zh) | 基于全息投影技术的精神状态评估方法 | |
| US10291977B2 (en) | Method and system for collecting and processing bioelectrical and audio signals | |
| JP2018504719A (ja) | スマートオーディオヘッドホンシステム | |
| WO2021103829A1 (zh) | 基于脑波音乐的个性化精神状态调节系统及调节方法 | |
| CN109620257B (zh) | 基于生物反馈的精神状态干预与调节系统及其工作方法 | |
| CN110947076B (zh) | 一种可进行精神状态调节的智能脑波音乐可穿戴设备 | |
| US10694299B2 (en) | Ear-worn electronic device incorporating motor brain-computer interface | |
| CN113143289A (zh) | 一种可互联互动的智能脑波音乐耳机 | |
| CN109350051A (zh) | 用于精神状态评估与调节的头部可穿戴设备及其工作方法 | |
| US10573335B2 (en) | Methods, systems and apparatuses for inner voice recovery from neural activation relating to sub-vocalization | |
| CN110742603A (zh) | 一种脑电波可听化精神状态检测方法及实现该方法的系统 | |
| CN110368005A (zh) | 一种智能耳机及基于智能耳机的情绪及生理健康监控方法 | |
| US20240089679A1 (en) | Musical perception of a recipient of an auditory device | |
| CN112717253A (zh) | 基于脑电波监测的声光结合唤醒装置 | |
| CN107184205B (zh) | 基于脑的记忆刻度和诱导捕捉的自动知识记忆牵引方法 | |
| CN103816007B (zh) | 一种基于脑电频域特征指标化算法的耳鸣治疗设备及方法 | |
| CN109567936B (zh) | 一种基于听觉注意和多焦电生理的脑机接口系统和实现方法 | |
| CN110335662A (zh) | 一种用于睡眠辅助治疗的人工智能机器人 | |
| Mai et al. | Real-Time On-Chip Machine-Learning-Based Wearable Behind-The-Ear Electroencephalogram Device for Emotion Recognition | |
| CN109745043A (zh) | 入耳式脑电图采集处理系统 | |
| US20220054842A1 (en) | Assessing responses to sensory events and performing treatment actions based thereon | |
| CN113220122A (zh) | 脑波音频处理方法、设备及系统 | |
| Kanaga et al. | A Pilot Investigation on the Performance of Auditory Stimuli based on EEG Signals Classification for BCI Applications | |
| KR102381117B1 (ko) | 뇌파 기반 음악 검색방법 및 그를 위한 직관적 뇌-컴퓨터 인터페이스 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |