CN109688500A - 基于用户睡眠特征模型的智能睡眠耳机及使用方法 - Google Patents
基于用户睡眠特征模型的智能睡眠耳机及使用方法 Download PDFInfo
- Publication number
- CN109688500A CN109688500A CN201811595911.8A CN201811595911A CN109688500A CN 109688500 A CN109688500 A CN 109688500A CN 201811595911 A CN201811595911 A CN 201811595911A CN 109688500 A CN109688500 A CN 109688500A
- Authority
- CN
- China
- Prior art keywords
- user
- sleep
- module
- brain wave
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Evolutionary Computation (AREA)
- Physiology (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Fuzzy Systems (AREA)
- Acoustics & Sound (AREA)
- Psychology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于用户睡眠特征模型的智能睡眠耳机及使用方法,所述耳机包括用于采集用户脑电波数据的脑电波采集模块、用于采集用户皮电数据的皮电采集模块、用于根据控制模块的指令播放音乐的骨传导模块、用于控制模块与智能手机之间的数据传输的蓝牙模块、控制模块、智能手机和耳机本体;控制模块:在训练阶段对采集的数据训练得到用户睡眠状态模型,在使用阶段根据用户睡眠状态模型得到用户实时睡眠状态,并根据用户睡眠状态和智能手机的控制信号向控制模块发出控制指令。本发明同时采集使用者的脑电波数据和皮电数据,利用卷积神经网络建立具有个人睡眠特征的用户睡眠状态模型,实时控制睡眠耳机的音乐播放,达到改善用户睡眠质量的目的。
Description
技术领域
本发明涉及医疗人工智能技术领域,具体地指一种基于用户睡眠特征模型的智能睡眠耳机及使用方法。
背景技术
目前不论是头戴式耳机,入耳式耳机还是蓝牙耳机都没有自动关闭功能,靠的是利用移动设备的音乐播放器来使音乐关闭。如果使用者没有设置时间自动关闭播放器,那么音乐就会一直播放。当使用者进入了睡眠状态时,对音量的辨识度低,但是声音本身的音量依然是默认大小,只是随着睡眠程度的加深,神经系统敏感度降弱,从而会使自己慢慢听不到声音。但声音还是会在潜移默化中对耳朵以及神经系统造生损伤,严重者甚至会导致耳聋。
针对上述问题,市场上出现了利用脑电波技术控制音乐播放的装置,根据采集用户脑电波能量变化信号的强弱控制音乐播放,将人在不同睡眠状态下的脑电波频率特征,与睡眠耳机的功能需求结合,根据睡眠前听音的需求调整睡眠耳机。然而,用户脑电波数据通过电极采集,而通过电极采集的脑电波信号质量较差,存在各种伪迹,包括高频干扰、放大器阻塞、电极移动干扰、出汗性伪迹、眼动伪迹、血管性伪迹等等,这些伪迹给脑电波信号造成大量噪声,影响着脑电波信号的质量,进而干扰音乐播放的控制动作。现有的睡眠耳机仍存在着三个不容忽视的缺陷:
其一是耳机的存在感太强。无论是遮耳式、挂耳式乃至入耳式的耳机,主题都是坚硬的物件,戴在耳朵上对睡眠的姿势会产生强烈的不适感,时间长了也会对耳朵造成伤害引起疼痛感。而若是选择外放,在寝室、公共场所、双人卧室中则会影响到他人。
其二是无法准确判定使用者睡眠状态。当使用者进入了睡眠状态时,对音量的辨识度低,但是声音本身的音量依然是默认大小,只是随着睡眠程度的加深,神经系统敏感度降弱,从而会使自己慢慢听不到声音。受到脑电波信号中噪声的影响,睡眠耳机可能因误判使用者的睡眠状态,播放音乐令使用者大脑重新活动起来反而会更加清醒,同时可能会使意识到自己还未睡着的使用者产生焦虑感。
其三是无法根据个人睡眠特征控制音乐播放。每个人的睡眠具有个性化的特征,仅仅凭借脑电波实时数据不足以准确判断睡眠状态,而误判则可能将已经睡着的使用者吵醒,产生适得其反的效果。
发明内容
针对现有技术中长时间使用耳机对耳朵造成伤害、采集脑电波信号不准确的技术问题,本发明提出了一种基于用户睡眠特征模型的智能睡眠耳机及使用方法,采用了同时采集使用者的脑电波数据和皮电数据,利用卷积神经网络建立具有个人睡眠特征的用户睡眠状态模型,实现了对使用者睡眠特征的提取并实时控制睡眠耳机的音乐播放,达到改善用户睡眠质量的目的。
本发明提出的基于用户睡眠特征模型的智能睡眠耳机,其特殊之处在于,包括脑电波采集模块、皮电采集模块、骨传导模块、蓝牙模块、控制模块、智能手机和耳机本体;
所述脑电波采集模块:用于采集用户脑电波数据;
所述皮电采集模块:用于采集用户皮电数据;
所述骨传导模块:用于根据控制模块的指令播放音乐;
所述蓝牙模块:用于控制模块与智能手机之间的数据传输;
所述控制模块:用于采集用户脑电波数据和用户皮电数据进行放大、去噪处理,在训练阶段对采集的数据训练得到用户睡眠状态模型,在使用阶段根据用户睡眠状态模型得到用户实时睡眠状态,并根据用户睡眠状态和智能手机的控制信号向控制模块发出控制指令;
所述智能手机:用于采集用户的控制指令;
所述耳机本体:用于承载脑电波采集模块、骨传导模块、蓝牙模块和控制模块,紧贴于用户头部前额。
进一步地,所述耳机本体上设置有蜂鸣器,所述蜂鸣器与控制模块电连接,智能手机通过发送耳机丢失寻找控制指令,通过控制模块启动蜂鸣器。
更进一步地,所述控制模块包括脑电波数据预处理模块、皮电数据预处理模块、脑电波数据标注模块、皮电数据标注模块、模型融合模块、睡眠状态分析模块、用户指令控制模块、音乐播放控制模块:所述脑电波数据预处理模块和皮电数据预处理模块分别用于对脑电波数据、皮电数据进行放大、去噪处理;所述脑电波数据标注模块、皮电数据标注模块分别用于对脑电波数据、皮电数据进行用户睡眠特征标签的标注;所述模型融合模块用于根据标注后的脑电波数据、皮电数据进行训练得到用户睡眠状态模型;所述睡眠状态分析模块用于将用户脑电波数据输入用户睡眠状态模型得到用户实时睡眠状态;所述用户指令控制模块用于接收智能手机发送的用户控制指令,当用户控制指令为自动控制时根据用户实时睡眠状态调用音乐播放控制模块播放相应状态音乐,当用户指令为人为控制时根据用户控制指令调用音乐播放控制模块播放相应音乐,并将采集的数据传输至智能手机;所述音乐播放控制模块用于根据接收的用户控制指令调用存储于智能手机的音乐数据传输至骨传导模块。
更进一步地,所述耳机本体的外形为弧形结构,所述耳机本体的外表面中部沿径向凸起,上部和下部与中部形成坡面结构,所述耳机本体的两端与用户耳部位置对应,两端下方具有与耳部上方形状相匹配的弧线,弧线的底部具有倒角锥形结构,所述倒角锥形结构与用户额头太阳穴处对应,所述耳机本体的内表面中部设置有脑电波传感器,所述脑电波传感器两侧设置有前额黏胶贴片,所述耳机本体的内腔中设置有骨传导模块、蓝牙模块和控制模块,所述骨传导模块位于内腔中与倒角锥形结构相对应处。
更进一步地,所述耳机本体采用硅胶材质制成。
本发明还提出一种上述基于用户睡眠特征模型的智能睡眠耳机的使用方法,所述方法包括训练阶段和使用阶段;所述训练阶段包括如下步骤:
A1)同时采集用户的脑电波数据和皮电数据,建立具有用户睡眠特征标签的用户皮电睡眠曲线和用户脑电波睡眠曲线;
A2)将用户皮电睡眠曲线和用户脑电波睡眠曲线融合,提取相同时间点具有相同用户睡眠特征标签的用户睡眠特征曲线;
A3)将具有用户睡眠特征标签的用户睡眠特征曲线作为卷积神经网络的输入,训练得到用户睡眠状态模型;
所述使用阶段包括如下步骤:
B1)实时采集用户的脑电波数据,建立具有用户睡眠特征标签的用户脑电波睡眠曲线;
B2)将具有用户睡眠特征标签的用户脑电波睡眠曲线作为用户睡眠状态模型的输入,得到用户实时睡眠状态;
B3)根据用户实时睡眠状态控制智能睡眠耳机的音乐播放设置。
优选地,所述用户睡眠特征标签包括熟睡、浅睡、安静、兴奋。
优选地,所述用户皮电睡眠曲线的纵坐标为时间点t,横坐标为皮电睡眠分值Y,皮电睡眠分值Y=m·C+n·T+a,C为皮电波动振荡数量,T皮电波动振荡时长,m、n、a分别为第一、第二、第三参数。
优选地,所述用户脑电波睡眠曲线的纵坐标为时间点t,横坐标为脑电波频率。
优选地,所述步骤B3)中当用户实时睡眠状态为熟睡,则控制智能睡眠耳机的音乐播放设置为关闭,使用结束。
相比于传统判断方法,本发明基于用户睡眠特征模型的智能睡眠耳机及使用方法具有如下特点:
1、利用卷积神经网络建立具有个人睡眠特征的用户睡眠状态模型,卷积神经网络的训练过程通过同时采集的脑电波数据和皮电数据,将两者进行比对,从而得到真实的、个性化的用户睡眠状态模型;
2、实现了对使用者睡眠特征的提取并实时控制睡眠耳机的音乐播放,能够在人无意识的情况下实际地运用技术,用使用者自己的“意念”来控制耳机,从而改善用户睡眠质量;
3、骨传导耳机能够舒适的运用到睡眠中,解决了耳塞式耳机的在侧卧时使用的不适感,并且避免了普通耳机长时间佩戴对耳道造成的伤害。
4、提出健康睡眠的概念,将产品与手机app结合,提供自主选择音乐以及监控睡眠质量、耳机丢失找寻等人性化和个性化功能,使产品更加完善并具备特色。
附图说明
图1为本发明基于用户睡眠特征模型的智能睡眠耳机的结构框图。
图2为图1中耳机本体的外形结构示意图。
图3为骨传导原理图。
图4为图1中控制模块的结构框图。
图5为图1中智能手机的用户界面截图。
图6为本发明基于用户睡眠特征模型的智能睡眠耳机的使用方法中卷积神经网络的网络结构图。
图中:脑电波采集模块1,皮电采集模块2,骨传导模块3,蓝牙模块4,控制模块5,脑电波数据预处理模块51,皮电数据预处理模块52,脑电波数据标注模块53,皮电数据标注模块54,模型融合模块55,睡眠状态分析模块56,用户指令控制模块57,音乐播放控制模块58,智能手机6,耳机本体7,倒角锥形结构71,脑电波传感器72,前额黏胶贴片73,蜂鸣器8。
具体实施方式
下面结合附图及实施例对本发明作进一步的详细描述,但该实施例不应理解为对本发明的限制。
本发明解决了音乐爱好者或借助音乐睡眠的人群在睡前听音乐时睡着后无法关闭耳机,导致有可能睡着后会被强节奏的音乐再次唤醒的问题,这不仅会对听力造成潜移默化的损害,还会损伤神经系统。本发明通过研究人在不同睡眠状态下的脑电波频率、皮电频率的特征,将其与睡眠耳机的功能需求结合,根据睡眠前听音的需求以及睡前使用设备的舒适度有所研究优化。同时对与智控睡眠耳机相结合的手机应用程序进行了相关开发,利用已有技术深化健康睡眠主题,在提供睡眠质量相关信息的同时探求更良好的人机交互体验。
如图1所示,本发明提出的基于用户睡眠特征模型的智能睡眠耳机,包括脑电波采集模块1、皮电采集模块2、骨传导模块3、蓝牙模块4、控制模块5、智能手机6和耳机本体7。
脑电波采集模块1:用于采集用户脑电波数据;皮电采集模块2:用于采集用户皮电数据;骨传导模块3:用于根据控制模块的指令播放音乐;蓝牙模块4:用于控制模块4与智能手机6之间的数据传输;控制模块5:用于采集用户脑电波数据和用户皮电数据进行放大、去噪处理,在训练阶段对采集的数据训练得到用户睡眠状态模型,在使用阶段根据用户睡眠状态模型得到用户实时睡眠状态,并根据用户睡眠状态和智能手机6的控制信号向控制模块发出控制指令;智能手机6:用于采集用户的控制指令;耳机本体7:用于承载脑电波采集模块1、骨传导模块3、蓝牙模块4、控制模块5和蜂鸣器8,耳机本体7紧贴于用户头部前额;蜂鸣器8与控制模块5电连接,智能手机6通过发送耳机丢失寻找控制指令,通过控制模块5启动蜂鸣器8。
如图2所示,耳机本体7的外形为弧形结构,一体式流线型设计,耳机本体7的外表面中部沿径向凸起,上部和下部与中部形成坡面结构,整体外观则是中间高四周低的造型,像一根筋骨一样,让硅胶材质的耳机本体7头戴装置显得有精神。耳机本体7的两端与用户耳部位置对应,两端下方具有与耳部上方形状相匹配的弧线,弧线的底部具有倒角锥形结构71,倒角锥形结构71与用户额头太阳穴处对应,耳机本体7的内表面中部设置有脑电波传感器72,脑电波传感器72两侧设置有前额黏胶贴片73,耳机本体7的内腔中设置有骨传导模块3、蓝牙模块4和控制模块5,骨传导模块3位于内腔中与倒角锥形结构71相对应处。耳机本体7从耳后以流线型向前延伸,与前额部分连接,后面部分伸出一点与耳朵呼应,这样即显得不突兀又不会感觉欲言又止。在头部固定方面,使用山型扣、魔术贴、松紧带等方案均能实现。由于考虑到了人体工程学,舒适度等因素。在如何固定的方面想了几种解决方案,最终决定摒弃“箍”的方式运用“黏”的方式来进行固定。这样没有了“箍”带来的不适感,将“无感”的体验带给使用者。耳机本体7采用了只有前额大小的粘贴式头戴,外形以柔和流畅为主题,利用两侧的吸附层贴合用户的前额,既不影响各种姿势的睡眠,也能保证原有功能的实现,在结构上更加轻薄和圆润,给用户一种放松舒适的视觉体验。
脑电波采集模块1包括脑电波处理芯片、功率放大器、脑电波传感器72,脑电波传感器72为三个电极,位于耳机本体7内侧与使用者额头相对应处。
脑电波(Electroencephalogram,EEG)是大脑在活动时,脑皮质细胞群之间形成电位差,从而在大脑皮质的细胞外产生电流。记录了大脑活动时的电波变化,它是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映。由于脑电波和人类的行动、意识和情感直接相关,而且整个测量过程对人体不会有任何副作用,因此,脑电波被大量地用于临床医学,用以治疗多种疾病。计算机科学和脑神经科学的结合,催生了像“神经电生理”这样的新学科,尤其是人类如何利用脑波(也就是意识)控制自身的行为、控制机器甚至控制其他人。
本发明利用了人体的脑电波,用三点脑电波传感器72检测脑电波频率,将使用者使用过程中检测到的数据反映给耳机。这也是利用自身的意识来控制耳机,因为在有睡眠意识的状态下是不会有下意识的操作动作的。本发明根据四个明显的脑电波波段来对耳机进行控制,分别是β(贝塔)波、α(阿尔法)波、θ(西塔)波和δ(德尔塔)波,分别表现了从醒着的兴奋状态到熟睡状态的四个阶段。如表1,根据这四种不同的状态,对耳机发出不同控制指令,分别达到音量逐步减少、最后到熟睡状态时耳机走动关闭的效果。
表1不同入睡状态下的脑电波数据分析
波形 | 频率(Hz) | 状态 |
δ | 1-3Hz | 熟睡状态 |
θ | 4-8Hz | 假寐(浅睡)状态 |
α | 8-13Hz | 安静状态 |
β | 14-30Hz | 兴奋状态 |
利用脑电波在睡眠状态的不同波段来调节音量直至关闭,与其相配合,在每个不同的波段下,配合相应的不同类别的音乐,如表2所示。在处于14-30Hz和8-13Hz的波段下,人处于安静和兴奋状态,播放的歌曲是用户按照用户的意愿播放的歌曲,此时音乐类型和音量不会改变。在处于4-8Hz的波段下,人处于浅睡状态并开始渐渐进入睡眠,此时耳机的音量会渐小到相应适合的大小,播放的音乐也会渐渐变成轻音乐或者节奏舒缓的音乐。这样就避免了在浅睡时,即使音量有所减弱还是会被节奏强烈使脑波频率增加,从而达不到音量正常渐弱的效果。在处于1-3Hz的波段下,人的意识已经慢慢减弱,达到了熟睡状态,此时耳机从音量渐小到关闭,最后完成整个控制流程。睡眠的这些不同阶段,通常在夜间轮回有序的出现,每晚大概循环四次。一个完全的周期是从第一阶段到第四阶段,然后从第四阶段回到第一阶段。本发明只完成从第一阶段到第四阶段的半个周期,到达第四阶段熟睡期后,耳机就会自动关闭不会因为回升的周期使其再次开机。
表2脑电波波段与音乐类型结合
皮电采集模块2采用手环式,皮电传感器与使用者手腕皮肤接触。皮肤电活动(EDA:Electro Dermal Activity)是指在自主神经调节下,皮肤导电性会产生较为明显的变化,在人体睡眠过程中,EDA在不同的睡眠阶段会存在一些固有的特性,如当皮电睡眠曲线呈频繁出现波峰且形成波动趋势的状态更易出现于深度睡眠期,因此通过采集分析人体睡眠期间的皮肤电活动数据,能够评估人体睡眠质量。然而,皮电数据采集过程中存在部分失真情况,靠皮电数据单一的途径判断人体睡眠状态准确度不高。
骨传导模块3代替普通的挂式耳机和入耳式耳机的空气传导,紧贴在用户颚骨上方,将其舒适的优点运用在睡前。骨传导是声音通过头骨、颌骨将声音传到听觉神经,引起听觉。科学中把声音的这种传导方式叫做骨传导。骨传导最为出名的例子就是有听力障碍的贝多芬用牙齿咬住指挥棒,另一头放在钢琴上,通过指挥棒把钢琴所发出的声音转入听觉器官。在日常生活中我们已经在无意识当中亲身体验着它们,例如当你在咀嚼脆物时,能够听到声响;把耳朵捂住说话会听到自己巨大的声音。在正常情况下,声波通过空气传导、骨传导两条路径传入内耳,然后由内耳的内、外淋巴液产生振动,螺旋器完成感音过程,随后听神经产生神经冲动,呈递给听觉中枢,大脑皮层综合分析后,最终“听到”声音。一些失去听觉的人可以利用骨传导来听声音。骨传导原理如图3所示。骨传导耳机用于睡前听音乐的优势有:1、长时间戴耳机耳朵难免会产生酸涨的感觉,这是耳机在播放过程中产生了高声压,引起耳内的不适感。纽约健康委员托马斯·法雷称,长期高分贝的刺激会给内耳带来不可逆转的损伤,导致炎症和听力损失。所以无论是耳罩式还是耳塞式耳机,再好也不宜长期佩戴。2、骨导音不需要通过耳道传到听觉神经系统,而是直接通过人类头部骨骼,神经或肌肉送到人的内耳,避免了电磁辐射通过耳道进入大脑对人体造成伤害。骨传导不是简单通过音量放大来提高收听效率,它不需要像气导音通过外耳和中耳,因此不会对中耳的耳膜和鼓室造成损伤,所以不会对听力造成损伤。3、在佩戴骨传导耳机时,随着声音的加大,会略有震感。本产品会随着入睡程度逐渐减小音量,那么骨传导耳机这样的缺陷在本产品中体现不出明显的效果。4、在侧卧时,耳朵部分不会产生有物体存在的不适感,将骨传导耳机零束缚的特点运用到智控睡眠耳机中,不仅能够渐小声音对耳机的伤害,又能提高舒适度。
如图4所示,控制模块5包括脑电波数据预处理模块51、皮电数据预处理模块52、脑电波数据标注模块53、皮电数据标注模块54、模型融合模块55、睡眠状态分析模块56、用户指令控制模块57、音乐播放控制模块58:
脑电波数据预处理模块51和皮电数据预处理模块52分别用于对脑电波数据、皮电数据进行放大、去噪处理;脑电波数据标注模块53、皮电数据标注模块54分别用于对脑电波数据、皮电数据进行用户睡眠特征标签的标注;模型融合模块55用于根据标注后的脑电波数据、皮电数据进行训练得到用户睡眠状态模型;睡眠状态分析模块56用于将用户脑电波数据输入用户睡眠状态模型得到用户实时睡眠状态;用户指令控制模块57用于接收智能手机6发送的用户控制指令,当用户控制指令为自动控制时根据用户实时睡眠状态调用音乐播放控制模块58播放相应状态音乐,当用户指令为人为控制时根据用户控制指令调用音乐播放控制模块58播放相应音乐,并将采集的睡眠数据通过蓝牙模块4传输至智能手机6;音乐播放控制模块58用于根据接收的用户控制指令通过蓝牙模块4调用存储于智能手机6的音乐数据传输至骨传导模块3。
智能手机6中安装有智能耳机相对应的app软件,app软件基于安卓系统和iPhone、iPad的ios系统。作为与智控睡眠耳机配套使用的软件程序,app的主要功能是向用户展示实时脑电波数据、历史数据曲线以及智能音乐播放列表,其用户界面如图5所示。app主要功能有:1.个人资料、2.历史数据、3.音乐收藏、4.耳机设定、5.设置。
基于上述基于用户睡眠特征模型的智能睡眠耳机,本发明还提出一种使用方法,该方法包括训练阶段和使用阶段。
其中,训练阶段包括如下步骤:
A1)使用者在睡眠和非睡眠状态下,通过脑电波采集模块1、皮电采集模块2同时采集用户的脑电波数据和皮电数据,建立具有用户睡眠特征标签的用户皮电睡眠曲线和用户脑电波睡眠曲线,用户睡眠特征标签包括熟睡、浅睡、安静、兴奋。
用户皮电睡眠曲线的纵坐标为时间点t,横坐标为皮电睡眠分值Y,皮电睡眠分值Y=m·C+n·T+a,C为皮电波动振荡数量,T皮电波动振荡时长,m、n、a分别为第一、第二、第三参数。
用户脑电波睡眠曲线的纵坐标为时间点t,横坐标为脑电波频率。
脑电波数据预处理模块51和皮电数据预处理模块52分别对脑电波数据、皮电数据进行放大、去噪处理;脑电波数据标注模块53、皮电数据标注模块54分别对脑电波数据、皮电数据进行用户睡眠特征标签的标注。
A2)模型融合模块55将用户皮电睡眠曲线和用户脑电波睡眠曲线融合,提取相同时间点具有相同用户睡眠特征标签的用户睡眠特征曲线。
A3)模型融合模块55将具有用户睡眠特征标签的用户睡眠特征曲线作为卷积神经网络的输入,训练得到用户睡眠状态模型。
卷积神经网络的网络结构如图6所示。卷积神经网络(Convolutional NeuralNetwork,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型数据处理有出色表现。一般地,CNN的基本结构包括两个阶段,每个阶段都包含若干层。其一为特征提取阶段,每个神经元的输入与前一层的局部接受域相连,并提取该局部的特征。一旦该局部特征被提取后,它与其它特征间的位置关系也随之确定下来;其二是特征映射阶段,网络的每个计算层由多个特征映射组成,每个特征映射是一个平面,平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数,使得特征映射具有位移不变性。此外,由于一个映射面上的神经元共享权值,因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层,这种特有的两次特征提取结构减小了特征分辨率。
卷积神经网络的学习步骤如下:
步骤一:输入训练样本集。
步骤二:构建网络并进行初始化,随机生成输入层到隐含层权值矩阵W、隐含层阈值向量b以及卷积层参数。
步骤三:根据现有网络对输入样本数据进行计算得到一个关于标签信息的向量。
步骤四:由分类器向前面的特征抽取器传播。
步骤五::根据神经网络的权重修改策略更新权值。
步骤六:重复步骤三到步骤五至迭代次数。
分别输入脑电波数据和皮电数据的样本数据分别对卷积神经网络进行训练,计算所有卷积层池化层的参数。输入训练样本集根据导联的编号分别输入到相对应的神经网络中进行训练,最终可以运算出用户睡眠状态模型中各个卷积层和池化层的参数。
训练卷积神经网络的训练过程为求解出网络中所有参数的过程,求出各个参数即训练完成。
使用阶段包括如下步骤:
B1)通过脑电波采集模块1实时采集用户的脑电波数据,脑电波数据预处理模块51对脑电波数据进行放大、去噪处理,脑电波数据标注模块53对脑电波数据、皮电数据进行用户睡眠特征标签的标注,建立具有用户睡眠特征标签的用户脑电波睡眠曲线;
B2)睡眠状态分析模块56将具有用户睡眠特征标签的用户脑电波睡眠曲线作为用户睡眠状态模型的输入,得到用户实时睡眠状态;
B3)用户指令控制模块57接收智能手机6发送的用户控制指令,当用户控制指令为自动控制时根据用户实时睡眠状态调用音乐播放控制模块58播放相应状态音乐,音乐播放控制模块58根据接收的用户控制指令通过蓝牙模块4调用存储于智能手机6的音乐数据传输至骨传导模块3。当用户指令为人为控制时根据用户控制指令调用音乐播放控制模块播放相应音乐,用户指令控制模块57并将采集的数据通过蓝牙模块4传输至智能手机6。
根据用户实时睡眠状态控制智能睡眠耳机的音乐播放设置。当用户实时睡眠状态为熟睡,则控制智能睡眠耳机的音乐播放设置为关闭,使用结束。
尽管上面结合附图对本发明的优选实施例进行了描述,但是本发明并不局限于上述的具体实方式,上述的具体实施方式仅仅是示意性的,并不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可以作出很多形式的具体变换,这些均属于本发明的保护范围内。
Claims (10)
1.一种基于用户睡眠特征模型的智能睡眠耳机,其特征在于:包括脑电波采集模块(1)、皮电采集模块(2)、骨传导模块(3)、蓝牙模块(4)、控制模块(5)、智能手机(6)和耳机本体(7);
所述脑电波采集模块(1):用于采集用户脑电波数据;
所述皮电采集模块(2):用于采集用户皮电数据;
所述骨传导模块(3):用于根据控制模块的指令播放音乐;
所述蓝牙模块(4):用于控制模块与智能手机之间的数据传输;
所述控制模块(5):用于采集用户脑电波数据和用户皮电数据进行放大、去噪处理,在训练阶段对采集的数据训练得到用户睡眠状态模型,在使用阶段根据用户睡眠状态模型得到用户实时睡眠状态,并根据用户睡眠状态和智能手机的控制信号向控制模块发出控制指令;
所述智能手机(6):用于采集用户的控制指令;
所述耳机本体(7):用于承载脑电波采集模块、骨传导模块、蓝牙模块和控制模块,紧贴于用户头部前额。
2.根据权利要求1所述的基于深度神经网络的心电图智能分析方法,其特征在于:所述耳机本体(7)上设置有蜂鸣器(8),所述蜂鸣器(8)与控制模块(5)电连接,智能手机(6)通过发送耳机丢失寻找控制指令,通过控制模块(5)启动蜂鸣器(8)。
3.根据权利要求1所述的基于深度神经网络的心电图智能分析方法,其特征在于:所述控制模块(5)包括脑电波数据预处理模块(51)、皮电数据预处理模块(52)、脑电波数据标注模块(53)、皮电数据标注模块(54)、模型融合模块(55)、睡眠状态分析模块(56)、用户指令控制模块(57)、音乐播放控制模块(58):
所述脑电波数据预处理模块(51)和皮电数据预处理模块(52)分别用于对脑电波数据、皮电数据进行放大、去噪处理;所述脑电波数据标注模块(53)、皮电数据标注模块(54)分别用于对脑电波数据、皮电数据进行用户睡眠特征标签的标注;所述模型融合模块(55)用于根据标注后的脑电波数据、皮电数据进行训练得到用户睡眠状态模型;所述睡眠状态分析模块(56)用于将用户脑电波数据输入用户睡眠状态模型得到用户实时睡眠状态;所述用户指令控制模块(57)用于接收智能手机(6)发送的用户控制指令,当用户控制指令为自动控制时根据用户实时睡眠状态调用音乐播放控制模块(58)播放相应状态音乐,当用户指令为人为控制时根据用户控制指令调用音乐播放控制模块(58)播放相应音乐,并将采集的数据传输至智能手机(6);所述音乐播放控制模块(58)用于根据接收的用户控制指令调用存储于智能手机(6)的音乐数据传输至骨传导模块(3)。
4.根据权利要求1所述的基于深度神经网络的心电图智能分析方法,其特征在于:所述耳机本体(7)的外形为弧形结构,所述耳机本体(7)的外表面中部沿径向凸起,上部和下部与中部形成坡面结构,所述耳机本体(7)的两端与用户耳部位置对应,两端下方具有与耳部上方形状相匹配的弧线,弧线的底部具有倒角锥形结构(71),所述倒角锥形结构(71)与用户额头太阳穴处对应,所述耳机本体(7)的内表面中部设置有脑电波传感器(72),所述脑电波传感器(72)两侧设置有前额黏胶贴片(73),所述耳机本体(7)的内腔中设置有骨传导模块(3)、蓝牙模块(4)和控制模块(5),所述骨传导模块(3)位于内腔中与倒角锥形结构(71)相对应处。
5.根据权利要求1所述的基于深度神经网络的心电图智能分析方法,其特征在于:所述耳机本体(7)采用硅胶材质制成。
6.一种根据权利要求1~5中任一项所述的基于用户睡眠特征模型的智能睡眠耳机的使用方法,其特征在于:所述方法包括训练阶段和使用阶段;所述训练阶段包括如下步骤:
A1)同时采集用户的脑电波数据和皮电数据,建立具有用户睡眠特征标签的用户皮电睡眠曲线和用户脑电波睡眠曲线;
A2)将用户皮电睡眠曲线和用户脑电波睡眠曲线融合,提取相同时间点具有相同用户睡眠特征标签的用户睡眠特征曲线;
A3)将具有用户睡眠特征标签的用户睡眠特征曲线作为卷积神经网络的输入,训练得到用户睡眠状态模型;
所述使用阶段包括如下步骤:
B1)实时采集用户的脑电波数据,建立具有用户睡眠特征标签的用户脑电波睡眠曲线;
B2)将具有用户睡眠特征标签的用户脑电波睡眠曲线作为用户睡眠状态模型的输入,得到用户实时睡眠状态;
B3)根据用户实时睡眠状态控制智能睡眠耳机的音乐播放设置。
7.根据权利要求6所述的基于用户睡眠特征模型的智能睡眠耳机的使用方法,其特征在于:所述用户睡眠特征标签包括熟睡、浅睡、安静、兴奋。
8.根据权利要求6所述的基于深度神经网络的心电图智能分析方法,其特征在于:所述用户皮电睡眠曲线的纵坐标为时间点t,横坐标为皮电睡眠分值Y,皮电睡眠分值Y=m·C+n·T+a,C为皮电波动振荡数量,T皮电波动振荡时长,m、n、a分别为第一、第二、第三参数。
9.根据权利要求6所述的基于深度神经网络的心电图智能分析方法,其特征在于:所述用户脑电波睡眠曲线的纵坐标为时间点t,横坐标为脑电波频率。
10.根据权利要求6所述的基于深度神经网络的心电图智能分析方法,其特征在于:所述步骤B3)中当用户实时睡眠状态为熟睡,则控制智能睡眠耳机的音乐播放设置为关闭,使用结束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811595911.8A CN109688500B (zh) | 2018-12-25 | 2018-12-25 | 基于用户睡眠特征模型的智能睡眠耳机及使用方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811595911.8A CN109688500B (zh) | 2018-12-25 | 2018-12-25 | 基于用户睡眠特征模型的智能睡眠耳机及使用方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109688500A true CN109688500A (zh) | 2019-04-26 |
CN109688500B CN109688500B (zh) | 2019-12-31 |
Family
ID=66188479
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811595911.8A Active CN109688500B (zh) | 2018-12-25 | 2018-12-25 | 基于用户睡眠特征模型的智能睡眠耳机及使用方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109688500B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110324774A (zh) * | 2019-07-18 | 2019-10-11 | 河海大学常州校区 | 基于脑电eeg的骨传导助听器自动增益控制系统 |
CN110351627A (zh) * | 2019-08-13 | 2019-10-18 | 贵州大学 | 一种多功能智能监控耳机 |
CN110801568A (zh) * | 2019-06-28 | 2020-02-18 | 林万佳 | 一种制作和输出脉动音乐的装置及其形成脉动音乐的方法 |
CN111345784A (zh) * | 2020-05-09 | 2020-06-30 | 中国人民解放军海军特色医学中心 | 基于单兵智能骨导听觉反馈技术的可穿戴防护装备 |
CN111450384A (zh) * | 2020-04-09 | 2020-07-28 | 中南大学湘雅三医院 | 睡眠音乐装置 |
CN111790038A (zh) * | 2020-06-23 | 2020-10-20 | 深圳市联奕实业有限公司 | 音乐辅助睡眠的方法、装置、计算机设备及存储介质 |
CN112331221A (zh) * | 2020-11-05 | 2021-02-05 | 佛山博智医疗科技有限公司 | 一种耳鸣声治疗装置及其应用方法 |
CN112869505A (zh) * | 2021-03-08 | 2021-06-01 | 浙江肯特科技股份有限公司 | 一种多功能电热毯及其控制方法 |
CN113017972A (zh) * | 2021-03-08 | 2021-06-25 | 浙江肯特科技股份有限公司 | 一种改善睡眠质量的电热毯及其控制方法 |
CN113926045A (zh) * | 2021-11-22 | 2022-01-14 | 紫罗兰家纺科技股份有限公司 | 一种辅助睡眠的家纺产品的智能控制方法及系统 |
CN114587288A (zh) * | 2022-04-02 | 2022-06-07 | 长春理工大学 | 一种睡眠监测方法、装置以及设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102430182A (zh) * | 2011-09-01 | 2012-05-02 | 汪卫东 | 反馈式催眠治疗仪 |
KR20120108491A (ko) * | 2011-03-24 | 2012-10-05 | 유남구 | 수면 보조 장치 및 방법 |
CN106510641A (zh) * | 2016-12-19 | 2017-03-22 | 姚健欣 | 一种检测人体不同睡眠阶段的方法及系统 |
CN206045144U (zh) * | 2016-03-03 | 2017-03-29 | 太原特玛茹电子科技有限公司 | 一种新型智能助眠和自然唤醒的装置 |
CN107527634A (zh) * | 2017-07-14 | 2017-12-29 | 昆明理工大学 | 一种脑电波控制音乐播放的装置 |
CN207084818U (zh) * | 2017-01-23 | 2018-03-13 | 深圳市和唯健康科技有限公司 | 一种便携式脑电睡眠监测仪及系统 |
-
2018
- 2018-12-25 CN CN201811595911.8A patent/CN109688500B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120108491A (ko) * | 2011-03-24 | 2012-10-05 | 유남구 | 수면 보조 장치 및 방법 |
CN102430182A (zh) * | 2011-09-01 | 2012-05-02 | 汪卫东 | 反馈式催眠治疗仪 |
CN206045144U (zh) * | 2016-03-03 | 2017-03-29 | 太原特玛茹电子科技有限公司 | 一种新型智能助眠和自然唤醒的装置 |
CN106510641A (zh) * | 2016-12-19 | 2017-03-22 | 姚健欣 | 一种检测人体不同睡眠阶段的方法及系统 |
CN207084818U (zh) * | 2017-01-23 | 2018-03-13 | 深圳市和唯健康科技有限公司 | 一种便携式脑电睡眠监测仪及系统 |
CN107527634A (zh) * | 2017-07-14 | 2017-12-29 | 昆明理工大学 | 一种脑电波控制音乐播放的装置 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110801568A (zh) * | 2019-06-28 | 2020-02-18 | 林万佳 | 一种制作和输出脉动音乐的装置及其形成脉动音乐的方法 |
CN110801568B (zh) * | 2019-06-28 | 2022-07-08 | 林万佳 | 一种制作和输出脉动音乐的装置及其形成脉动音乐的方法 |
CN110324774A (zh) * | 2019-07-18 | 2019-10-11 | 河海大学常州校区 | 基于脑电eeg的骨传导助听器自动增益控制系统 |
CN110351627A (zh) * | 2019-08-13 | 2019-10-18 | 贵州大学 | 一种多功能智能监控耳机 |
CN111450384B (zh) * | 2020-04-09 | 2022-03-18 | 中南大学湘雅三医院 | 睡眠音乐装置 |
CN111450384A (zh) * | 2020-04-09 | 2020-07-28 | 中南大学湘雅三医院 | 睡眠音乐装置 |
CN111345784A (zh) * | 2020-05-09 | 2020-06-30 | 中国人民解放军海军特色医学中心 | 基于单兵智能骨导听觉反馈技术的可穿戴防护装备 |
CN111790038A (zh) * | 2020-06-23 | 2020-10-20 | 深圳市联奕实业有限公司 | 音乐辅助睡眠的方法、装置、计算机设备及存储介质 |
CN111790038B (zh) * | 2020-06-23 | 2024-03-29 | 深圳市联奕实业有限公司 | 音乐辅助睡眠的方法、装置、计算机设备及存储介质 |
CN112331221A (zh) * | 2020-11-05 | 2021-02-05 | 佛山博智医疗科技有限公司 | 一种耳鸣声治疗装置及其应用方法 |
CN113017972A (zh) * | 2021-03-08 | 2021-06-25 | 浙江肯特科技股份有限公司 | 一种改善睡眠质量的电热毯及其控制方法 |
CN112869505A (zh) * | 2021-03-08 | 2021-06-01 | 浙江肯特科技股份有限公司 | 一种多功能电热毯及其控制方法 |
CN113926045A (zh) * | 2021-11-22 | 2022-01-14 | 紫罗兰家纺科技股份有限公司 | 一种辅助睡眠的家纺产品的智能控制方法及系统 |
CN113926045B (zh) * | 2021-11-22 | 2023-10-13 | 紫罗兰家纺科技股份有限公司 | 一种辅助睡眠的家纺产品的智能控制方法及系统 |
CN114587288A (zh) * | 2022-04-02 | 2022-06-07 | 长春理工大学 | 一种睡眠监测方法、装置以及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN109688500B (zh) | 2019-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109688500B (zh) | 基于用户睡眠特征模型的智能睡眠耳机及使用方法 | |
EP3668392B1 (en) | In-ear electrical potential sensor | |
US10178952B2 (en) | Bi-hemispheric brain wave system and method of performing bi-hemispherical brain wave measurements | |
JP2019528104A (ja) | 生体信号のモニタリングのための耳内感知システムおよび方法 | |
CN106730239A (zh) | 一种基于脑电波监测的闭环催眠头罩 | |
WO2020187109A1 (zh) | 一种用户睡眠检测方法及系统 | |
CN107875496A (zh) | 一种智能睡眠管理眼罩装置及其控制方法 | |
CN109620257B (zh) | 基于生物反馈的精神状态干预与调节系统及其工作方法 | |
CN110367934B (zh) | 一种基于非语音身体声音的健康监测方法及监测系统 | |
CN109414562A (zh) | 用于基于睡眠深度时延来调节睡眠段期间的听觉刺激音量的系统和方法 | |
CN111904424B (zh) | 基于相阵麦克风的睡眠监测及调控系统 | |
WO2018009736A1 (en) | Motion-dependent averaging for physiological metric estimating systems and methods | |
TWM487053U (zh) | 智慧型睡眠記錄裝置 | |
CN110464344A (zh) | 集脑电信号采集和音乐播放的装置及其播放音乐的方法 | |
US11635816B2 (en) | Information processing apparatus and non-transitory computer readable medium | |
KR20190049442A (ko) | 청각 자극 기반 수면 유도 시스템 및 그 방법 | |
US20200306496A1 (en) | Method and system for delivering sensory simulation to a user | |
CN113713333B (zh) | 一种下肢康复全训练过程的动态虚拟诱导方法及系统 | |
Kaongoen et al. | An auditory P300-based brain-computer interface using Ear-EEG | |
EP4107971A1 (en) | Control of parameters of hearing instrument based on ear canal deformation and concha emg signals | |
CN213524726U (zh) | 一种睡中听学习提升枕 | |
JP7422389B2 (ja) | 情報処理装置及びプログラム | |
US20230218855A1 (en) | An audio system | |
CN113938767B (zh) | 基于神经网络的骨传导智能助眠装置 | |
US20240172949A1 (en) | Systems and methods for measuring intracranial pressure |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |