CN110841169B - 一种用于睡眠调节的深度学习声音刺激系统和方法 - Google Patents

一种用于睡眠调节的深度学习声音刺激系统和方法 Download PDF

Info

Publication number
CN110841169B
CN110841169B CN201911191990.0A CN201911191990A CN110841169B CN 110841169 B CN110841169 B CN 110841169B CN 201911191990 A CN201911191990 A CN 201911191990A CN 110841169 B CN110841169 B CN 110841169B
Authority
CN
China
Prior art keywords
sound
sleep
optimal
stimulation
eeg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911191990.0A
Other languages
English (en)
Other versions
CN110841169A (zh
Inventor
周晖晖
马征
谢津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201911191990.0A priority Critical patent/CN110841169B/zh
Priority to PCT/CN2019/123156 priority patent/WO2021103084A1/zh
Publication of CN110841169A publication Critical patent/CN110841169A/zh
Application granted granted Critical
Publication of CN110841169B publication Critical patent/CN110841169B/zh
Priority to US17/729,871 priority patent/US20220249017A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/375—Electroencephalography [EEG] using biofeedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4812—Detecting sleep stages or cycles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A61B5/7415—Sound rendering of measured values, e.g. by pitch or volume variation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/08—Other bio-electrical signals
    • A61M2230/10—Electroencephalographic signals

Abstract

本发明描述了一种利用深度神经网络来选择和优化声音刺激，以调节与改善人体睡眠质量的系统和方法。深度神经网络具有表征人脑皮层神经元对外部刺激(图像、声音等)信息进行加工的能力。通过将海量声音刺激输入深度神经网络，寻找使模型估计的睡眠脑电波达到最优的声音模式，并将此声音模式应用于真实人体，经过闭环优化，增强人体在不同睡眠阶段对应睡眠波的强度，达到调节睡眠的目的。本发明将主要解决在利用声音刺激手段(音乐、语音、自然声音、白/有色噪声等)辅助人体睡眠时，如何通过深度神经网络选择和优化所用声音刺激以最大程度地改善睡眠质量的技术问题。

Description

一种用于睡眠调节的深度学习声音刺激系统和方法
技术领域
本发明涉及一种用于睡眠调节的深度学习声音刺激系统和方法，针对慢波睡眠进行调节，以增强慢波活动，促进受试者尽快进入深睡期。
背景技术
神经科学与临床医学研究结果表明，睡眠对于维持人体正常生理机能至关重要。通过睡眠调节来提高睡眠质量，对于促进人体身心健康具有重要价值，而对于罹患睡眠障碍的人群而言尤为重要。目前睡眠调节的途径包括：(1)精神类药物调节，通过使用精神类药物，抑制中枢神经系统的相关兴奋性活动，从而促进睡眠，缺点是易引起药物依赖性，并伴随较大的副作用；(2)心理疗法，通过心理健康咨询缓解因心理问题引起的睡眠障碍，缺点是治疗周期长，且较难准确对症治疗；(3)神经环路疗法，通过脑部手术修复引起睡眠障碍的神经环路，但相关治疗方案尚不成熟，目前仅尝试性地用于抑郁症等的治疗；(4)声、光刺激法，通过声音(音乐、语音、自然声音、白/有色噪声等)、光线等外部刺激诱导大脑皮层产生有助于睡眠的神经活动，是目前行之有效且风险最小的睡眠调节方法。本发明即属于通过声音刺激调节睡眠方法的范畴。
睡眠调节通常作用于一个睡眠周期的不同时段。一个睡眠周期可分为快速眼动(rapid eye movement sleep，REM)睡眠和非快速眼动(非REM)睡眠两个阶段，并从非REM睡眠开始，到REM睡眠，再到下一个周期的非REM睡眠，通常持续时间约90分钟。非REM睡眠即慢波睡眠，以头皮电极记录到的特定慢节律睡眠脑电波(electroencephalograph，EEG)为特征，分为4期：第1期为浅睡期，持续数分钟，主要表现为在EEG中出现的4～7Hz的θ波；第2期睡眠稍深，持续5～15分钟，主要表现为在EEG中出现的偶发性的8～14Hz梭形波与K复合波；第3期和第4期为深度睡眠，主要表现为EEG中出现的4Hz以下高幅度的δ波，其中第4期是最深的睡眠阶段，可持续20～40分钟，其EEG节律表现为2Hz以下的高幅δ波。REM睡眠则以频繁的眼动及EEG中14Hz以上的快速β波为特征。尽管目前关于非REM睡眠对机体修复的机制尚不完全知晓，但最近研究结果表明，非REM睡眠与某些神经毒素(如β-淀粉样蛋白)的清除有关，而非REM睡眠慢波活动的减少则可能与衰老及脑萎缩有关；REM睡眠则对于记忆的强化或有重要作用。与非REM睡眠相对单调的慢波相比，REM睡眠的EEG节律则更接近觉醒状态，具有更加丰富的成分，而调节也更为复杂，因此目前根据EEG节律进行睡眠调节的技术主要集中在非REM睡眠阶段。本发明即针对慢波睡眠进行调节，以增强慢波活动，促进受试者尽快进入深睡期。
现有基于声音刺激调节睡眠的技术，主要利用上述睡眠EEG与声音刺激的频谱特征、声学特征等之间的关联关系选择声音刺激。例如，根据EEG节律变化检测当前所处的睡眠时段，并生成与当前EEG节律频谱特性相似的催眠声音(α波、θ波、高δ波、低δ波等声音)(专利公布号：CN107715276A)；或从音乐库中选择声学特征(节奏、音高、音调等)与当前睡眠时段所记录的睡眠EEG相关性最大的音乐(专利公布号：CN105451801A)；或直接通过声音拾取装置记录到的自然界中频谱较宽的白噪声(风声、雨声、流水声等)，播放给受试者(专利公布号：CN101773696B)。
现有技术从睡眠EEG与声音刺激二者在信号特征上表现出的外在相似之处出发，选择声音刺激，而不是从声音刺激与睡眠相关神经活动的内在关联性出发，选择声音刺激来强化相关神经活动，因此对声音刺激的筛选较为粗糙，同时缺少相关优化。根据睡眠EEG频谱选择同频带声音进行刺激的方法仅考虑睡眠EEG和所用声音刺激在频谱上的相似性，而各睡眠EEG节律(θ波、δ波等)即使属于低频慢波，仍具有一定的频带宽度，同时利用这种同频段声音刺激能否达到睡眠相关神经活动的最佳强化仍不可知，而直接利用频谱范围更宽的自然白噪声进行刺激的方法则更加缺乏对声音的筛选。相似地，根据音乐的声学特征与睡眠EEG信号的相关性从音乐库中选择声音刺激的方法，也无法确知所选声音刺激对睡眠相关神经活动的激励作用，同时这一方法依赖于受试者对实际音乐的反应，因此如果从海量音乐中选择最适合受试者的音乐，将因面临巨大的工作量而难以实现，因此较难对声音刺激进行较好的优化。
针对现有技术中的上述缺点，本发明从深度神经网络的类脑特性出发，寻找可使估计所得睡眠EEG反应最大的声音刺激，将所选声音刺激播放给受试者，并经过闭环优化，使睡眠相关神经活动得到最大程度的强化；同时，本发明主要在训练好的深度神经网络上进行声音的选择，无需受试者对海量声音进行测试，因此大大降低依靠受试者自身进行声音选择的负担。
发明内容
与现有技术相比，本发明主要包括两方面优点：(1)现有技术仅从睡眠EEG与声音刺激二者在信号特征上表现出的外在相似之处出发，选择声音刺激，同时音源较少，因此对声音刺激的筛选较为粗糙，缺少相关优化；本发明从声音刺激与睡眠相关神经活动的内在关联性出发，依靠深度神经网络，从海量自然声音与合成声音中选择声音刺激来强化相关神经活动，可获得对提高睡眠质量更有效果的声音刺激。(2)现有技术根据受试者EEG与声音刺激声学特征的相关性来选择声音刺激，效率较低，且较难进行大规模测试；本发明首先利用深度神经网络进行声音刺激的选择，而后通过闭环优化选择个性化的最优声音刺激，因此无需记录受试者对海量声音的反应，可高效地开展大规模测试，进而从海量声音中选择对睡眠调节最有益的声音刺激。
附图说明
图1用于睡眠调节的深度学习声音刺激系统框图。描述本发明系统的各组成模块。
图2基于深度神经网络预测EEG活动流程图。描述本发明基于深度神经网络对EEG活动预测的方法。
图3声音刺激选择与优化流程图。描述本发明基于深度神经网络对自然声音和合成声音进行选择和优化的方法。
图4单通道脑电波放大电路。描述本发明所用脑电波采集模块中信号放大器的一种实现电路。
具体实施方式
下面结合实施例和附图对本发明的系统和方法做出详细说明。
(1)深度优化声音库
本发明基于深度神经网络从自然声音和合成声音中选择最优的声音刺激构成声音库，包括两个步骤：首先建立深度神经网络预测EEG活动的映射模型，而后根据所建立的映射模型选择最优声音刺激。
如图2所示，将相同的音乐旋律输入深度语音识别网络，及播放给受试者(用户)，同步记录神经网络中模型各层神经元输出的变化与受试者真实EEG信号的变化，确定模型神经元到真实EEG信号的最优映射关系，建立神经网络对EEG活动预测的映射模型。EEG信号可以自行采集，也可使用公开的人在音乐刺激下的on-going EEG数据，这时，输入深度语音识别神经网络中的音乐旋律应和产生on-goingEEG所采用的音乐相同。使用的音乐旋律可采用舒缓的钢琴曲、流行音乐等。
深度语音识别网络可使用公开的已在大规模语音库上训练好的声学模型，也可以自行建立模型(如HMM-CNN语音识别模型)，并在大规模语音库(如LibriSpeech、VoxCeleb等大型人声/语料库)上训练得到。深度网络由输入层、多个中间层、输出层构成。本发明重点关注深度网络中间层中靠前的神经元层。图1中所使用音乐旋律进行的刺激及所建议记录的睡眠EEG，可减少人脑后期的高级认知加工对早期EEG信号造成的干扰。
深度神经网络和EEG活动映射关系可通过但不局限于如下方法建立：将深度神经网络第i层神经元的输出向量记作xi(t)，对应的EEG映射权重记作ωi，预测EEG信号记作yi(t)，当前记录到的实际EEG信号记作s(t)，则有yi(t)＝<ωi,xi(t)>，其中<·,·>表示向量内积。采用典型相关分析法(canonical correlation analysis，CCA)，评估各yi(t)与s(t)之间的相关性，选取与实际EEG信号相关性最大的模型神经元层及对应的映射权重，作为最优映射，用于深度神经网络对EEG活动的预测。
图3所示为基于所建立的深度网络对EEG活动的映射模型，从海量自然声音与合成声音中选择最优声音刺激的流程图。自然声音包括可广泛获取的各类音乐、语音、自然白噪声等，人工合成声音可通过深度音乐生成网络得到。深度音乐生成网络可使用公开的已训练好的声学模型，也可自行建立模型(如LSTM模型)训练得到。深度EEG预测网络即为图2所示深度语音识别网络对EEG活动的最优映射。声音刺激输入深度EEG预测网络，得到当前声音刺激下深度网络对EEG信号的估计，称作EEG估计信号。对EEG估计信号中表征睡眠不同时段的梭形波、θ波、高δ波、低δ波所占的频带能量比例进行计算(可通过快速傅里叶变换(FFT)法估计频带能量)，并依据这些频带能量比例对输入的自然声音从高到低进行排序，选取排序靠前的十分位数以内的声音刺激，作为不同睡眠时段对应的最优声音刺激，标记后存储到深度最优声音库当中。
(2)脑电波采集模块
脑电波采集模块由干电极、放大器、A/D转换模块组成。干电极采用Ag/AgCl电极，安置在发卡式头戴装置或由高弹性纤维编织的电极帽等固定装置上。后者在使用时佩戴在用户的头部，以保证电极和头皮的有效接触。与传统Ag/AgCl湿电极相比，干电极无需涂抹导电膏，更有利于用户随时佩戴与使用。为更好的记录睡眠波，本发明建议采用按照10/20国际EEG系统标准排布的F3、F4两个电极；也可扩展使用更多电极，如增加枕颞区TP7、TP8等电极。放大器可采用分离元器件搭建或使用现有的集成芯片实现，如AnalogDevice公司的AD-620芯片。作为示例，本发明可采用图4所示的信号放大电路。图4所示电路由前、后两级放大器及一个带通滤波器组成。前级仪表放大器包括IC1、IC2构成的差分放大电路，与IC3构成的减法器。Vin接信号测量电极，Vref接参考电极，模拟地接GND电极。由于运算放大器的“虚短”效应，流经Rg的电流为(Vin-Vref)/Rg；同时，由于“虚断”效应，流经Rg的电流全部通过负反馈电路到达IC1与IC2的输出端，从而得到(V1-V2)＝(Vin-Vref)(1+2R/Rg)。同理，可知IC3构成减法器的输出电压Vp＝(V2-V1)。因此，前级放大器的总体放大倍数为A＝(1+2R/Rg)。为避免运算放大器电流饱和，本发明前级放大电路的放大倍数取5～20，建议取10。带通滤波器可采用巴特沃兹或切比雪夫滤波器，通带范围建议为0.05Hz～40Hz。后级放大器(IC4)放大倍数取50～200，建议取100。本发明需要对多个EEG电极通道同步采集信号，因此根据所用的电极数量，EEG采集模块应包含相应数目的多个单通道放大器。放大后的输出信号Vo通过A/D转换模块转换为数字信号。A/D转换模块将采集的模拟信号转换为数字信号，可采用市场上常用的A/D芯片实现。本发明建议至少16bit的A/D转换精度，采样率建议在128Hz以上。
(3)睡眠监测模块
睡眠监测模块根据记录到的EEG信号，估计受试者当前所处的睡眠时段。本发明采用短时傅里叶变换(short time Fourier transform,STFT)法得到EEG信号s(t)的实时时频图，分别计算梭形波、θ波、高δ波、低δ波能量相对于α波与β波能量的相对值。如果梭形波占优，则认为处于非REM睡眠1期；θ波占优，认为处于非REM睡眠2期；高δ波占优，认为处于非REM睡眠3期；低δ波占优，认为处于非REM睡眠4期；α波与β波占优，则认为处于REM睡眠/觉醒期。
(4)声音刺激选择模块
声音刺激选择模块根据睡眠监测模块给出的当前的睡眠时段，从声音库中选择一组指定数量的标记为相同睡眠时段的最优声音刺激。如果当前处于非REM睡眠1期，则选择标记为非REM睡眠1期或2期的声音；如果当前处于非REM睡眠2期，则选择标记为非REM睡眠2期或3期的声音；如果当前处于非REM睡眠3期，则选择标记为非REM睡眠3期或4期的声音；如果当前处于非REM睡眠4期，则选择标记为非REM睡眠4期的声音。
(5)闭环优化模块
本发明系统对受试者播放声音刺激，同时接收受试者反馈的EEG信号，因此可根据反馈的EEG信号中睡眠波的强度调整声音刺激，从而形成“声音刺激-实时EEG-声音刺激”的闭环，以有效优化声音刺激，获得针对受试者个体的最优睡眠调节。本发明系统闭环优化模块的一种实现方法为：从声音刺激选择模块给出的一组最优声音刺激选择一个进行播放，在播放声音的同时，从睡眠监测模块获得当前睡眠状态对应EEG频段的实时能量相对值，并以此相对值作为当前睡眠时段下睡眠质量的评估值，记录下来；而后，切换到这一组中下一个声音刺激，记录对应的睡眠质量评估值，直到遍历所有的最优声音刺激；最后，从中选择睡眠质量评估值占优的前若干个指定数量的声音刺激，作为对应受试者个性化的最优声音刺激；一旦已经确定受试者个性化的最优声音刺激，本发明系统可跳过声音刺激选择模块与闭环优化模块，而直接从受试者个性化的最优声音刺激中选择对应睡眠时段的声音刺激进行播放，直到检测到的睡眠质量评估值显著下降(例如下降幅度超过原来的30％)，可重新进行声音刺激选择与闭环优化。
(6)开关/音量控制模块
开关/音量控制根据睡眠监测模块给出的当前的睡眠时段，决定是否播放声音刺激及调节声音刺激的音量。从非REM睡眠1期到4期，播放声音刺激的音量可逐渐从初始音量(如最大音量的60％)减少到某一预设音量(如最大音量的10％)，并在非REM睡眠结束后(处于REM睡眠或觉醒状态)关闭声音刺激。
(7)声音播放模块
声音播放模块包含一个音频放大器，根据所选择的声音刺激与所设定的音量/开关状态，驱动扬声器播放声音刺激。
本发明的关键点和欲保护点如下：
(1)基于深度神经网络预测EEG活动的系统和方法；
(2)基于深度神经网络的声音刺激选择系统和方法；
(3)基于短时傅里叶变换进行睡眠监测的系统和方法；
(4)基于“声音刺激-实时EEG-声音刺激”的闭环对声音刺激进行优化的系统和方法；
(5)根据睡眠监测状态选择声音刺激的系统和方法；
(6)根据睡眠监测状态控制声音刺激播放音量/开关的系统和方法。
本发明系统和方法不仅限于脑电波EEG信号，同样适用于其他可反映睡眠状态的生理信号，如脑磁图(MEG)，近红外光谱(NIRS)，功能性磁共振(fMRI)等。
本发明系统所采用睡眠监测方法不限于所述的方法，同样可替代为神经网络、支持向量机等基于分类器的监测方法及其他基于功率谱等的睡眠状态判断方法。
本发明系统中的脑电波采集模块、声音刺激选择模块、开关/音量控制模块、声音播放模块、扬声器等均可替换为其他具备同等或类似功能的模块。

Claims (5)

1.一种用于睡眠调节的深度声音刺激系统，所述系统至少包括：深度优化声音库模块，所述深度优化声音库模块由自然声音和合成声音中选择最优的声音刺激构成；脑电波采集模块，所述脑电波采集模块用于采集受试者的脑电信号；睡眠监测模块，所述睡眠监测模块根据所述脑电波采集模块记录到的脑电信号，估计受试者当前所处的睡眠时段；声音刺激选择模块，所述声音刺激选择模块根据所述睡眠监测模块给出的所述当前的睡眠时段，从所述深度优化声音库模块中选择一组指定数量的标记为相同睡眠时段的最优声音刺激；闭环优化模块，所述闭环优化模块根据所述脑电波采集模块采集到的脑电信号中睡眠波的强度调整声音刺激，形成“声音刺激-实时EEG-声音刺激”的闭环，优化声音刺激，以获得针对受试者的最优睡眠调节；播放模块，所述播放模块用于将对应所述受试者的最优睡眠调节声音播放给受试者；
所述深度优化声音库模块包括深度语音识别网络，将相同的音乐旋律输入所述深度语音识别网络，及播放给受试者，同步记录所述深度语音识别网络中模型各层神经元输出的变化与受试者真实EEG信号的变化，确定模型神经元到真实EEG信号的最优映射关系，建立神经网络对EEG活动预测的最优映射模型。
2.如权利要求1所述的深度声音刺激系统，其特征在于，所述闭环优化模块的一种实现方法为：从声音刺激选择模块给出的一组最优声音刺激选择一个进行播放，在播放声音的同时，从睡眠监测模块获得当前睡眠状态对应EEG频段的实时能量相对值，并以此相对值作为当前睡眠时段下睡眠质量的评估值，记录下来；而后，切换到这一组中下一个声音刺激，记录对应的睡眠质量评估值，直到遍历所有的最优声音刺激；最后，从中选择睡眠质量评估值占优的前若干个指定数量的声音刺激，作为对应受试者个性化的最优声音刺激；一旦已经确定受试者个性化的最优声音刺激，跳过声音刺激选择模块与闭环优化模块，而直接从受试者个性化的最优声音刺激中选择对应睡眠时段的声音刺激进行播放，直到检测到的睡眠质量评估值的下降幅度超过原来的30％，重新进行声音刺激选择与闭环优化。
3.如权利要求1所述的深度声音刺激系统，其特征在于，深度语音识别网络使用公开的已训练好的声学模型，或自行建立模型训练得到。
4.如权利要求1所述的深度声音刺激系统，其特征在于，在所述深度优化声音库模块中，使所述深度语音识别网络对EEG活动的最优映射模型形成深度EEG预测网络，将声音刺激输入所述深度EEG预测网络，得到当前声音刺激下对EEG信号的估计，称作EEG估计信号，对所述EEG估计信号中表征睡眠不同时段的梭形波、θ波、高δ波、低δ波所占的频带能量比例进行计算，并依据这些频带能量比例对输入的自然声音由高到低进行排序，选取排序靠前的十分位数以内的声音刺激，作为不同睡眠时段对应的最优声音刺激，标记后存储到深度最优声音库当中。
5.一种声音闭环优化模块实现方法，其包括如下步骤：从声音刺激选择模块给出的一组最优声音刺激选择一个进行播放，在播放声音的同时，从睡眠监测模块获得受试者当前睡眠状态对应EEG频段的实时能量相对值，并以此相对值作为当前睡眠时段下睡眠质量的评估值，记录下来；而后，切换到这一组中下一个声音刺激，记录对应的睡眠质量评估值，直到遍历所有的最优声音刺激；最后，从中选择睡眠质量评估值占优的前若干个指定数量的声音刺激，作为对应受试者个性化的最优声音刺激；一旦已经确定受试者个性化的最优声音刺激，跳过声音刺激选择模块与闭环优化模块，而直接从受试者个性化的最优声音刺激中选择对应睡眠时段的声音刺激进行播放，直到检测到的睡眠质量评估值的下降幅度超过原来的30％，重新进行声音刺激选择与闭环优化。
CN201911191990.0A 2019-11-28 2019-11-28 一种用于睡眠调节的深度学习声音刺激系统和方法 Active CN110841169B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911191990.0A CN110841169B (zh) 2019-11-28 2019-11-28 一种用于睡眠调节的深度学习声音刺激系统和方法
PCT/CN2019/123156 WO2021103084A1 (zh) 2019-11-28 2019-12-05 一种用于睡眠调节的深度声音刺激系统和方法
US17/729,871 US20220249017A1 (en) 2019-11-28 2022-04-26 Deep sound stimulation system and method for sleep regulation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911191990.0A CN110841169B (zh) 2019-11-28 2019-11-28 一种用于睡眠调节的深度学习声音刺激系统和方法

Publications (2)

Publication Number Publication Date
CN110841169A CN110841169A (zh) 2020-02-28
CN110841169B true CN110841169B (zh) 2020-09-25

Family

ID=69606563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911191990.0A Active CN110841169B (zh) 2019-11-28 2019-11-28 一种用于睡眠调节的深度学习声音刺激系统和方法

Country Status (3)

Country Link
US (1) US20220249017A1 (zh)
CN (1) CN110841169B (zh)
WO (1) WO2021103084A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021258245A1 (zh) * 2020-06-22 2021-12-30 华为技术有限公司 更新助眠音频信号的方法及装置
CN111790038B (zh) * 2020-06-23 2024-03-29 深圳市联奕实业有限公司 音乐辅助睡眠的方法、装置、计算机设备及存储介质
CN112121283A (zh) * 2020-09-08 2020-12-25 杭州趣安科技有限公司 一种自适应放松辅助系统、方法、设备以及存储介质
CN113018635B (zh) * 2021-03-08 2023-07-14 恒大新能源汽车投资控股集团有限公司 车辆用户睡眠智能唤醒方法及装置
CN113368365A (zh) * 2021-05-21 2021-09-10 苏州声动医疗科技有限公司 脑功能监测的声音振动调控设备、方法、头枕及头戴设备
WO2023056568A1 (en) * 2021-10-08 2023-04-13 Interaxon Inc. Systems and methods to induce sleep and other changes in user states
CN114366983A (zh) * 2021-12-02 2022-04-19 范建萍 一种改善睡眠质量的方法、系统、装置、电子设备及介质
CN114425119A (zh) * 2021-12-17 2022-05-03 松研科技（杭州）有限公司 一种近红外光谱调节睡眠功能的自动仪
CN114366038B (zh) * 2022-02-17 2024-01-23 重庆邮电大学 基于改进的深度学习算法模型的睡眠信号自动分期方法
CN114652938B (zh) * 2022-02-18 2023-12-26 南京安睡科技有限公司 一种促进睡眠的智能闭环调控刺激系统及使用方法
CN116705247B (zh) * 2023-08-07 2024-04-02 安徽星辰智跃科技有限责任公司 基于局部分解的睡眠可持续性检测调节方法、系统和装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103412646A (zh) * 2013-08-07 2013-11-27 南京师范大学 基于脑机交互的音乐情绪化推荐方法
CN104133879A (zh) * 2014-07-25 2014-11-05 刘冬冬 脑电信号与音乐进行匹配的方法及其系统
CN104732983A (zh) * 2015-03-11 2015-06-24 浙江大学 一种交互式音乐可视化方法和装置
CN105451801A (zh) * 2013-06-11 2016-03-30 新加坡科技研究局 声音诱导的睡眠方法和用于该方法的系统
CN105794223A (zh) * 2013-10-02 2016-07-20 声音睡眠有限责任公司 多功能头戴物
CN107126615A (zh) * 2017-04-20 2017-09-05 重庆邮电大学 基于脑电信号的音乐诱导睡眠方法及系统
CN107715276A (zh) * 2017-11-24 2018-02-23 陕西科技大学 闭环路径中睡眠状态反馈的声音睡眠控制系统及其方法
CN107961429A (zh) * 2017-11-28 2018-04-27 广州视源电子科技股份有限公司 睡眠辅助方法和系统、睡眠辅助装置
CN107998499A (zh) * 2017-11-28 2018-05-08 广州视源电子科技股份有限公司 睡眠辅助内容的处理方法和系统、睡眠辅助服务器系统
CN109107016A (zh) * 2018-08-17 2019-01-01 贵州优品睡眠健康产业有限公司 体感振动音乐助眠系统
CN109316170A (zh) * 2018-11-16 2019-02-12 武汉理工大学 基于深度学习的脑电波辅助睡眠及唤醒系统
CN109523993A (zh) * 2018-11-02 2019-03-26 成都三零凯天通信实业有限公司 一种基于cnn与gru融合深度神经网络的语音语种分类方法
CN109731204A (zh) * 2019-02-13 2019-05-10 深兰科技（上海）有限公司 一种睡眠刺激方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201109731D0 (en) * 2011-06-10 2011-07-27 System Ltd X Method and system for analysing audio tracks
JP6368073B2 (ja) * 2013-05-23 2018-08-01 ヤマハ株式会社 音源装置およびプログラム
US10321842B2 (en) * 2014-04-22 2019-06-18 Interaxon Inc. System and method for associating music with brain-state data
JP2018504719A (ja) * 2014-11-02 2018-02-15 エヌゴーグル インコーポレイテッド スマートオーディオヘッドホンシステム
US11123009B2 (en) * 2017-12-21 2021-09-21 Koninklijke Philips N.V. Sleep stage prediction and intervention preparation based thereon

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105451801A (zh) * 2013-06-11 2016-03-30 新加坡科技研究局 声音诱导的睡眠方法和用于该方法的系统
CN103412646A (zh) * 2013-08-07 2013-11-27 南京师范大学 基于脑机交互的音乐情绪化推荐方法
CN105794223A (zh) * 2013-10-02 2016-07-20 声音睡眠有限责任公司 多功能头戴物
CN104133879A (zh) * 2014-07-25 2014-11-05 刘冬冬 脑电信号与音乐进行匹配的方法及其系统
CN104732983A (zh) * 2015-03-11 2015-06-24 浙江大学 一种交互式音乐可视化方法和装置
CN107126615A (zh) * 2017-04-20 2017-09-05 重庆邮电大学 基于脑电信号的音乐诱导睡眠方法及系统
CN107715276A (zh) * 2017-11-24 2018-02-23 陕西科技大学 闭环路径中睡眠状态反馈的声音睡眠控制系统及其方法
CN107961429A (zh) * 2017-11-28 2018-04-27 广州视源电子科技股份有限公司 睡眠辅助方法和系统、睡眠辅助装置
CN107998499A (zh) * 2017-11-28 2018-05-08 广州视源电子科技股份有限公司 睡眠辅助内容的处理方法和系统、睡眠辅助服务器系统
CN109107016A (zh) * 2018-08-17 2019-01-01 贵州优品睡眠健康产业有限公司 体感振动音乐助眠系统
CN109523993A (zh) * 2018-11-02 2019-03-26 成都三零凯天通信实业有限公司 一种基于cnn与gru融合深度神经网络的语音语种分类方法
CN109316170A (zh) * 2018-11-16 2019-02-12 武汉理工大学 基于深度学习的脑电波辅助睡眠及唤醒系统
CN109731204A (zh) * 2019-02-13 2019-05-10 深兰科技（上海）有限公司 一种睡眠刺激方法及装置

Also Published As

Publication number Publication date
WO2021103084A1 (zh) 2021-06-03
CN110841169A (zh) 2020-02-28
US20220249017A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
CN110841169B (zh) 一种用于睡眠调节的深度学习声音刺激系统和方法
CN111477299B (zh) 结合脑电检测分析控制的声电刺激神经调控方法及装置
CN105451801B (zh) 声音诱导的睡眠方法和用于该方法的系统
Kiang et al. Tails of tuning curves of auditory‐nerve fibers
US4883067A (en) Method and apparatus for translating the EEG into music to induce and control various psychological and physiological states and to control a musical instrument
CN106725462B (zh) 基于脑电信号的声光睡眠干预系统和方法
WO2021103829A1 (zh) 基于脑波音乐的个性化精神状态调节系统及调节方法
CN105833411A (zh) 一种新型智能助眠和自然唤醒的方法及装置
CN107126615A (zh) 基于脑电信号的音乐诱导睡眠方法及系统
CN105476631A (zh) 一种基于脑电信号的睡眠检测及睡眠辅助方法及装置
CN109620257B (zh) 基于生物反馈的精神状态干预与调节系统及其工作方法
CN108543193A (zh) 一种用户状态干预方法及装置
CN107644661A (zh) 一种输出双耳频差音乐的装置及方法
CN111569226A (zh) 基于音频处理的助眠方法及装置
CN107802938B (zh) 一种用于镇痛的音乐电刺激的产生方法
CN110302462A (zh) 一种基于脑电信号的神经反馈训练系统
CN107233653A (zh) 基于脑电波情景感知和云平台存储技术的放松减压方法
CN113171534B (zh) 基于音乐和能量波函数的叠加增强神经调制方法及装置
CN112353401B (zh) 一种基于生理状态评估的分期调控方法
CN115779227A (zh) 一种闭环式提高深睡眠质量与愉悦感的方法和系统
CN103313748A (zh) 个性化的治愈声音数据库
CN115192907A (zh) 一种实时生物反馈经皮迷走神经电子针灸装置
Rector et al. Mechanisms underlying state dependent surface-evoked response patterns
CN109589112B (zh) 基于iab在线调控睁、闭眼状态的静息脑电采集方法
NL1005240C2 (nl) Inrichting en werkwijze voor het interactief genereren van zintuiglijk waarneembare signalen.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant