CN113261982B - 一种基于眼电的便携式智能睡眠眼罩 - Google Patents

Abstract

本发明属于睡眠监测技术领域，具体为一种基于眼电的便携式智能睡眠眼罩。本发明便携式智能睡眠眼罩包括眼电传感器、采集通道模块、生理电信号处理模块、信号采集处理模块、FPGA主控模块、电源功耗模块、串口通信模块、终端设备以及相应的嵌入式控制软件程序及信号睡眠分阶算法模块。本发明使用可编程门阵列，高集成低功耗元器件，结合深度学习网络模型等实现对眼电的实时采集与睡眠阶段、睡眠质量的分析。该系统便携、舒适，成本低廉，可为家庭睡眠监护及睡眠早期疾病诊断预防提供新的解决方案。

Description

一种基于眼电的便携式智能睡眠眼罩

技术领域

本发明属于睡眠监测技术领域，具体涉及一种便携式智能睡眠眼罩。

背景技术

人的一生中约有三分之一的时间是在睡眠中度过的，良好的睡眠过程能帮助人体进行自我修复与自我调节，保证人体机能良好正常运转。根据世界卫生组织流行病学调查显示，世界范围内有约1/3的人有睡眠障碍，我国睡眠障碍的发病率更是高达38.2%[1]。睡眠障碍不仅会导致机体的生理活动改变，还引发的各种健康问题，如机体免疫下降、内分泌紊乱以及器官的早衰等。根据美国睡眠医学学会标准AASM（American Academy of SleepMedicine），睡眠被分为清醒期（Wake），眼球快速运动睡眠期（REM）与非眼球快速运动睡眠期（NREM），其中NREM又分为N1，N2，N3期。其中NREM期睡眠时间约占75%-80%，REM期睡眠时间约占20%-25%。根据现有的医学资料显示，如果睡眠质量不好，如未进入眼球快速运动睡眠期（REM）或者眼球快速运动睡眠期（REM）不足，会导致人的记忆力与判断力下降。此外，REM睡眠百分比的降低，会导致全因死亡率，心血管疾病相关死亡率和其他与非癌症相关的死亡率风险增高[2]。因此，对睡眠实时监测、睡眠阶段和质量的评估，不仅可以帮助用户及时调整睡眠习惯预防一些潜在的睡眠疾病的发生，也可以辅助医生进行睡眠疾病的诊断和治疗。

现有的睡眠监测系统中，不同的生理信号如脑电（Electroencephalogram, EEG）、心电（Electrocardiogram, ECG）、肌电（Electromyogram, EMG）、呼吸节律、周期性腿动等被相继用于睡眠质量评估以及疾病预测[3]。脑电信号EEG由于其微弱，成分复杂，导致其采集难度大，分析过程复杂[4]，同时其信号微弱还会耦合很多外部干扰，需增加成本专门设计抗干扰模块，且在实际的采集过程中需要佩戴脑电极帽，容易影响用户的睡眠质量，难以得到有效的推广。肌电信号EMG通常测量的是类似夜间磨牙等肌肉放电信号，用于辅助诊断用户的睡眠阶段。呼吸信号的监测，缺点在于传统使用的空气压力传感器需要安装在用户鼻腔内或鼻腔附近，影响用户的睡眠体验，目前使用基于电容，光纤传感方法测量用户胸腔体积变化以测量呼吸信号的方法[5]，常常需要用户在胸腔附件捆绑一条弹力带以固定相应传感器位置。该类方法虽测量较为精确，但在用户睡眠时横移，侧翻等动作中容易使传感器偏离造成测量误差，同时为保证平时测量的精确，弹力带往往约束较强，给用户带来明显的压迫感。使用心电信号的睡眠监测系统，虽然可以监测心肺功能正常，预防心律失常，睡眠呼吸暂停[6]等疾病，但使用心电信号进行睡眠分阶的算法目前还不够成熟，性能无法达到令人满意的效果，该类算法现在还处于探索改进阶段。此外还有一些睡眠监测系统，如小米手环[7]，Bone[8],Gamin[9],Fibit[10],华为手环[11]，codoon手环[12]等，这些产品大多借助加速度传感器+MCU+三轴传感器，通过监控人体动作判断人是否睡眠，保持静止的时间长短来判断睡眠的深浅，将采集的数据通过蓝牙传输至终端，并经过内部的睡眠识别算法判断生成用户睡眠报告。但由于运动手环采取与睡眠特征相关的有用信号非常有限，用于辅助解读数据的软件算法缺乏医学理论依据。所以目前市场上热门的运动手环在睡眠监测准确率还大大存疑，睡眠报告可信度较低。无法提供有用的医学临床指导意见，缺乏关键睡眠信号的采集分析。

与上述睡眠监测系统相比，眼电信号作为一种最常用的眼球运动记录技术，具有价格便宜、使用方便等优点。不同的睡眠阶段，眼电信号也有着不同的表征形式。同时，眼电信号存在通道少，结合新型的柔性感知技术，可以将眼电采集通道嵌入至眼罩中，符合用户睡眠习惯，大幅减少用户的不适。同时其电极采集部位靠近头皮，采集到的眼电信号还可能参有部分的脑电信号，结合现有的深度学习方法，可大幅提升睡眠阶段识别的准确率。

综上所述，对比市场热门产品与现有的睡眠监测系统，缺乏一种采集简便同时实现准确睡眠评估的睡眠监测系统。本发明提出的基于眼电信号和多层次神经网络的智能眼罩系统，不仅可以实现简单便捷的眼电信号柔性感知和采集，而且可以实现高准确率的睡眠阶段分类和睡眠质量评估，从而真正实现低成本、准确率高且睡眠干扰小的智能睡眠监测。

参考文献：

[1] Gaoqunxia. Research on sleep staging and sleep assessment basedon EEG [D]. South China University of technology, 2015.

[2] Leary EB, Watson KT, Ancoli-Israel S, et al. Association of RapidEye Movement Sleep With Mortality in Middle-aged and Older Adults. JAMANeurol. Published online July 06, 2020.

[3] Berry, R. B., Brooks, R., Gamaldo, C. E., Harding, S. M., Marcus,C. L., & Vaughn, B. V. (2012). The AASM manual for the scoring of sleep andassociated events. Rules, Terminology and Technical Specifications, Darien,Illinois, American Academy of Sleep Medicine.

[4] Li Junyu. Research on Mechanism of deep sleep process controlbased on time-frequency analysis of EEG signal [D]. Shaanxi University ofscience and technology, 2018.

[5] Ge Weiqing, et al. A method for measuring respiratory rate withcapacitive sensor [J]. Aerospace medicine and medical engineering, 1999 (02):3-5

[6] C. Chen et al., “Novel Flexible Material-based Unobtrusive andWearable Body Sensor Networks for Vital Sign Monitoring,” IEEE SensorsJournal, pp. 1–1, 2018.

[7] 小米智能手环，https://www.mi.com/shouhuan/

[8] Bone运动手环，http://www.bong.cn/

[9]Gamin运动手环， http://www.garmincn.com/

[10]Fibit智能手环，http://www.ftbit.com.

[11]华为运动手环，http://consumer.huawei.com/cn/wearables/index.htm

[12] Codoon运动睡眠手环， http://www.codoon.com/

[13] Zhang Xiao, Hu Yingyi, Huang zishuo, Wei Peng. Design andimplementation of UART based on FPGA [J]. Digital technology and application,2020,38 (02): 99-100

[14]Sun C, Chen C, Fan J, Li W, Zhang Y, Chen W. A hierarchicalsequential neural network with feature fusion for sleep staging based on EOGand RR signals. J Neural Eng. 2019 Oct 29;16(6):066020. doi: 10.1088/1741-2552/ab39ca. PMID: 31394522.。

发明内容

针对现有技术的不足，本发明旨在提供一种舒适便携、准确率高且睡眠干扰小的便携式智能睡眠眼罩。

本发明提供的便携式智能睡眠眼罩，用于睡眠眼电信号监测和睡眠质量评估；其结构包括：眼电传感器、采集通道模块、生理电信号处理模块、信号采集处理模块、FPGA主控模块、电源功耗模块、串口通信模块、终端设备以及相应的嵌入式控制软件程序及信号睡眠分阶算法模块；其中，主控与信号采集部分采用可编程门阵列、高集成低功耗元器件等高速并发执行结构，有效提升速度，实现睡眠数据采集与实时数据分析；算法部分采用序列式多层次神经网络睡眠分阶算法，仅使用眼电即可实现准确的睡眠分阶，具有方便采集、优化用户体验、分阶结果准确等优点。其中：

眼电传感器，采用柔性传感材料--柔性硅胶电极，用于感知眼电信号；

采集通道模块，用于采集EOG信号，得到原始模拟混有噪声的模拟信号，经过前级的陷波滤波器滤除50Hz工频，送入生理电信号处理模块；

生理电信号处理模块，包括低通滤波器、50Hz的IIR陷波数字滤波器和二阶无源RC低通滤波电路；经过低通滤波器滤除1/f噪声；50Hz的IIR陷波数字滤波器和二阶无源RC低通滤波电路，主要用于滤除眼电信号采集过程中耦合的噪声；

信号采集处理模块，其核心部分为TI公司最新的生物电采集芯片ADS1299，使用SPI接口进行通信配置；其包含多路MUX复用、可编程放大器PGA控制放大、AD模拟数字转换以及提供信号处理的高精度CLK时钟信号；

FPGA主控模块，其核心部分为ALINX公司的AX4010系列FPGA系统，选用此系统主要是由于ADS1299内部还有多达17个寄存器，配置136个控制位，而配置的过程中需要严格的延时及同步执行操作，FPGA作为高速并行式处理系统，有很快的处理速度；同时内部多模块电路并行处理的特点能及时的配置信号采集处理模块，实现数据的读取与传输；

电源功耗管理模块，用于给采集通道模块、生理电信号处理模块、信号采集处理模块、FPGA主控模块等供电；

串口通信模块，用于将采集的眼电数据传输入终端设备，实现数据的实时处理分析，串口波特率设置为：115200，同时配以偶校验防止传输数据出错；

终端设备（PC），用于数据的接收显示、数据存储、数据分析，完成与用户的交互，提供用户的睡眠分析报告。

嵌入式控制软件程序及信号睡眠分阶算法模块，配置于终端设备上，用于控制FPGA主控模块对信号采集处理模块的配置过程；对信号采集处理模块回传的睡眠眼电数据进行睡眠阶段的分类，将解算结果以报告的形式进行展现。其中睡眠分阶算法主要采用序列式多层次神经网络睡眠分阶算法，第一阶段采用双尺度卷积神经网络（ConvolutionalNeural Network，简称CNN）来提取训练特征，第二阶段利用递归神经网络（RecurrentNeural Networks，简称RNN）来学习睡眠期间的时间序列信息；通过对多个通道眼电睡眠分阶评估，生成用户睡眠报告，准确筛查用户每个睡眠周期各个睡眠阶段的时长、占比以及睡眠质量。

本发明中，利用柔性硅胶电极及前端滤波抗干扰电路滤除工频干扰、1/f噪声，保证获得较为干净的眼电信号（electrooculogram，简称EOG）。

本发明中，FPGA主控模块对采集通道模块发送初始化命令，并对采集通道模块进行工作模式的配置；按照通用异步收发传输器[13]（Universal Asynchronous Receiver/Transmitter，简称UART）协议传输采集数据至PC端，便于长时间持续性监测分析受试者睡眠特征。结合序列式多层次神经网络睡眠分阶算法，对用户睡眠阶段进行准确分类评估；采用高集成度，低功耗，高性能元器件，结合多层PCB板大幅减小实际系统尺寸，使得低成本，便捷测量睡眠监护系统成为可能，并最终使得家庭式睡眠监护成为普遍。

本发明中，所述第一阶段采用的双尺度卷积神经网络（CNN）结构包括依次执行的一个卷积层、一个ReLU层、一个最大池化层和Dropout层、一个卷积层和三个残差模块、一个最大池化层、一个Dropout层和两个全连接层；其中，第一个卷积层用于初步提取特征并减小张量的尺寸，以利于后续的ReLU层进行网络非线性学习训练；然后使用最大池化层和Dropout层对特征进行下采样，并去除冗余特征与防止过拟合；接着执行一个卷积层和三个残差模块以进一步学习所需要的特征，防止网络因不能继续进行学习，无法进一步提取特征，而导致特征提取动作停止；然后利用一个最大池化层以减小每个张量的尺寸；然后将这两个尺度得到的不同特征张量进行横向量平铺并合并，随后通过一个Dropout层和两个全连接层，使张量维度进一步减少。

本发明中，所述第二阶段利用递归神经网络（RNN）来学习睡眠期间的时间序列信息；其中，使用的是双向门控循环网络（Bi-GRU）掌握时间序列信息；其流程为：将经过CNN特征学习的眼电信号进行reshape操作，产生训练数据输入Bi-GRU，获得所述眼电信号的时间序列信息；并经过dropout层、全连接层、BN及ReLU层将信号输出至softmax层。

本发明中，所述嵌入式控制软件程序运行于FPGA主控部分中，FPGA主控部分有高精度高稳定度晶体震荡电路提供的50MHzCLK时钟信号定义的机器周期下执行控制逻辑；该部分结合采集通道模块、生理电信号处理模块、信号采集处理模块、FPGA主控模块、串口通信模块，实现眼电信号的采集、滤波、差分放大、AD转换、有线转发；具体流程为，首先主控部分对ADS1299关键引脚上电，唤醒芯片的同时启用ADS1299内部时钟来源；之后发送复位信号使ADS1299准备接收配置功能命令，同时唤醒芯片内部ADC模块，提供ADC内部参考电压；最后利用线性状态机，分别对ADS1299内部17个寄存器进行写操作；主控使用SPI通信方式发送连续转换指令，按照设定的采样频率在中断服务程序中进行AD转换；最后借助USART协议进行数据的发送。

上述便携式智能睡眠眼罩，其工作流程为：

S1：输入眼电信号（EOG）；

S2：眼电信号由双尺度卷积神经网络产生至少一个特征；

S3：将S2所产生的特征由至少一个全连接层输出，所述全连接层与至少一个进行网络非线性学习的模块连接；和

S4：将S3的特征输入由递归神经网络建立的睡眠分阶模型中，得到相应的睡眠阶段结果。

作为优选，流程S2中包括以下方式产生所述特征：

S2.1进行第一次减少张量尺寸；

S2.2进行第一次网络非线性学习；

S2.3进行第一次去除冗余特征；

S2.4进行第二次网络非线性学习；和

S2.5进行第二次去除冗余特征。

另一优选，若流程S2产生两个以上特征，需进行以下操作：

S2.6该等特征排列成横向量；和

S2.7经由至少一个联结层将所述特征联结后传递给所述全连接层进行输出。

作为优选，S2.1与S2.2间进行至少一次特征归一化。

另一优选，S2.3与S2.4间包含进行以下操作：

S2.3.1进行第一次防止过拟合；

S2.3.2进行第二次减少张量尺寸；

S2.3.3进行第一次防止特征提取终止；和/或

S2.3.4进行至少一次特征归一化操作。

作为优选，S2.6与S2.7间进行第二防止过拟合操作。

另一优选，在流程S3所述全连接层与网络非线性学习模块间进行至少一次特征归一化。

另一优选，在流程S4中所述睡眠分阶模型中，利用双向门控循环网络[14]（Bi-Gated Recurrent Unit,简称Bi-GRU）获得所述特征的时间序列信息。

本发明中，所述睡眠分阶模型，利用递归神经网络建立，包含以下步骤：

A：将经过特征学习的眼电信号进行reshape操作，产生训练数据；

B：将所述训练数据导入双向门控循环网络,获得所述眼电信号的时间序列信息；

C：神经网络接收所述时间序列信息，所述神经网络包括至少一个全连接层，用于输出信号，和进行至少一次网络非线性学习；以及

D：softmax层接收来自步骤C的信号，进行睡眠阶段分类，产生所述睡眠分阶模型。

作为优选，步骤C所述神经网络结构，包含至少一次防止过拟合和/或至少一次信号归一化。

其中，进行所述网络非线性学习为ReLU；进行所述减少张量尺寸为卷积层；进行所述去除冗余特征为最大池化层或主成分分析（Principal Component Analysis ，简称PCA）；进行所述防止过拟合为Dropout层；进行所述防止过拟合为Dropout层；进行所述防止特征提取终止为残差模块；进行所述归一化模块为BN。

对比现有的技术，本发明的有益效果在于：

本系统结合先进的睡眠分阶算法，高集成低尺寸化的硬件电路设计，使得该系统只需要较少的通道采集，即可满足进行睡眠分阶的条件。在产品设计上，系统主要以眼罩形式呈现，符合用户的睡眠习惯；配备柔性硅胶电极，获取高质量眼电信号，同时大幅降低了用户采集时的不适感。

实际测试结果表明，用户在扫视、凝视、趋异、高速反复眼动都可获得高质量的眼电信号，使用较少通道即可监测眼球所有动作，为整夜睡眠眼电监测提供新的途径。此外，在保证高质量生理信号采集功能的前提下，设备尺寸大大缩小，从而能实现便携化，满足用户携带，满足平时的家庭监护需求。简化的操作、较低的功耗、清晰的界面、专业的数据分析解读使得其成为睡眠监测的有力工具。同时本地睡眠监测数据还可保存，以便生成长期睡眠报告。为日后医生专业指导，提供参考性意见，是一种辅助性医疗条件补充。

本发明很大程度上改善目前睡眠监测领域市场的不足；具体如下：

（1）本发明产品设计为睡眠监测眼罩+柔性硅胶电极的形式，相比于传统睡眠监测系统设计，眼罩形式更符合用户的睡眠习惯，贴近用户真实睡眠过程;柔性硅胶电极相比传统的湿电极采集时间更长，不需要额外涂抹导电膏，减少了用户使用产品过程中的不适感；

（2）本发明可进行长时间的监测，采用高集成，低功耗的生物电采集芯片，在保证系统正常工作的情况下，最低程度的降低整体系统功耗，使得系统供电可以长期监测，准确监控用户整夜多个睡眠周期；

（3）使用了高集成度、超低功耗、高性能元器件，结合多层PCB板设计方法大幅度缩减系统尺寸，具有便携性；对多模块之间做了模拟与数字电路的隔离，降低数字电路大电流干扰模拟地；电源模块供电之间也相互隔离，保证了系统的鲁棒性；

（4）PC数据处理终端可提供操作界面与用户进行交互，存储数据与生成的睡眠报告可以日后辅助医生提供参考性建议，提升医生诊断效率；

（5）本发明使用序列式多层次神经网络睡眠分阶算法，与现有市场睡眠监测方式对比，不需要采集敏感部位信息（如用户头部，鼻端），最大程度保证用户睡眠体验；同时仅采集眼电信号就可实现准确的睡眠分阶，故可将采集端设计为更合理的眼罩形式，符合用户睡眠习惯；序列式多层次神经网络睡眠分阶算法可利用网络模型自动提取特征，避免了手动提取特征的额外人力成本；同时强大的生理电信号处理模块可以衰减很多用户睡眠过程中，如翻身，侧卧，市电带来的干扰；满足用户在测量过程中的不同睡眠习惯，均可实现睡眠眼电信号采集。

附图说明

图1为系统总体框架图。

图2为系统眼罩设计示意图。

图3为UART协议串口数据发送功能仿真图。

图4为嵌入式控制程序流程图。

图5为序列式多层次神经网络睡眠分阶算法架构图。

图6为网络输入特征学习过程。

图7为网络输入序列学习过程。

图8为上位机数据分析软件程序流程图。

图9为生理电信号处理模块测试。

具体实施方式

下面通过具体实施例与附图进一步介绍本发明

图1为本发明实施例的架构图，其包括采集通道模块、生理电信号处理模块、信号采集处理模块、FPGA主控模块、电源功耗模块、串口通信模块、终端设备以及相应的嵌入式控制软件程序及信号睡眠分阶算法模块；下面将分别介绍各模块的功能及工作流程。

（一）系统硬件部分，具体包括：采集通道模块、生理电信号处理模块、信号采集处理模块、FPGA主控模块、电源功耗模块、串口通信模块、终端设备；下面将分别介绍各模块功能及工作流程。

（1）采集通道模块

本发明使用的电极片为柔性硅胶电极请参阅图2，无需涂抹导电膏即可获得高质量高信噪比的信号，减少对用户的皮肤刺激。该类电极有着电极电势稳定，可拉伸程度高，皮肤贴近性好等优点，更适合于长时间的睡眠监测任务。

（2）生理电信号处理模块

该模块使用的主要器件为TI公司运放芯片，该模块主要设计低通滤波器滤除1/f噪声。该模块低通滤波器截止频率设置为40Hz，Q值参考设计为0.707；二阶无源RC电路设计主要是为了进一步去除带外噪声以及减弱50Hz工频干扰。

其频率响应函数为：

例如：当电阻R1=R2=59K，C1=C2=33nF时，频率函数为：

此时其-3db截止频率为：

本发明中将-3db截止频率设置为40Hz，考虑到信号的去噪有益于对后续算法分阶的准确度提升，故在后续过程中还设计了IIR滤波器以进一步滤除更多噪声，该部分会在后续文本中进一步说明。

（3）信号采集处理模块

信号采集处理模块以Texas Instrument公司的ADS1299-24位delta-sigma ADC芯片设计而成。该芯片主要用于测量脑电信号和心电信号，故其指标性能远远超出测量眼电信号的要求。这款芯片的主要核心电路部分是其低噪，低温漂，高输入阻抗的可编程增益放大器和高精度的AD转换器，其信号电压分辨率最高可以达到0.536uv，在70Hz带宽下有1uVPP极低的输入参考噪声。眼电信号进入ADS1299芯片之前只需通过简单的滤波电路即可，大大缩减信号前置处理的电路部分，一定程度上提高了信号抗干扰能力。信号从外部输入后，依次经过该芯片多路复用MUX电路、可编程PGA增益放大器、24位高精度模拟数字转换ADC电路。同时内部具有高精度振荡CLK电路为所有的工作电路提供基准时间。

同时ADS1299的8路通道都可灵活配置，配置可连至内部信号或外部输入，实现温度测试，导联断线测试。而在正常工作时可配置多路转换器的控制寄存器，将输入通道配成单端输入或差分输入。

（4）FPGA主控模块

FPGA主控模块主要用于控制配置ADS1299的工作模式，启动ADS1299正常工作。具体为：ALINX公司的AX4010系列FPGA系统。该系统板载256Mbit SDRAM可作为数据缓存；50M有源晶振，稳定提供时钟源。FPGA主控模块主要用于SPI串行通信方式与信号采集处理核心模块ADS1299进行数据指令的交互。

FPGA通过重复分配计算资源，使得多个模块之间可以同时独立进行计算，并行执行速度快；同时还具有可定制，可重构的特点。在保证速度快速的同时其复用资源可以省下更多空间，减少开发成本。

（5）串口通信模块

串口通信模块使用MAX232与CH430实现TTL与USB口的电平转换。MAX232符合所有RS-232C技术标准，只需单一+5V电源供电。其内部功耗低，典型供电电流5mA。CH430为硬件全双工串口，内置收发缓冲区，支持波特率50bps~2Mbps，满足不同的传输速率。

（5.1）数据传输协议

数据以数据包的形式从串口发送。FPGA开发板需要写入程序利用内部电路模拟uart口进行数据回传，数据回传波特率为115200，即1秒传输115200个bit。FPGA编写的SPI模块先读取8通道数据，再通过uart模块将每个8 bits封装成数据帧。按照uart协议发送给上位机。功能仿真图片如图3所示。

（5.2）数据传输速率

使用EOG信号通道进行传输，数据采样速率设置为250Hz，因此数据传输率为：

。

此时数据波特率为115200。

（6）电源功耗管理模块

电源功耗管理模块主要为高性能高密度锂电池以及外围电路部分。其中外围电路采用LDO电路（Low Dropout Regulator），产生高精度低纹波+5V,+3.3V电压用于信号采集处理模块供电。

具体的讲，LDO电路使用LT3045芯片。该电源IC芯片提供极高的电源电压抑制比（Power Supply Rejection Ratio，简称PSRR），因而具有很小的电源抖动，以此保证电源系统的高稳定度高精度。

（7）终端设备

终端设备主要提供采集EOG数据的存储，分析功能；信号的完整接收与显示；与使用者的视觉交互。

（二）系统软件部分，具体包括：嵌入式控制软件程序及信号睡眠分阶算法模块，数字滤波器IIR设计，上位机分析软件。

（1）嵌入式控制软件程序

嵌入式控制程序运行于FPGA主控部分中，FPGA主控部分有高精度高稳定度晶体震荡电路提供的50MHzCLK时钟信号定义的机器周期下执行控制逻辑，该部分主要思想为线性状态机。结合采集通道模块、生理电信号处理模块、信号采集处理模块、FPGA主控模块、串口通信模块，实现眼电信号的采集，滤波，差分放大，AD转换，有线转发。具体流程图请参考附图4，首先主控部分对ADS1299关键引脚上电，唤醒芯片的同时启用ADS1299内部时钟来源。之后发送复位信号使ADS1299准备接收配置功能命令，同时唤醒芯片内部ADC模块，提供ADC内部参考电压。最后利用线性状态机，分别对ADS1299内部17个寄存器进行写操作。主控使用SPI通信方式发送连续转换指令，按照设定的采样频率在中断服务程序中进行AD转换。最后借助USART协议进行数据的发送。

（1.1）SPI指令传输协议

SPI（Serial Peripheral interface）为串行外设接口。该通信协议最初为摩托罗拉公司提出。SPI协议与I2C、UART等协议相比，最大的优势在于操作简单稳定，并且消耗硬件的资源较少，只有四个管脚的占用。由于其高速、简单便于PCB布线，该协议被越来越多的芯片所搭载。本次使用FPGA主控部分模拟SPI通信接口进行命令传输。工作时以SPI传输SCLK时钟信号，在SCLK控制下实现MISO,MOSI线的移入移出。具体的传输的流程如下：Master通过MOSI数据线将自己移位寄存器中的数据一位一位移出，Slaver在接收Master发送的比特数据的同时将自己移位寄存器中的数据一位一位移出，并通过MISO数据线将数据返回给Master。以此来完成以此通信。

本发明实施例中FPGA主控模块为主机模式，利用内部时钟分频出8.333MHz作为SCLK时钟信号，考虑到ADS1299最高支持20MHz，因此可以保证数据的传输正确。

（1.2）仿真功能验证

FPGA仿真功能主要有：1.RTL级行为仿真；2.综合后门级仿真；3.时序仿真。第一种仿真用于检查代码中的错误以及代码行为正确性；第二种仿真是综合后门级功能仿真。之所以叫门级仿真是因为综合工具给出的仿真网表已经是与生产厂家的器件的底层元件模型对应起来了，所以为了进行综合后仿真需加入厂家的器件库，对仿真器进行必要配置；第三种为设计流程中的最后一个仿真即时序仿真，主要为布局布线完成以后提供一个时序仿真模型。

本发明使用的仿真验证工具为ModelSim, 它采用直接优化的编译技术、Tcl/Tk技术、和单一内核仿真，编译仿真速度优越，编译的代码与平台无关，便于保护IP核，具有个性化的图形界面和用户接口，为用户加快调试提供强有力的手段。

（2）信号睡眠分阶算法

本发明实施例中使用的睡眠分阶算法为EOG信号的序列式多层次神经网络睡眠分阶算法。其算法架构图如参考附图5所示。

本发明所使用的网络结构主要包括两个阶段：特征学习阶段（阶段1）和序列学习阶段（阶段2）。特征学习阶段从预处理后的EOG信号中提取特征矩阵，然后序列学习阶段按时间顺序从特征矩阵中学习时间序列信息，最终获得训练好的模型。然后将测试数据发送到训练好的模型中来推测其相应的睡眠阶段。

分类算法的性能很大程度上取决于所采用的特征，本发明特征学习阶段采取双尺度CNN结构，用于学习具有不同时间和频率分辨率的特征，该阶段算法结构如图6所示。双尺度CNN结构包括依次执行的一个卷积层、一个ReLU层、一个最大池化层和Dropout层、一个卷积层和三个残差模块、一个最大池化层、一个Dropout层和两个全连接层；其中，第一个卷积层用于初步提取特征并减小张量的尺寸，以利于后续的ReLU层进行网络非线性学习训练。然后使用最大池化层和Dropout层对特征进行下采样并去除冗余特征与防止过拟合现象。接着执行一个卷积层和三个残差模块以进一步学习所需要的特征，防止网络因不能继续进行学习，无法进一步提取特征，而导致特征提取动作停止。然后利用一个最大池化层以减小每个张量的尺寸。然后将这两个尺度得到的不同特征张量进行横向量平铺并合并，随后通过一个Dropout层和两个全连接层，使张量维度进一步减少。至此，得到序列学习阶段所需要的特征矩阵。

算法的第二阶段为序列学习阶段，一整晚的睡眠时期具有明显的时间相关性和阶段转换规则。医生通常使用这些规则并基于前一阶段和下一阶段的睡眠阶段来判断当前的睡眠阶段。例如，REM阶段往往出现在N2阶段之后，而在Wake或N1阶段之后出现的情况并不常见。故一般连续的N2阶段往往可以将之后的睡眠时期划分为REM阶段。

序列学习阶段使用的是双向门控循环网络（Bi-GRU）掌握时间序列信息，该阶段算法结构如图9所示。将经过CNN特征学习的眼电信号进行reshape操作，产生训练数据输入Bi-GRU，获得所述眼电信号的时间序列信息。并经过dropout层、全连接层、BN及ReLU层将信号输出至softmax层。

GRU是一种RNN模块，RNN模块在探索输入信号之间的时间序列关系中具有突出优势。GRU可以选择性地将重要信息传递给下一个单元，而不是将可能包含无用信息的所有信息传递至后续单元。同时Bi-GRU同时接受前向和后向的信息。通过这种结构，Bi-GRU可以处理来自前向和后向的时序信息，这使得其更加优越。序列过程由以下公式定义：

式中，GRU表示Bi-GRU的处理过程。符号h表示Bi-GRU的输出，res表示Bi-GRU之后的网络处理过程。在softmax层之后，可以获得不同类别的概率。

预训练过程：为了防止样本不均衡问题，需要使用过采样方法来平衡样本。过采样方法是从训练集中数量较少的类别中来重复随机采集样本，直到所有类具有相同数量的样本。这种方法可以平衡网络中的权重。由于引入了过采样，其破坏了连续睡眠时期中的时间序列信息。因此，为了确保网络能够借助过采样学习特征的前提下使Bi-GRU学习时间序列信息，采用了预训练过程。具有预训练过程的多层次网络主要包含特征预训练、特征微调和序列学习。特征预训练用于初步训练结合过采样的特征学习部分。在获得预训练的模型后，应用特征微调过程来微调预训练的特征学习模型，并用序列学习过程来学习睡眠阶段切换规则。最后，可以通过将测试数据发送到训练好的模型中来获得预测的睡眠阶段。本发明实施例所使用的网络结构在特征预训练过程中，采用了L2权值衰减技术来防止梯度爆炸现象和过拟合问题。在特征预训练之后，保留了序列信息的网络输入（没有经过过采样）传输到预训练好的模型。然后利用双层Bi-GRU网络从预训练好的模型的输出之间来学习序列信息。

其中，BN用于将获得的信号或特征进行归一化。而进行去除冗余特征的最大池化层可为主成分分析（PCA）。

在实际测试时，受测者带上眼罩（如图2所示），经由柔性硅胶电极取得的眼电信号先经过双尺度卷积神经网络（CNN）产生至少一个特征（图8），其特征再输入递归神经网络（RNN），与递归神经网络（RNN）中建立的睡眠分阶模型进行比对，得到相应的睡眠阶段结果（图7）。

（3）上位机分析软件

上位机分析软件运行于PC终端上，用于数据的接收显示，数据存储，数据分析，完成与用户的交互，提供用户的睡眠分析报告，其程序执行流程图如图8所示。

硬件系统将采集处理好的数字生理电信号通过串口通信模块回传至PC端，PC端将接收的数据实时绘制原始数据波形图，并将数据存入数据缓冲区进行数据转存。

数据接收显示主要包含以下几个功能子块：

导航栏：提供文件打开、保存、另存为、执行、视图选项等功能。此功能子块包含了数据接收显示部分的绝大多数功能，需要通过展开二级菜单的方式进行选择；

工具栏：提供运行操作，暂停等功能。此功能模块包含了用户操作所需的基本工具，可快速执行相关操作；

绘图区：此区域将接收的生理眼电信号进行实时绘图，最多显示8路信号，并配以坐标，峰值检测，提供实时的数据显示交互功能；

数据分析区：此区域主要为睡眠算法解析模块，数据实时发送入信号睡眠分阶算法模块，通过预先训练好的模型实现实时睡眠分阶，将当前阶段的分阶结果返回于当前界面，提供用户当前睡眠信息；

配置区：此处完成端口选择、波特率设置、背景色设置、绘图区长宽设置，坐标轴定义等功能，不同用户根据自己喜好进行设置以满足各异的需求；

综合报告区：该区域综合用户整夜睡眠数据分析，分别给出入睡时间、清醒时间、总睡眠时长、不同睡眠阶段分别时长以及睡眠效率监测得到的睡眠分析结果，将其以报告的形式帮助使用者改善睡眠质量。

（三）系统使用方法及工作原理

将本发明中用于采集眼电信号的采集通道模块内置于睡眠眼罩之中，通过串口模块有线传输给PC上位机。需要指明本发明不仅仅可以安置于卧室睡眠环境，还可以安装于办公室座椅上，满足多种睡眠环境下的实时睡眠分析。采集眼电的导联方式一般采用双极导联方式，参考电极可安装于用户耳突部位。此后信号由采集通道模块及生理电信号处理模块滤除频带外噪声和50Hz工频干扰。较为纯净的眼电信号进入信号采集处理模块。信号采集处理模块使用SPI串行通信接口以高速、全双工、同步通信的方式于FPGA主控模块通信，接收FPGA模块的命令配置与关键引脚供电。完成信号进一步的LPF低通滤波、多级PGA程控放大、AD模拟数字转换，得到的数字眼电信号由串口通信模块回传给终端设备进行在线处理分析，并通过上位机分析软件生成与用户交互界面，本地保存的同时进行数据的实时显示。最终生成的睡眠实验报告，给出具有指导性的睡眠意见结果。

（四）本发明测试评估结果分析

（1）EOG信号测试

（I）标准眼电信号采集测试：

使用商用多导睡眠仪与本发明系统采用相同的配置采集，两套系统的电极直接接触皮肤测试同步采集EOG信号，并对EOG信号做频域特征处理，对比二者结果进行最终的测试评估；

（II）生理电信号处理模块测试：

生理电信号处理模块主要用于消除频带外噪声和初步的工频衰减，噪声的滤除在本系统中占有重要地位，因为EOG信号的纯净程度直接影响到了后续算法模块的睡眠分阶准确性，故需要对硬件处理模块进行电性能测试。具体的响应性能参考附图9所示。

Claims (11)

1.一种基于眼电的便携式智能睡眠眼罩，用于睡眠眼电信号监测和睡眠质量评估；其特征在于，结构包括：眼电传感器、采集通道模块、生理电信号处理模块、信号采集处理模块、FPGA主控模块、电源功耗模块、串口通信模块、终端设备以及相应的嵌入式控制软件程序及信号睡眠分阶算法模块；其中，采用可编程门阵列、高集成低功耗元器件作为高速并发执行结构，实现睡眠数据采集与实时数据分析；算法模块采用序列式多层次神经网络睡眠分阶算法，仅使用眼电即可实现准确的睡眠分阶；其中：

所述眼电传感器，采用柔性传感材料--柔性硅胶电极，用于感知眼电信号EOG；

所述采集通道模块，用于采集眼电信号EOG，得到原始模拟混有噪声的模拟信号，经过前级的陷波滤波器滤除50Hz工频，送入生理电信号处理模块；

所述生理电信号处理模块，包括低通滤波器、50Hz的IIR陷波数字滤波器和二阶无源RC低通滤波电路；经过低通滤波器滤除噪声，低通滤波器截止频率设置为40Hz；50Hz的IIR陷波数字滤波器和二阶无源RC低通滤波电路，用于滤除眼电信号采集过程中耦合的噪声；

所述信号采集处理模块，其核心部分为采用生物电采集芯片ADS1299，使用SPI接口进行通信配置；信号采集处理模块包含多路复用MUX、可编程放大器PGA、ADC模拟数字转换电路以及高精度CLK时钟信号；

所述FPGA主控模块，其核心部分采用AX4010系列FPGA系统，FPGA作为高速并行式处理系统，有很快的处理速度，同时内部多模块电路并行处理的特点能及时的配置信号采集处理模块，实现数据的读取与传输；

所述电源功耗模块，用于给采集通道模块、生理电信号处理模块、信号采集处理模块、FPGA主控模块供电；

所述串口通信模块，用于将采集的眼电数据传输入终端设备，实现数据的实时处理分析，串口波特率设置为：115200，同时配以偶校验防止传输数据出错；

所述终端设备，用于数据的接收显示、数据存储、数据分析，完成与用户的交互，提供用户的睡眠分析报告；

所述嵌入式控制软件程序及信号睡眠分阶算法模块，用于控制FPGA主控模块对信号采集处理模块的配置过程，对信号采集处理模块回传的睡眠眼电数据进行睡眠阶段的分类，将解算结果以报告的形式进行展现；其中睡眠分阶算法主要采用序列式多层次神经网络睡眠分阶算法，第一阶段采用双尺度卷积神经网络CNN提取训练特征，第二阶段利用递归神经网络RNN来学习睡眠期间的时间序列信息；通过对多个通道眼电睡眠分阶评估，生成用户睡眠报告，准确筛查用户每个睡眠周期各个睡眠阶段的时长、占比以及睡眠质量；

所述第一阶段采用的双尺度卷积神经网络CNN结构包括依次执行的一个卷积层、一个ReLU层、一个最大池化层和Dropout层、一个卷积层和三个残差模块、一个最大池化层、一个Dropout层和两个全连接层；其中，第一个卷积层用于初步提取特征并减小张量的尺寸，以利于后续的ReLU层进行网络非线性学习训练；然后使用最大池化层和Dropout层对特征进行下采样，并去除冗余特征与防止过拟合；接着执行一个卷积层和三个残差模块以进一步学习所需要的特征，防止网络因不能继续进行学习，无法进一步提取特征，而导致特征提取动作停止；然后利用一个最大池化层以减小每个张量的尺寸；然后将得到的不同特征张量进行横向量平铺并合并，随后通过一个Dropout层和两个全连接层，使张量维度进一步减少；

所述第二阶段利用递归神经网络RNN来学习睡眠期间的时间序列信息；其中，使用的是双向门控循环网络Bi-GRU掌握时间序列信息；其流程为：将经过CNN特征学习的眼电信号进行reshape操作，产生训练数据输入Bi-GRU，获得所述眼电信号的时间序列信息；并经过dropout层、全连接层、BN及ReLU层将信号输出至softmax层。

2.根据权利要求1所述基于眼电的便携式智能睡眠眼罩，其特征在于，所述嵌入式控制软件程序运行于FPGA主控部分中，FPGA主控部分在高精度高稳定度晶体震荡电路提供的50MHzCLK时钟信号定义的机器周期下执行控制逻辑；该部分结合采集通道模块、生理电信号处理模块、信号采集处理模块、FPGA主控模块、串口通信模块，实现眼电信号的采集、滤波、差分放大、AD转换、有线转发；具体流程为，首先主控部分对ADS1299关键引脚上电，唤醒芯片的同时启用ADS1299内部时钟来源；之后发送复位信号使ADS1299准备接收配置功能命令，同时唤醒芯片内部ADC模块，提供ADC内部参考电压；最后利用线性状态机，分别对ADS1299内部17个寄存器进行写操作；主控使用SPI通信方式发送连续转换指令，按照设定的采样频率在中断服务程序中进行AD转换；最后借助USART协议进行数据的发送。

3.根据权利要求1所述基于眼电的便携式智能睡眠眼罩，其特征在于，FPGA主控模块对采集通道模块发送初始化命令，并对采集通道模块进行工作模式的配置；按照通用异步收发传输器（UART）协议传输采集数据至终端设备，便于长时间持续性监测分析受试者睡眠特征；结合序列式多层次神经网络睡眠分阶算法，对用户睡眠阶段进行准确分类评估。

4.根据权利要求1所述基于眼电的便携式智能睡眠眼罩，其特征在于，其工作流程为：

S1：输入眼电信号EOG；

S2：眼电信号由双尺度卷积神经网络产生至少一个特征；

S3：将流程S2所产生的特征由至少一个全连接层输出，所述全连接层与至少一个进行网络非线性学习的模块连接；和

S4：将流程S3的特征输入由递归神经网络建立的睡眠分阶模型中，得到相应的睡眠阶段结果。

5.根据权利要求4所述基于眼电的便携式智能睡眠眼罩，其特征在于：

流程S2中，采用以下操作产生所述特征：

S2.1进行第一次减少张量尺寸；

S2.2进行第一次网络非线性学习；

S2.3进行第一次去除冗余特征；

S2.4进行第二次网络非线性学习；和

S2.5进行第二次去除冗余特征。

6.根据权利要求5所述基于眼电的便携式智能睡眠眼罩，其特征在于：

流程S2中，采用以下方式产生两个以上特征：

S2.6将两个尺度得到的不同特征当量排列成横向量；和

S2.7经由至少一个联结层将特征联结后传递给所述全连接层进行输出。

7.根据权利要求6所述的便携式智能睡眠眼罩，其特征在于，流程S2中：

S2.1与S2.2间进行至少一次特征归一化操作；

S2.3与S2.4间进行以下操作：

S2.3.1进行第一次防止过拟合；

S2.3.2进行第二次减少张量尺寸；

S2.3.3进行第一次防止特征提取终止；和/或

S2.3.4进行至少一次特征归一化；

S2.6与S2.7间进行第二防止过拟合操作。

8.根据权利要求7所述基于眼电的便携式智能睡眠眼罩，其特征在于，在S3中所述全连接层与网络非线性学习模块间进行至少一次特征归一化操作。

9.根据权利要求4所述基于眼电的便携式智能睡眠眼罩，其特征在于，流程S4中所述睡眠分阶模型中，利用双向门控循环网络Bi-GRU获得所述特征的时间序列信息。

10.根据权利要求7所述基于眼电的便携式智能睡眠眼罩，其特征在于，所述睡眠分阶模型，利用递归神经网络建立，包含以下步骤：

A：将经过特征学习的眼电信号进行reshape操作，产生训练数据；

B：将所述训练数据导入双向门控循环网络,获得所述眼电信号的时间序列信息；

C：神经网络接收所述时间序列信息，所述神经网络包括至少一个全连接层，用于输出信号，和进行至少一次网络非线性学习；以及

D：softmax层接收来自步骤C的信号，进行睡眠阶段分类，产生所述睡眠分阶模型；

其中，进行所述网络非线性学习为ReLU；进行所述减少张量尺寸为卷积层；进行所述去除冗余特征为最大池化层或主成分分析PCA；进行所述防止过拟合为Dropout层；进行所述防止特征提取终止为残差模块；进行所述归一化为BN模块。

11.根据权利要求10所述基于眼电的便携式智能睡眠眼罩，其特征在于，步骤C所述神经网络的结构，包含至少一次防止过拟合和/或至少一次信号归一化。

Images