CN115300228A - 一种基于结构光测量的智能眼罩及其控制方法 - Google Patents

Abstract

本申请揭示一种基于结构光测量的智能眼罩及其控制方法。该智能眼罩包括：眼罩本体，所述眼罩本体上配置有：近红外光投影模块、摄像模块及处理模块，其分别连接控制模块，所述近红外光投影模块的发光波长在介于780nm～1000nm，其用以在用户的眼睑的预设范围内投影出已知特征参数的图案，所述摄像模块用于将整个投影区域拍下，并将拍摄的图片数据传输至控制模块。该实施方式将结构光测量系统集成于眼罩中，使用人眼不可见的近红外光源并利用摄像模块来监测眼动状态，具有精度高，且该实施方式下与眼部并无直接接触或者压迫，可以提升舒适度。不会对用户/使用者的正常休息造成干扰。

Description

一种基于结构光测量的智能眼罩及其控制方法

技术领域：

本申请涉及可穿戴电子设备领域，具体地涉及一种基于结构光测量的智能眼罩及其控制方法。

背景技术：

结构光测量技术是指通过主动投射已知特征信息的一维线光或二维图像到目标物体上。经过相机拍摄后，利用已知的投影信息，从拍摄图像中解算出目标物体的三维信息的一种测量技术。

睡眠周期，是指睡眠存在一个生物节律，成年人大约在90～120分钟经历一个睡眠周期，一个夜晚大约会经历4～6个睡眠周期。睡眠研究时通常使用眼球运动状态来划分睡眠阶段，即快速眼动状态和非快速眼动状态。研究表明，在快速眼动期将睡眠者唤醒，被唤醒者的精神状态最佳。

快速眼动睡眠的特征为睡眠时眼球的水平和竖直方向的快速运动。且眼皮较薄，故眼动时，眼睑会产生明显的形变。

目前市场上睡眠周期监测设备，检测难，准确率低，成本高的缺点。

发明内容：

为解决上述存在的缺陷，本申请提供将结构光测量应用于眼动监测的智能眼罩，将结构光测量系统集成于眼罩中，有效解决了背景中提及的缺陷。

为实现上述的目的，本申请通过如下技术方案实现：

一种基于结构光测量的智能眼罩，其特征在于，包括：眼罩本体，所述眼罩本体配置有：近红外光投影模块及摄像模块，所述近红外光投影模块及摄像模块分别通过导线连接控制模块，所述控制模块包括：无线传输模块，其用于连接搭载睡眠数据处理模块的智能终端，所述近红外光投影模块发出的光的波长介于780nm～1000nm，其用以在用户的眼睑的预设范围内投影出已知特征参数的图案，所述摄像模块用于将整个投影区域拍下，并将拍摄的图片数据传输至控制模块。该实施方式将结构光测量系统集成于眼罩中，使用人眼不可见的近红外光源并利用摄像模块来监测眼动状态，具有精度高，且该实施方式下与眼部并无直接接触或者压迫，可以提升舒适度。不会对用户/使用者的正常休息造成干扰。该近红外光投影模块及摄像模块与控制模块间隔的配置于眼罩本体内。该近红外光投影模块及摄像模块配置于一侧，大致对着用户的一只眼睛，控制模块对着用户的另一只眼睛。该眼罩本体内具有一定的弧度，该弧度以匹配人脸。这样用户佩戴后智能眼罩可完美的贴合。

优选的，该眼罩本体的朝向用户脸部侧上配置有贴合部，通过贴合部提高用户配置的舒适感。

优选的，该控制模块还包括：供电模块及处理器，且供电模块与无线传输模块配置于处理器的两侧

优选的，该控制模块包括：无线传输模块，所述控制模块经由所述无线传输模块以将所述摄像模块反馈的图像传输至睡眠数据处理模块。

优选的，该无线传输模块为蓝牙模块。

优选的，该无线传输模块为HC-05蓝牙模块。

优选的，该眼罩本体的两侧配置有连接端，所述连接端用于连接固定带。

优选的，该近红外光投影模块及所述摄像模块配置于眼罩本体的同一侧，其工作区域为用户的同一只眼的眼睑部位，且所述摄像模块与投影模块同步工作。

优选的，该控制模块与所述近红外光投影模块同侧配置，且远离所述近红外光投影模块。

优选的，该近红外光投影模块投影在人眼睑上的图案具有已知特征参数。

优选的，该摄像模块的拍摄范围为包括反映眼睑形变特征的投影区域。

优选的，该眼罩本体内还包括：功率接收模块，其连接供电模块，

所述功率接收模块用以与匹配的功率发射模块连接。这样以实现无线充电。

本申请实施例提供一种上述智能眼罩的控制方法，其特征在于，所述方法包括：使用者在睡眠时将智能眼罩佩戴于头上，基于控制模块的控制近红外光投影模块定时的处于工作状态，以向使用者的眼睑区域投出预设的条纹图案，该条纹图案带有预设的频谱特征；基于控制模块控制的控制摄像模块拍摄近红外光投影模块投出的条纹图案，并反馈至控制模块，基于无线传输模块将拍摄的图像睡眠数据处理模块，所述睡眠数据处理模块接收并响应所述图像，根据时间上相邻的图像比对结果，判断拍摄期间的眼动状态，进而推算出睡眠状态；睡眠数据处理模块根据睡眠状态和使用者自定义的唤醒时间，若判断当前为最佳唤醒时间则执行唤醒功能。

睡眠数据处理模块的数据处理模块对时间上相邻的两张图像进行比对判断，来判断是否唤醒使用者。具体的，睡眠数据处理模块基于得到的图像根据接收完成时智能终端的系统时间，设置图像的接收时间，并将图像根据时间先后顺序进行排序。随后对时间上相邻的每两张图像进行比对，对图案中的两条条纹进行五个特征点曲线拟合，得到每张图像的十个特征点位置坐标，若两张图片的这十个特征点的横向位置平均偏移量超过阈值，即可认定两张图像拍摄期间出现了眼动现象。

若判定每分钟眼动次数大于阈值(5次)，则判定这分钟内使用者处于快速眼动睡眠阶段，

根据使用者每分钟所处的眼动状态，

若在使用者设置的唤醒时间内，使用者出现了不少于阈值(如连续15分钟)的快速眼动睡眠，则在第15分钟结束时调用手机扬声器功能将使用者唤醒，

若不满足上述要求，则在使用者设置的唤醒时间段的最后一分钟开启手机扬声器将使用者唤醒，确保在用户自定义时间段的将用户唤醒。

有益效果：

本申请提出的基于结构光测量的智能眼罩，使用人眼不可见的近红外光源，用于监测眼动状态，具有精度高，且与眼部并无直接接触或者压迫，可以提升舒适度，且不会对使用者的正常休息造成干扰。该智能眼罩可与智能终端连接，基于配置于智能终端的睡眠数据处理模块，在达到预设条件时唤醒用户。

附图说明：

图1为本申请实施例眼罩为各个模块间的逻辑关系示意图。

图2为本申请实施例眼罩为眼罩的内部结构示意图。

图3为本申请实施例为眼罩的俯视的结构示意图原理图。

图4为本申请实施例为实施例眼罩中的控制模块的处理器stm32与近红外光投影模块的引脚连接方式。

图5为本申请实施例眼罩中的控制模块的处理器stm32与摄像模块ov7725引脚连接方式。

图6为本申请实施例眼罩中的控制模块的处理器stm32与无线传输模块HC-05的引脚连接方式。

具体实施方式：

以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本申请而不限于限制本申请的范围。实施例中采用的实施条件可以如具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。

本申请提出一种基于结构光测量的智能眼罩，该眼罩通过结构的优化避免了传统监测眼动技术中对眼部的压迫，同时专门针对的眼部图像的处理可以有效提高对于眼动状态的判断精度而避免其他干扰。

以下将结合附图来阐述本申请提出的基于结构光测量的智能眼罩。

如图1所示为基于结构光测量的智能眼罩的功能模块示意图，

该智能眼罩包括：

控制模块，其电性连接近红外光投影模块、摄像模块及摄像模块。该控制模块还包括无线模块，其通过无线的方式将获得的信息传输至远端的睡眠数据处理模块。该智能眼罩集成了近红外光投影模块、摄像模块、控制模块与睡眠数据处理模块。近红外光投影模块将特定的结构光特征图案投影在使用者的眼睑(又名眼皮)上。经摄像模块采集后，得到的图像数据传输到睡眠数据处理模块进行处理，从而获得使用者睡眠时的眼球运动(简称眼动)状态，推算出使用者睡眠状态，最终睡眠数据处理模块结合使用者自定义的唤醒时段对使用者进行唤醒。

该近红外光投影模块，用以在用户的眼睑(别名眼皮)的适当范围内投影出已知特征参数的图案。

该摄像模块，用于将整个投影区域拍下，并将图片数据反馈至控制模块，并经由控制模块传输到睡眠数据处理模块。该摄像模块。用于处理图片数据并执行唤醒功能。可搭载于PC段或移动端，用于判断眼动状态和睡眠状态。结合用户设置的唤醒时间段，调用硬件(PC或移动端)的扬声器功能进行唤醒。

该智能眼罩还包括有供电模块、处理器组成。其分别设置于眼罩本体，与上述近红外光投影模块，摄像模块连接。用于控制近红外光投影模块，摄像模块。接收摄像模块的图像数据并通过其内含的无线传输模块传输给睡眠数据处理模块。

接下来结合图2-6来描述本申请提出的智能眼罩的结构。

该智能眼罩，包括：

眼罩本体1及固定带2。该眼罩本体1的两侧配置有连接端，该连接端用以连接固定带2，

眼罩本体1上配置有：近红外光投影模块3，摄像模块4。近红外光投影模块3和摄像模块4，配置于眼罩本体1的同一侧，这样其工作区域为同一只眼的眼睑部位，且摄像模块的工作时投影模块一定处于工作状态。摄像模块的拍摄范围为包括了反映眼睑形变特征的投影区域。

该近红外光投影模块3，与控制模块通过电源线连接，连接方式如附图4。近红外光投影模块3具有第一端(GND端)及第二端(VCC端)，其通过匹配的线路连接至处理器(处理模块，如STM32处理器)。其采用3.6mm焦距的投影镜头，用以投影出覆盖眼睑范围的三条条纹黑白灰度图。近红外光投影模块3块的发光波长在780nm～1000nm，属于近红外光，人眼不可见，不会影响使用者的正常休息。本实施方式中，近红外光投影模块3发出的波长为850nm。近红外光投影模块投影在人眼睑上的图案具有已知特征参数。近红外光投影模块，其应用结构光测量，投影的图案带有已知特征参数，包括但不限于，已知分布和宽度的条纹状图案，已知分布和大小的散斑状图案等可以反映眼动特征的图案。

该摄像模块4采用ov7725摄像头，其可在45mm物距下能清晰成像。该摄像模块4对850nm波长的近红外光响应良好。摄像模块4与控制模块通过数据线连接,其与处理器的连接方式如附图5。摄像模块4通过预配的端口与处理器连接。该摄像模块用于在近红外光投影模块工作时拍摄包括投影图案的图片，并将拍摄后得到的图像数据传输到控制模块。该ov7725摄像头的处理模块具有OV_VSYNC、OV_SCL、OV_SDA、OV_DO～OV_D7、FIFORCLK、FIFO_WEN、FIFO_WRST、FIFO_RRST及FIFO_OE，其分别匹配连接至STM32的一一匹配对应的端口(PA8、PD3、PG13、PCO～PC7、PV4、PB3、PD6、PG14、PG15端口)。

控制模块5，包括：无线传输模块6、供电模块7、处理器8。处理器8采用stm32处理器(处理器8配置于PCB板上)，其分别连接上述近红外光投影模块3及摄像模块4并基于指令进行控制。处理摄像模块得到的图像并通过无线传输模块6模块传输到睡眠数据处理模块。供电模块7与无线传输模块6配置于处理器8的两侧。在一实施方式中，控制模块5包括依次层叠的供电模块7、处理器8及无线传输模块6。在一实施方式中，供电模块7配置于功率接收模块(如线圈)，通过功率接收模块与匹配的功率发射模块连接，这样通过无线的方式对供电模块7充电。该功率接收模块配置于供电模块7的外侧。

本实施方式中，无线传输模块6采用蓝牙模块，如HC-05蓝牙串口通信模块(其包括，GND、VCC、TX、RX、EN及STATE端口，其分别匹配连接至STM32的一一匹配对应的端口(GND、VCC、TX、RX、PA4及P15A端口)。这样通过其可向移动端安卓系统传输图片数据。无线传输模块6与处理器的连接参见图6所示控制模块通过数据线连接，其与处理器的连接方式如附图6。无线传输模块6通过预配的端口与处理器STM32的端口连接。

本实施方式中，供电模块7，采用3.7v，1200mA聚合物锂离子电池。其用于为处理器、近红外光投影模块3、摄像模块4、无线传输模块6及处理器8供电。

睡眠数据处理模块基于近红外光投影模块3及摄像模块4的图像信息并对图片进行相应的处理，得到当前的眼动状态。睡眠数据处理模块优选的为，图像处理和分析程序，搭载于PC端和移动端，可调用PC端和移动端的扬声器功能进行唤醒。

本申请实施例提供一种上述智能眼罩的控制方法，其包括：使用者在睡眠时将智能眼罩佩戴于头上，

基于控制模块的控制近红外光投影模块定时的处于工作状态，以向使用者的眼睑区域投出预设的条纹图案，该条纹图案带有预设的频谱特征；

基于控制模块控制的控制摄像模块拍摄近红外光投影模块投出的条纹图案，并反馈至控制模块，

基于无线传输模块将拍摄的图像睡眠数据处理模块，所述睡眠数据处理模块接收并响应所述图像，根据时间上相邻的图像比对结果，判断拍摄期间的眼动状态，进而推算出睡眠状态；

睡眠数据处理模块根据睡眠状态和使用者自定义的唤醒时间，若判断当前为最佳唤醒时间则执行唤醒功能。

在一具体的实施方式中，该智能眼罩工作时，用户(使用者)将眼罩本体配套于头上，近红外光投影模块3在控制模块5的控制下，定时的(如：每分钟的前10秒)处于工作状态，工作时向使用者眼睑区域投出，三条宽度为5mm，长度10mm，间隔10mm的条纹图案，此时摄像模块4在控制模块控制5下每秒进行一次拍摄，得到的图像经过控制模块5基于无线传输模块6的蓝牙传输功能，传输到搭载睡眠数据处理模块(APP)的智能终端(如智能手机，智能音箱)中。较佳的，该眼罩本体的朝向用户脸部侧上配置有贴合部，通过贴合部提高用户配置的舒适感。

睡眠数据处理模块接收到(眼动图像)数据后，对每一张图像设置时间并排序。

对时间上相邻的两张图片进行比对判断。判断两张图片拍摄期间中眼球是否发生运动的依据是，比对图像中的投影图案的特征参数变化。若其特征参数变化超过阈值，则判定为出现了眼动现象。

判断出各个图片间反映的眼动特征后，可以得到眼动状态与时间的关系。再根据眼动状态数据推算睡眠阶段。若处于快速眼动阶段，即浅度睡眠状态，结合使用者设置的唤醒时段，即可进行唤醒。智能眼罩可精准的检测用户的睡眠状态。人处于睡眠状态时，眼动状态可以表征人所处睡眠阶段。眼动状态分为快速眼动状态，和非快速眼动状态；睡眠状态分为深度睡眠和浅度睡眠，其中快速眼动状态时往往处于浅度睡眠状态。而在浅度睡眠时被唤醒要优于在深度睡眠时被唤醒，而目前的眼动状态监测手段具有监测难、精度低、压迫眼部等缺点。

在一实施方式中，睡眠数据处理模块基于得到的图像根据接收完成时手机端的系统时间，设置图像的接收时间，并将图像根据时间先后顺序进行排序(使用前，用户需定义将自己唤醒的最早时间和最晚时间)。随后对时间上相邻的每两张图像进行比对，对图案中的两条条纹进行五个特征点曲线拟合，得到每张图像的十个特征点位置坐标，

若两张图片的这十个特征点的横向位置平均偏移量超过阈值，即可认定两张图像拍摄期间出现了眼动现象。

若判定得到的每分钟眼动次数大于阈值5次，则判定这分钟内使用者处于快速眼动睡眠阶段。

根据使用者每分钟所处的眼动状态。若在使用者设置的唤醒时间内，使用者出现了不少于15分钟的快速眼动睡眠，则在第15分钟结束时调用手机扬声器功能将使用者唤醒。若不满足上述要求，则在使用者设置的唤醒时间段的最后一分钟调用手机扬声器功能将使用者唤醒。

以上所述仅是本申请的优选实施方式。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请技术原理的前提下,还可以做出若干改进和替换，这些改进和替换也应视为本申请的保护范围。

Claims (10)

1.一种基于结构光测量的智能眼罩，其特征在于，包括：

眼罩本体，所述眼罩本体配置有：

近红外光投影模块及摄像模块，所述近红外光投影模块及摄像模块分别通过导线连接控制模块，

所述控制模块包括：无线传输模块，其用于连接搭载睡眠数据处理模块的智能终端，

所述近红外光投影模块发出的光的波长介于780nm～1000nm，其用以在用户的眼睑的预设范围内投影出已知特征参数的图案，

所述摄像模块用于将整个投影区域拍下，并将拍摄的图片数据传输至控制模块。

2.如权利要求1所述的基于结构光测量的智能眼罩，其特征在于，

所述控制模块还包括：供电模块及处理器，且供电模块与无线传输模块配置于处理器的两侧。

3.如权利要求1所述的基于结构光测量的智能眼罩，其特征在于，所述无线传输模块为蓝牙模块。

4.如权利要求2所述的基于结构光测量的智能眼罩，其特征在于，所述无线传输模块为HC-05蓝牙模块。

5.如权利要求1所述的基于结构光测量的智能眼罩，其特征在于，所述眼罩本体的两侧配置有连接端，所述连接端用于连接固定带。

6.如权利要求1所述的基于结构光测量的智能眼罩，其特征在于，所述近红外光投影模块及所述摄像模块配置于眼罩本体的同一侧，其工作区域为用户的同一只眼的眼睑部位，且所述摄像模块与投影模块同步工作。

7.如权利要求6所述的基于结构光测量的智能眼罩，其特征在于，所述控制模块与所述近红外光投影模块同侧配置，且远离所述近红外光投影模块。

8.如权利要求1所述的基于结构光测量的智能眼罩，其特征在于，所述近红外光投影模块投影在人眼睑上的图案具有已知特征参数。

9.如权利要求1所述的基于结构光测量的智能眼罩，其特征在于，

所述摄像模块的拍摄范围为包括反映眼睑形变特征的投影区域。

10.一种如权利要求1-9中任一项所述智能眼罩的控制方法，其特征在于，所述方法包括：

使用者在睡眠时将智能眼罩佩戴于头上，

基于控制模块的控制近红外光投影模块定时的处于工作状态，以向使用者的眼睑区域投出预设的条纹图案，该条纹图案带有预设的频谱特征；

基于控制模块控制的控制摄像模块拍摄近红外光投影模块投出的条纹图案，并反馈至控制模块，

基于无线传输模块将拍摄的图像睡眠数据处理模块，所述睡眠数据处理模块接收并响应所述图像，根据时间上相邻的图像比对结果，判断拍摄期间的眼动状态，进而推算出睡眠状态；

睡眠数据处理模块根据睡眠状态和使用者自定义的唤醒时间，若判断当前为最佳唤醒时间则执行唤醒功能。

Images