CN113576426A - 光环境中入睡检判系统 - Google Patents

光环境中入睡检判系统 Download PDF

Info

Publication number
CN113576426A
CN113576426A CN202110834336.8A CN202110834336A CN113576426A CN 113576426 A CN113576426 A CN 113576426A CN 202110834336 A CN202110834336 A CN 202110834336A CN 113576426 A CN113576426 A CN 113576426A
Authority
CN
China
Prior art keywords
sleep
module
light
change rate
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110834336.8A
Other languages
English (en)
Inventor
邹细勇
张维特
王育红
胡晓静
李晓艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University Shangyu Advanced Research Institute Co Ltd
Original Assignee
China Jiliang University Shangyu Advanced Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University Shangyu Advanced Research Institute Co Ltd filed Critical China Jiliang University Shangyu Advanced Research Institute Co Ltd
Priority to CN202110834336.8A priority Critical patent/CN113576426A/zh
Publication of CN113576426A publication Critical patent/CN113576426A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055Simultaneously evaluating both cardiovascular condition and temperature
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Pulmonology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了光环境中入睡检判系统,其包括光色识别单元、入睡识别单元、可调光灯组和控制单元;控制单元以阅读面照度、色温、颜色的xyz色坐标值等光色参数作为输入量,以经数据融合与拟合得出的用户眼睛开度、闭眼持续时长、心率、体动频率、体温等的变化率这几个体征参数作为输出量,建立动态递归Elman神经网络或入睡效率映射表,用来表征环境光照条件与用户入睡效率之间的映射关系;基于各种光环境下采集的样本对神经网络进行离线训练,训练后的网络或入睡效率映射表用来在线对现场光照条件下用户入睡效率各相关参数进行预测,从而进行光环境对入睡的影响进行评价,并为潜在的高入睡效率光环境的搜索与推荐提供依据。

Description

光环境中入睡检判系统
本申请为申请号201910336196.4、申请日2019年04月24日、发明名称“光环境中入睡检判系统及被照平面照度检测装置”专利的分案申请。
技术领域
本发明涉及智能照明与睡眠辅助领域,具体涉及一种光环境中入睡检判系统。
背景技术
科学家通过直接测量视交叉上核神经细胞在体内和体外的电生理活动,发现人体的视交叉上核神经核团(SCN)的电生理活动是以24小时为周期的日节律活动,由此确定了它就是我们大脑中的主控时钟,即生物钟的振荡器。SCN细胞主要是受转录——翻译机制调控的,哪怕将这些细胞从大脑中分离出来,该调控机制同样有效。
人体各种生理活动都受到生物钟节律的影响,其中就包括睡眠。针对睡眠状态,目前睡眠监测金标准是多导睡眠图(PSG),它主要利用脑电信号,还辅以心电、肌电、体位、体表温、声音甚至视频监控等来判断睡眠状态。然而PSG测量无法由被试自己完成,所以更多被用于临床上诊断睡眠障碍。
在SCN细胞的作用机制中,光照刺激非常重要,光信号是通过含黑色素视蛋白的视网膜神经节细胞接受的。灯光在入睡后对人体睡眠影响较小且一般都是熄灯睡觉。因此,对于灯光对睡眠的影响,主要在从准备睡觉到入睡阶段的检测。
对于入睡检测,由于PSG过于复杂,现有技术方案多基于对身体活动的观察,即当用户的身体运动或活动降低到特定水平之下时认为其入睡了。如申请号为2016102048358的中国专利,采用播放音视频后检测用户动作反馈来对入睡检测检测,这种方法将对用户造成人为干扰。
在光照与入睡关联方面,虽已有一些指导性的理论,如蓝光使人警醒而昏黄的灯光使人犯困等,但还没有相关的针对不同个体的具体研究方案。入睡前的可用的照明条件组合不可枚举,为了获得对人体入睡有利的光照条件,先要知道,特定个体在不同照明环境下将表现出什么样的入睡过渡过程?
为此,需要一种光环境中入睡检判系统,来揭示光照条件对个体入睡的刺激影响并对其在具体光照环境中可能的入睡表现进行预测。
发明内容
本发明的目的是对特定用户在不同光环境下的入睡过程进行检测,建立光照条件到入睡效率有关因素之间的映射关系,从而为入睡引导亦或克服睡意提供照明控制的依据。
人体何时入睡?这难以通过一个精确的时间值进行判定。相对而言,睡前阶段与入睡相关的几种人体特征,更容易通过检测系统客观地获取,如眼睛开度及其变化率、眨眼时的闭眼持续时间长度、心率及其变化率、体动状态等。
为了向搜索有助于入睡的照明控制提供决策依据,需要辨识并表达光照条件与上述入睡相关人体特征之间的映射关系。通过研究分析,发现人体入睡过程中相邻时间周期内人体特征之间有着密切相关性。为此,本发明基于动态递归Elman神经网络,对光照条件与入睡效率因素之间的复杂非线性映射关系进行建模,其中光照条件包括阅读面照度、色温、颜色的xyz色坐标值,入睡效率因素则通过用户眼睛开度变化率、闭眼持续时长变化率、心率变化率、体动频率变化率、体温变化率5个参数来表征。
为了解决现有技术中入睡或睡眠只能通过复杂、庞大的医用系统进行检测的问题,本发明通过便携式的传感器来进行人体特征的采样,并用眼睛开度及其变化率、眨眼时的闭眼持续时间长度、心率及其变化率、体动状态等几种特征对入睡效率进行评估。基于体征传感数据,要进行入睡效率评估,存在以下几个问题。首先,所采样的体征数据中,前面一段可能是平缓无显著变化或者变化小于一定范围,后面从某个时间点如人体困意来临时才开始变化;那么,这个时间点如何判断?该时间点前面一段是否能作为有效数据样本?其次,即使后面体征开始变化,如眼睛开度变小或闭眼时长增加,但每次的变化量或变化率本身是变化的,如负指数函数的变化率或一阶导随自变量增大而逐渐越小。为此,难以用体征数据序列的一阶导来定义入睡效率。
基于上述两个问题,所定义的入睡效率要能反应入睡阶段转折点不确定、变化率又不恒定的体征数据序列的总体趋势,并用量化的形式来表达。
本发明的技术解决方案是,提供一种以下结构的光环境中入睡检判系统,包括:
采集并识别阅读面光的照度、色温等光色参数的光色识别单元,
采集并识别用户眼睛开度值及其变化率、闭眼持续时长及其变化率、心率及其变化率、体动频率及其变化率、体温及其变化率等体征参数的入睡识别单元,
具有可调节光属性的灯组,
分别与所述光色识别单元、入睡识别单元和灯组均相连的控制单元,
所述控制单元包括处理模块、存储器、输入接口模块和输出模块,并且其被配置为:
处理模块通过输入接口模块从光色识别单元、入睡识别单元读取光色参数、体征参数,
以阅读面光的照度、色温表示光照条件,以用户眼睛开度值、闭眼持续时长、心率、体动频率、体温等体征参数的变化率作为入睡效率因素,
通过输出模块向灯组发出调光信号,在建立的一个入睡效率映射表中,记录每种光色组合下的各变化率体征参数,将入睡效率映射表保存在存储器中,
现场环境中,对具体光色组合下的入睡效率因素进行预测,根据光色组合值进行所述入睡效率映射表的查找,当所述组合不在入睡效率映射表中时,则基于所述入睡效率映射表通过距离加权的插值计算获取其对应的入睡效率因素各变化率体征参数值,所述距离为光色组合空间中的欧氏距离;若所述组合存在入睡效率映射表中,则直接查表获取其对应的变化率体征参数值,
将查表结果通过输出模块输出。
在本发明的另一个实施例中,还提供另一种光环境中入睡检判系统,其包括:
采集并识别阅读面光的照度、色温和颜色等光色参数的光色识别单元,
采集并识别用户眼睛开度值及其变化率、闭眼持续时长及其变化率、心率及其变化率、体动频率及其变化率、体温及其变化率等体征参数的入睡识别单元,
具有可调节光属性的灯组,
分别与所述光色识别单元、入睡识别单元和灯组均相连的控制单元,
所述控制单元包括处理模块、神经网络模块、迭代学习模块、存储器、第一连接阵、第二连接阵和输出模块,并且其被配置为:
处理模块通过输入接口模块从光色识别单元、入睡识别单元读取光色参数、体征参数,
所述神经网络为动态递归Elman神经网络,其输入层分别从处理模块接收阅读面光的照度、色温、颜色xyz色坐标值共5个光色参数,输出层的输出量分别通过第一连接阵和第二连接阵传输至迭代学习模块和处理模块,所述输出层的输出量包括用户眼睛开度变化率、闭眼持续时长变化率、心率变化率、体动频率变化率、体温变化率共5个体征参数,
通过输出模块向灯组发出调光信号,针对特定用户在不同的光环境中基于光色识别单元和入睡识别单元获取神经网络的训练样本集,
用训练样本离线训练所述神经网络时,迭代学习模块根据处理模块和神经网络分别通过第一连接阵输入的体征参数实际值和网络输出值,调整神经网络的连接权值;
在线预测时,断开第一连接阵而闭合第二连接阵,经训练的神经网络基于当前阅读面照度、色温、颜色的xyz色坐标值,对用户眼睛开度变化率、闭眼持续时长变化率、心率变化率、体动频率变化率、体温变化率进行预测并将结果通过输出模块输出。
作为优选,所述光环境中入睡检判系统还包括分别与控制单元相连的、采集并识别用户身份的身份识别单元及键入参数和发起操作的用户接口单元,
所述身份识别单元采用指纹识别器、生物或其他特征识别器,
所述控制单元进行处理所需要的预设值等参数通过用户接口单元中的按键来输入。
作为优选,所述入睡效率映射表的记录、或所述训练样本集的获取过程中:
针对特定用户在不同的光环境中基于光色识别单元和入睡识别单元获取各种光照条件下入睡过程中体征参数的变化过程记录,并针对照度、色温组成的每种光色组合条件对应的特征参数变化过程记录,
对用户闭眼持续时长y1,对其预处理,
y1=max(y1,4),
然后,先基于如下模型进行离线数据拟合,
y1=g1(t)=8·b/exp(4·c·(a-t))+1,
再计算闭眼持续时长变化率,
kec=k1=t2-t1,其中t1=g1-1(4e-1),t2=g1-1(4-4e-1);
对用户眼睛开度、心率、体动频率、体温中的每个体征参数,对其归一化处理后,先分别基于如下模型进行离线数据拟合,
y2=g2(t)=2·b/exp(4·c·(t-a))+1,
再计算其各自变化率,
ki=t2-t1,其中t1=g2-1(1-e-1),t2=g2-1(e-1),i=2,3,4,5,
其中,y1、y2为体征参数预处理或归一化后的取值,t为时间,a、b、c为拟合系数,ki(i=2,3,4,5)分别对应眼睛开度变化率keo、心率变化率kh、体动频率变化率kb、体温变化率kp
以所述变化率体征参数作为入睡效率因素。
作为优选,所述入睡效率映射表的记录、或所述训练样本集的获取过程中:
控制单元通过输出模块在已知的LED灯组调光范围内,以步进的方式改变LED灯组的出光,通过不断改变照明向量空间的工作点,在多次入睡检测后获取足够多的数据样本,其中在各光色变量的端值区域采样点可以稀疏,而在低色温区域如色温3000k附近,照度100lx~300lx附近的区域,采样点要更为密集。
作为优选,所述灯组采用亮度、色温、颜色及照射角度等光性质中的至少一种光性质可调的LED灯组,其通过调光驱动器调节灯组内LED串各通道驱动电流的PWM波占空比来进行出光调节。
作为优选,所述输出模块包括一个用来轮流指示当前用户入睡效率各因素值的显示条;所述输出模块还包括一个通信接口,并通过该接口模块向外部输出所获得的入睡效率的各因素值。
作为优选,所述光色识别单元包括置于旋转平台上的光色获取模块以及光色判断模块,
所述光色获取模块中的光色传感器依次通过俯仰板、横滚板和第一连接件连接于在入睡场景中置于用户附近的支架上,
所述俯仰板通过俯仰转轴连接于横滚板上,所述横滚板通过横滚转轴连接于第一连接件上,所述第一连接件固定在所述支架上,所述横滚转轴还通过第二连接件为俯仰转轴提供电连接通道,
所述光色识别单元被配置为:
在不同的光环境中,分别旋转俯仰转轴、横滚转轴来改变光色传感器表面的朝向,对照射光进行采样后由光色判断模块计算出该朝向面的照度、色温、颜色xyz色坐标值等光色参数值,记录每个朝向对应的俯仰角α、横滚角β并建立α和β组合到各光色参数值的映射表,
对于一具体朝向,若其对应的俯仰角和横滚角的组合不在映射表中,则基于所述映射表通过角度组合空间中距离加权的插值计算获取其对应的光色参数值。
作为优选,所述入睡识别单元包括图像采集模块、可佩带模块和入睡判断模块,
所述入睡判断模块中的图像处理部对用户眼睛开度进行持续检测,心率计算部、体动频率计算部及体温计算部则基于可佩带模块获取的人体传感信号分别计算出心率、体动频率及体温,
入睡判断模块中的数据融合处理部,对图像处理部、心率计算部、体动频率计算部及体温计算部输出的体征参数进行数据融合,消除数据集中不一致的部分,
所图像采集模块采用深度相机,所述入睡识别单元还被配置为:
根据图像处理部的处理结果,转动支撑所述相机的云台,使相机对准用户脸部。
作为优选,所述入睡识别单元采用的相机安装在入睡场景中置于用户附近的支架上,支架底部有底座,
所述用户接口单元中包括有对当前疲倦程度进行指示的按键,所述神经网络增加一个疲倦指数输入参数,
所述用户接口单元中还包括一个取消采样按键,所述控制单元在检测到此按键被按下后,暂停数据采样和样本记录,
所述神经网络模块还可增加一个从实时时钟模块获取的时段参数作为输入,所述时段分别为中午或晚上;所述神经网络模块还可增加从温湿度测量模块获取的温度、湿度两个参数作为输入;所述神经网络模块还可增加一个从噪声测量模块获取的噪声水平参数作为输入。
作为优选,所述神经网络的模型为:
xck(t)=xk(t-mod(k,q)-1),
Figure BDA0003174916820000061
Figure BDA0003174916820000062
其中,mod为求余函数,f()函数取为sigmoid函数;xck(t)为承接层输出,xj(t)为隐含层输出,ui(t-1)和yh(t)分别为输入层输入和输出层输出,wj、wjk和wji分别为隐含层到输出层的连接权值、承接层到隐含层的连接权值和输入层到隐含层的连接权值,θh和θj分别为输出层和隐含层阈值;k=1,2…m,q为所选定的回归延时尺度,根据采样周期优选;j=1,2…m,i=1,2…5,隐含层及承接层节点数m在12~25之间选择;h=1,2…5;
所述训练采用梯度下降法。
采用本发明方案,与现有技术相比,具有以下优点:本发明分别通过阅读面照度、色温、颜色的xyz色坐标值来表征光照条件,采用通过数据融合与数据拟合获取的用户眼睛开度变化率、闭眼持续时长变化率、心率变化率、体动频率变化率、体温变化率等体征参数来表征入睡效率,各参数分别通过光色识别单元、入睡识别单元进行信号采集与处理后,在控制单元中采用非线性映射对环境的光照条件与用户入睡效率因素之间的影响关系进行构造建模,经训练或拟合后的映射能对不同光环境下的用户入睡效率进行预测,从而能为后续高入睡效率光环境的搜索与推荐提供依据。
附图说明
图1为人体生物钟节律示意图;
图2为光环境中入睡检判系统的组成结构图;
图3为控制单元组成结构图;
图4为光色识别单元组成结构图;
图5为入睡识别单元组成结构图;
图6为可调光灯组组成结构图;
图7为Elman神经网络结构示意图;
图8为本发明布局结构示意图;
图9为图像采集模块的云台旋转示意图;
图10为光色获取模块的旋转示意图;
图11为光色获取模块旋转平台结构示意图;
图12为眼睛开度检测序列曲线图;
图13为拟合函数曲线示意图。
其中:100光环境中入睡检判系统,110光色识别单元,120入睡识别单元,130身份识别单元,140控制单元,150用户接口单元,160可调光灯组,
111光色获取模块,112光色判断模块,113旋转平台,
121图像采集模块,122可佩带模块,123入睡判断模块,1231图像处理部,1232心率计算部,1233体动频率计算部,1234体温计算部,1235数据融合处理部,
141输入接口模块,142处理模块,143Elman神经网络,144迭代学习模块,145存储器,146第一连接阵,147第二连接阵,148输出模块,
161驱动器,162LED串,
101底座,102支架,103深度相机,104云台,105显示条,106光色传感块,107按键块,108调光面板,
1061第一连接件,1062横滚转轴,1063横滚板,1064俯仰转轴,1065俯仰板,1066光色传感器,1067第二连接件。
具体实施方式
以下结合附图对本发明的优选实施例进行详细描述,但本发明并不仅仅限于这些实施例。本发明涵盖任何在本发明的精神和范围上做的替代、修改、等效方法以及方案。
为了使公众对本发明有彻底的了解,在以下本发明优选实施例中详细说明了具体的细节,而对本领域技术用户来说没有这些细节的描述也可以完全理解本发明。
在下列段落中参照附图以举例方式更具体地描述本发明。需说明的是,附图均采用较为简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施例的目的。
实施例1:
人的生物钟就是人体内随时间作周期变化的生理生化过程、形态结构以及行为等现象。如图1所示,在凌晨2时的时候,人的睡眠达到最大深度,凌晨4时30分,体温达到最低,凌晨的6时45分血压的升高最快,早晨7时30分褪黑素的分泌停止,上午10时的时候是人们头脑最清醒的时刻,在下午14时30分人的四肢活动配合到最佳状况,下午18时30分,人的血压达到了1天的高峰,随即在晚上19时,体温达到了高峰,晚上21时的时候褪黑素的分泌开始。根据人的生理生化活动的周期性变化,人可以合理安排一天的活动,从而使工作和休息效率达到最高,也使得人的身心健康状态达到最佳。其中,根据生物钟来安排和引导睡眠,是人们保持精力所必须的。
在人体从清醒状态进入睡眠时,心跳减慢、体温下降、呼吸变缓,肌肉也会随之放松,与之相适应的是精神上从懈怠、发呆、疲倦、思睡、入睡的一种变化过程。通过与脑电图的对比研究表明,人眼睛闭合持续时间越长,疲劳程度越严重。因此,通过测量眼睛开度及闭合持续时间的长短能够确定疲劳程度,从而为入睡过程提供检测手段。
入睡阶段,人体会表现出疲劳感增强、眼睑低垂、间断性的眨眼直至完全闭眼、身体移动减缓、脉搏和体温降低等趋向性变化,这些身体特征可以通过传感器的手段进行检测。其中,脸部眼睛状态特别是开度变化的检测可以基于机器视觉及图像处理等技术,而心率、体动及体温则可以用手环等可佩带式模块进行检测。
光照对人体入睡有直接、重要的影响,为了帮助寻找有助于更快进入睡眠的照明,本发明专利通过非线性系统建模,对用户在不同光色环境下的入睡效率特征进行检测与预判。
如图2所示,本发明光环境中入睡检判系统100,其包括光色识别单元110、入睡识别单元120、身份识别单元130、控制单元140、用户接口单元150和可调光灯组160。
身份识别单元130采用指纹识别器、生物或其他特征识别器,生物特征可以采用虹膜特征或面部测量数据特征如用户眼睛、鼻子和嘴之间的距离等。
结合图2、图5、图8所示,入睡识别单元120包括图像采集模块121、可佩带模块122和入睡判断模块123,其中,图像采集模块121有云台104支撑。图像采集模块的相机103,连同云台104一起,固定于在入睡场景中置于用户附近的支架102上,支架102底部有底座101支撑。
图像采集模块121对入睡场景中的人脸、阅读对象进行连续的图像采集,由图像处理部对所采集图像进行处理,周期性监测用户眼睛开度,并获取用户眼睛开度值及其变化率、闭眼持续时长及其变化率。为了配合光色识别单元对阅读面的光色识别,图像处理部还对阅读对象相对支架的朝向方位进行识别。
结合图8、图9所示,图像采集模块采用深度相机,通过一个彩色摄像头和一组景深红外摄像头进行成像,彩色摄像头用于捕捉图像,红外摄像头用于生成像素深度矩阵,经过运算生成目标的深度信息,从而对各个角度的人眼进行跟踪检测。在进行人眼跟踪检测的过程中,根据图像处理部的处理结果,转动支撑相机的云台,使相机对准用户脸部,以利于成像与处理。云台运动使得相机分别通过绕Y轴进行俯仰转动、通过绕Z轴进行偏转转动。
可佩带模块122中有脉搏传感器、加速度传感器、体温传感器等信息采集模块,这些传感器所采集的信号分别经入睡判断模块123中的心率计算部1232、体动频率计算部1233及体温计算部1234处理后,获得用户的心率、体动频率、体温以及它们各自的单位时间变化率。
基于深度相机采集到的入睡场景图像,图像处理部1231首先要进行平滑处理及阈值分割,去除噪声并进行用户面部及眼睛区域定位,提取人眼高宽比等特征信息;其次,基于深度信息进行几何校正,对眼部区域进行三维重建,获得其三维世界坐标,得出不同角度和距离下的实际眼睛开度值。
基于周期性获取的人眼高宽比可以计算出眼睛开度值,在周期性进行图像采样的过程中,还能获取闭眼持续时长。定义闭眼状态为眼睑盖过瞳孔的面积超过80%,在图像采样过程中,如果前后连续两次采集的眼睛图像都是闭合状态,则认为这两次采集时间间隔是闭眼持续时间。连续采集到睁眼——闭眼——睁眼序列,两个睁眼时间之差为闭眼持续时长。
基于图像的入睡特征处理过程为:对图像进行脸部定位后,进行左右眼区域分割,分别对两眼进行眼睛开度及闭眼时长识别。
入睡过程中身体动作幅度与频率都逐步减弱,因而可以用来对入睡进行辅助检测。通过统计周期如半分钟内的身体活动如腕部活动能量及频率来表征当前状态。采用的过零检测,若加速度值和一个略大于零的参考值相比较,每过参考值一次就计数一次。采用了下式表示体动频率特征:
Figure BDA0003174916820000101
其中,Ai为根据加速度值获取的第i周期腕活动次数,Ri为时序系数,ηj(j=1,2,3,4)为项系数,Qi为测量周期时间及其前后各2个时段中活动数量高于设定阈值如5的时段数量,SD为求标准差函数。式中各系数可以在0至1之间取值,也可以通过将di与同时记录的其他生理指标如肌电进行对比来拟合标定。
用脉搏传感器来测量心率是基于物质对光的吸收原理,脉搏传感器通过绿光LED照射血管同时搭配感光光电二极管来对反射光进行测量。由于血液是红色的,它可以反射红光吸而收绿光,在心脏跳动时,血液流量增多,绿光的吸收量会随之变大;处于心脏跳动的间隙时血流会减少,吸收的绿光也会随之降低。因此,根据血液的吸光度可测量心率。
脉搏传感器将血液流动对光的吸收转变成了波动信号,该信号是直流信号和交流信号的混合,通过0.8Hz到2.5Hz之间的带通滤波提取其中反映血液流动特点的交流信号,然后采用傅里叶变换,提取幅值的最大值点,得到该点所对应的频率值,乘以60倍而得到实际的心率值。
体温计算部对体温传感器采集的信号进行滤波处理,计算出体温值。
在获取眼睛开度、闭眼时长、心率、体动频率、体温等基本数据后,入睡判断模块中的数据融合处理部1235,对这些体征参数进行数据融合,以消除数据集中不一致的部分。
数据融合采用证据推理方法,基于所设定的启发式规则。规则包括单因素和多因素两类。以单因素规则为例:对于眼睛开度,如检测到一只眼睛闭合同时另外一只眼睛睁开,则当前状态判定为睁眼。其他体征变化,如体温在下降过程中的偶尔较大幅度上升、心率下降后的偶尔而非持续反向上升,都要用证据推理进行个别数据的排除。
多因素规则推理中,根据多数特征数据的一致变化趋势来排除个别体征数据的相反变化趋势。在用曲线如指数分布对闭眼时长进行数据拟合时,对于闭眼时长逐步增加数据序列中间杂的几个短闭眼时长,如果其他体征数据表现为睡意逐步加深,则应将该几个短闭眼时长数据排除,这可能是人在入睡过程中有意识为调整自身状态而主动发生的抗拒疲劳动作,此时表现为快眨几次眼。相似的,如果其他体征数据变化不大即表现为不疲劳,但闭眼时长大大超过正常值,则该数据也应排除,此时可能是眼睛中有异物。再比如,在趋于平静时加速度传感器检测到身体突然触动,如果其他体征数据变化不大,则可能此时是入睡过程中打瞌睡引起的的触动,在计算体动频率趋势时也应删除这个触动数据。
基于数据融合处理后的各种体征数据序列,入睡判断模块采用数据拟合的方法来对数据序列进行表达。图12给出了一次入睡前阅读时眼睛开度的检测序列,其中,归一化处理后的眼睛开度de的采样序列首先经过了滤波的预处理,再经数据融合进一步去除了偶然因素的影响。图中,第一阶段,眼睛开度de变化不大,基本上在正常状态下平均值上下一个范围内变化;第二阶段,随着困意来临,眼睛开度逐渐减小,直至最后被检测为基本闭合。
从图12可以看出,在入睡的过渡时间段内,人眼睛开度的转折点是难以预测的,而且从转折点之后,在较短的时间内就会逐步闭合;同时,不同时候这个渐变时长也会有较大差别。为了对这种采样序列进行拟合,区别于常用的Sigmoid、tanh等趋势函数,本发明设计了如下的拟合函数:
y2=g2(t)=2·b/exp(4·c·(t-a))+1,
其中,b为比例系数,对于归一化的数据可取值为0.5,a和c则是与样本相关的参数。
参见图13所示,左边一条曲线对应的a、c值分别为2和2,右边一条曲线对应的a、c值分别为5和1,从图中可以看出,只要适当改变a、c的值,能对各种不同转折点位置、不同变化速率的呈下降趋势的数据序列进行拟合。
相应地,对心率、体动频率、体温等呈下降后趋于稳定的体征数据序列,均可采用上述y2函数进行数据拟合。而对于闭眼持续时长,相应地,设计了另一个拟合函数:
y1=g1(t)=8·b/exp(4·c·(a-t))+1。
而且,对于闭眼持续时长而言,如果其达到了4秒之久,一般可以判断人员已经进入入睡状态。因此,对闭眼持续时长进行预处理:
y1=max(y1,4),
否则,闭眼持续时长会有很多取值可能,并且使得样本失去表征的意义。
在对体征数据序列进行数据拟合的基础上,如何表征眼睛开度等这些体征的变化率呢?如果仅对所拟合出函数其一阶导在某个时间点进行计算,则由于不同时间点的值不同而失去表征意义。同样,对所拟合出函数其二阶导求值也无法表征不同变化趋势曲线的差别。为此,本发明针对所拟合出的趋势函数,计算两个确定的因变量对应的自变量即时间之差来对体征变化率进行表征。如,对于眼睛开度,计算其变化率keo
keo=t2-t1,其中t1=g2-1(1-e-1),t2=g2-1(e-1)。
类似地,可以计算其他体征的变化率。通过这种数据处理,使得各种体征及其变化率都能体现一致的评价标准;如,所定义的体征变化率越小,则说明入睡过渡时间越短。同时,这种多因素的体征评价,相比单因素评价如眼睛开度评价,更能体现不同人员的入睡效率或速度特征,从而为后续的光照影响建模和光照优化控制提供了基础。
作为优选,对用户眼睛开度、闭眼持续时长、心率、体动频率、体温等体征参数,根据其本身时间数据序列的若干前后项来计算其可信概率,用贝叶斯数据融合方法将多个体征参数融合为一个输出。
结合图2、图4、图10、图11所示,光色识别单元110包括置于旋转平台113上的光色获取模块111以及对获取的光传感信号进行处理与计算的光色判断模块112。旋转平台及光色获取模块组成光色传感块106,连接于支架102上。
光色获取模块中的光色传感器1066依次通过俯仰板1065、横滚板1063和第一连接件1061连接于支架102上。俯仰板1065通过俯仰转轴1064连接于横滚板1063上,带动光色传感器1066绕Y轴进行俯仰转动;横滚板1062通过横滚转轴1062连接于第一连接件1061上,带动俯仰板1065及光色传感器1066绕X轴做横滚转动。横滚转轴1062与俯仰转轴1064均通过电机来驱动旋转,它们分别通过第一连接件1061、第二连接件1067取电,电机的控制由位于底座中的光色判断模块或控制单元实现。所述第一连接件1061为硬连接,除了支撑固定外还提供电连接通道,第二连接件1067则为软连接,仅提供电连接通道。
光色传感器包括照度、色温和颜色传感器,其中,色温和颜色则可以通过同一个RGB或xyz颜色传感模块来进行获取。作为优选,颜色传感模块可以选用TCS3430传感器,实时采集阅读面的光色信号,通过控制单元中处理模块信号处理、转换后分别获得颜色的xyz色坐标值和色温。
用户入睡前可能在工作台上活动,如进行第二天的工作计划或时间安排或短时阅读,此时阅读面基本固定,可以在水平面方向上进行光照检测。但有时候,用户的阅读面并非水平,如倚靠在躺椅、沙发或者床头进行阅读,此时,基于图像处理部对阅读面方位的识别,有两种方法对阅读面的光照特别是照度进行检测,一种是根据光源的空间分布特征,将光色传感器1066检测到的照度折算到阅读面,另外一种方法,则是通过旋转平台将光色传感器变换到与阅读面平行的方位,从而通过光色计算模块获得阅读面的照度。前一种方法需要对光源的空间分布进行建模,适用范围小,为此,采用第二种方法。
在不同的光环境中,分别旋转俯仰转轴、横滚转轴来改变光色传感器表面的朝向,对照射光进行采样后由光色判断模块计算出该朝向面的照度、色温、颜色xyz色坐标值等光色参数值,记录每个朝向对应的俯仰角α、横滚角β并建立α和β组合到各光色参数值的映射表。
为了由映射表泛化到任一具体朝向,当该朝向的俯仰角和横滚角的组合不在映射表中,则基于该映射表通过角度组合空间中距离加权的插值计算获取其对应的光色参数值,过程如下。
为简化起见,不失一般性,仅以光色参数中的阅读面照度、色温这2个参数为例,更多光色参数可类似处理。
基于俯仰角α、横滚角β组合到各光色参数值的映射表,对于一具体角度组合(α0,β0),通过在映射表中进行插值来获取其照度、色温值。
先找到角度空间中P(α0,β0)周围的四个点:A(α1,β1),B(α2,β1),C(α1,β2)及D(α2,β2),其中α1≤α0≤α2,β1≤β0≤β2
照度、色温值(E0,K0)用距离做加权值进行插值,
Figure BDA0003174916820000141
Figure BDA0003174916820000142
其中,d1代表P到四个点距离中的最短距离,d2为第二短的点,依次类推,dT为所有距离之和;E1和K1分别为距离最短点的照度、色温值;与待查找的P点最近的四个点依据距离长短不同被分别加上不同权重,距离最短权重最重。
作为优选,在建立所述角度组合到光色参数值的映射表的过程中,所述光色传感器表面被布置得尽量接近阅读面,以使两个平面上的光照差别小到不足以影响入睡效率。当光源离阅读面有一定距离时,这很容易被满足。
结合图2、图3所示,控制单元包括输入接口模块140、处理模块142、Elman神经网络143、迭代学习模块144、存储器145、第一连接阵146、第二连接阵147和输出模块148。
本发明采用神经网络对环境的光照条件与用户入睡效率因素之间的映射关系进行构造建模。具体地,建立以图3所示的Elman神经网络,该网络以阅读面照度、色温、颜色的xyz色坐标值作为输入量,以用户眼睛开度变化率、闭眼持续时长变化率、心率变化率、体动频率变化率、体温变化率共5个体征参数为输出量。
所采用的Elman神经网络具有递归结构,相比BP神经网络,Elman神经网络除了输入层、隐含层和输出层之外,还包括一个承接层,承接层用于层间的反馈联结,使得其能够表达输入与输出之间在时间上的延迟及参数时序特征,使得网络具有了记忆功能。参见图3,所建立的神经网络输入层有n=5个单元,隐含层及承接层节点数为m,输出层有5个单元。
所述神经网络的模型为:
xck(t)=xk(t-mod(k,q)-1),
Figure BDA0003174916820000151
Figure BDA0003174916820000152
其中,mod为求余函数,f()函数取为sigmoid函数;xck(t)为承接层输出,xj(t)为隐含层输出,ui(t-1)和yh(t)分别为输入层输入和输出层输出,wj、wjk和wji分别为隐含层到输出层的连接权值、承接层到隐含层的连接权值和输入层到隐含层的连接权值,θh和θj分别为输出层和隐含层阈值;k=1,2…m,q为所选定的回归延时尺度,根据采样周期优选;j=1,2…m,i=1,2…5,隐含层及承接层节点数m可以在12~25之间选择;h=1,2…5。
为提高神经网络的泛化能力,要采集足够多的训练样本。控制单元通过输出模块或用户接口单元向灯组发出调光信号,针对特定用户在不同的光环境中基于光色识别单元和入睡识别单元获取神经网络的训练样本集,记录各样本输出值yh的实际值即期望值yhd
其中,在训练阶段,通过入睡识别单元和控制单元中的处理模块,神经网络输出量的5个体征参数按如下方式处理获得:
基于入睡识别单元获取各种光照条件下入睡过程中体征参数的变化过程并进行记录,对于所记录的每个入睡过程中的体征参数序列中的数据,
对用户闭眼持续时长y1,对其预处理,
y1=max(y1,4),
然后,先基于如下模型进行离线数据拟合,
y1=g1(t)=8·b/exp(4·c·(a-t))+1,
再计算闭眼持续时长变化率,
kec=k1=t2-t1,其中t1=g1-1(4e-1),t2=g1-1(4-4e-1);
对用户眼睛开度、心率、体动频率、体温中的每个体征参数,对其归一化处理后,先分别基于如下模型进行离线数据拟合,
y2=g2(t)=2·b/exp(4·c·(t-a))+1,
再计算其各自变化率,
ki=t2-t1,其中t1=g2-1(1-e-1),t2=g2-1(e-1),i=2,3,4,5;
其中,y1、y2为体征参数预处理或归一化后的取值,t为时间,a、b、c为拟合系数,ki(i=2,3,4,5)分别对应眼睛开度变化率keo、心率变化率kh、体动频率变化率kb、体温变化率kp
在对入睡过程进行样本采集过程中,当检测到多个体征参数变化率在连续几个周期内都小于设定阈值时,认为用户已经入睡,则停止本次入睡采样。
神经网络训练采用梯度下降法,训练中权值和阈值调整方法如下。
假设总共有P个训练样本,令误差函数为:
Figure BDA0003174916820000161
则隐含层到输出层连接权值的调整式如下式所示:
whj(t+1)=whj(t)+Δwhj(t+1),
其中,
Figure BDA0003174916820000171
δyh=-(yhd-yh)·yh·(1-yh),
输出层阈值的调整式为:
θ(t+1)=θ(t)+Δθ(t+1),
其中,
Figure BDA0003174916820000172
类似地,调整输入层到隐含层连接权值、隐含层阈值,及承接层到隐含层连接权值。
各权值的初始值域取为(-0.1,0.1)区间,学习速率η为小于1的小数,可采用固定速率或根据当前网络输出总误差来动态调整。训练结束条件可以设定为总误差或其变化小于一个设定值或训练次数达到一定量。
在进行网络训练之前,可对输入量和输出量进行归一化预处理:
r'=r-rmin/rmax-rmin
其中,r为未经处理的物理量,r'为经过归一化后的物理量,rmax和rmin分别为样本数据集的最大和最小值。
计算预测值时,用下式将网络输出量换算回输出量值:
r=rmin+r'·(rmax-rmin)。
在线预测应用时,第一连接阵断开,神经网络对各输出量进行预测并经第二连接阵输出给处理模块,由处理模块处理分析后通过输出模块进行显示输出及以信号形式对外发送。
结合图1、图6所示,作为优选,测试或者使用本系统的环境中,可调光灯组160采用可调光LED灯组,其通过调光驱动器调节灯组内各LED串162的驱动电流值,驱动器161为可改变输出电流的驱动器,驱动器通过改变LED串各通道驱动电流的PWM波占空比来进行出光调节。通过驱动电流的改变,可调光灯组160可调节其亮度、色温、颜色及照射角度等光性质中的至少一种。
作为优选,LED串为含RGB三基色电流通道的调光灯,此时,分别改变其中一个通道的驱动电流值,可改变灯的光色。当从某个状态开始,三个通道电流同步增大或变小时,灯表现出颜色不变而亮度渐亮或渐暗。
作为优选,控制单元通过输出模块在已知的LED灯组调光范围内,以步进的方式改变LED灯组的出光。例如,将LED串的各通道电流取值与所对应的在阅读面上采集到的照度、色温以及颜色合在一起建立一个变量的电流—光色映射表,针对照度、色温以及颜色组成的照明向量空间,在其取值区间中以分别仅改变其中一个变量如照度而保留其他变量如色温及颜色不变,逆向查找所述电流—光色映射表找到当前照明向量对应的LED串各通道电流值,控制单元通过输出模块,将各通道电流的PWM波占空比以信号的形式发送给驱动器。控制单元通过不断改变照明向量空间的工作点,在多次入睡检测后获取足够多的神经网络的训练样本,其中在各光色变量的端值区域采样点可以稀疏,而在低色温区域如色温3000k附近,照度100lx~300lx附近的区域,采样点要更为密集。所采集样本,保存在存储器中。
控制单元进行处理所需要的预设值等参数通过用户接口单元中的按键来输入。经训练的神经网络,基于其泛化能力,可以在新的光环境中,对当前光照条件下用户将有何种入睡效率进行预测和判断,并通过输出模块来显示或输出预判的结果。
具体地,结合图1、图8所示,在底座101上,用户接口单元的按键设置在按键块107区域中,在按键块相对的另一侧,用户接口单元还可以设置一个调光面板108,以手动调节灯组出光。
作为优选,输出模块148包括一个用来轮流指示当前用户入睡效率各因素值的显示条105。作为优选,输出模块还包括一个通信接口,并通过该接口模块向外部输出所检测或预判的入睡效率的各因素值。
由于准备入睡时的睡意或疲劳程度是变化的,作为优选,可在用户接口单元中设置对当前疲倦程度进行指示的按键,同时所述神经网络增加一个疲倦指数输入量,所述疲倦指数可以是1至5之间的整数。
当用户因为情绪等原因引起入睡困难时,所采集样本与正常情况下的样本将出现较大偏差,虽然神经网络有较好的容错性,但这种样本太多时将影响网络的准确性。为此,作为优选,在用户接口单元中设置一个取消采样按键,控制单元在检测到此按键被按下后,暂停数据采样和样本记录。
为增加网络的适用性,作为优选,控制单元还可以增加一个实时时钟模块,神经网络模块增加一个从实时时钟模块获取的季节参数作为输入。
作为优选,神经网络模块还可以增加一个从实时时钟模块获取的时段参数作为输入,所述时段分别为中午或晚上。
作为优选,控制单元还可以增加一个温湿度测量模块,神经网络模块增加从温湿度测量模块获取的温度、湿度两个参数作为输入。
作为优选,控制单元还可以增加一个噪声测量模块,神经网络模块增加一个从噪声测量模块获取的噪声水平参数作为输入。
实施例2:
在本实施例中,参见图10、图11所示,提供一种光环境中被照平面照度检测装置,其包括置于旋转平台上的光色获取模块以及光色判断模块,
所述光色获取模块中的光色传感器依次通过俯仰板、横滚板和第一连接件连接于在入睡场景中置于用户附近的支架上,支架底部有底座,
所述俯仰板通过俯仰转轴连接于横滚板上,所述横滚板通过横滚转轴连接于第一连接件上,所述第一连接件固定在所述支架上,所述横滚转轴还通过第二连接件为俯仰转轴提供电连接通道,
所述光色识别单元被配置为:
在光环境中,分别旋转俯仰转轴、横滚转轴来改变光色传感器表面的朝向,对照射光进行采样后由光色判断模块计算出该朝向面的照度、色温、颜色xyz色坐标值等光色参数值,记录每个朝向对应的俯仰角α、横滚角β并建立α和β组合到各光色参数值的映射表,
对于一被照平面的具体朝向,若其对应的俯仰角和横滚角的组合不在映射表中,则基于所述映射表通过距离加权的插值计算获取其对应的光色参数值,所述距离为角度组合空间中的欧氏距离;若所述组合存在映射表中,则直接查表获取其对应的光色参数值。
其中,为了识别被照平面的朝向,可以基于世界坐标系中支架上的深度相机来检测,或者通过固定于被照平面的三轴加速度传感器进行检测,检测获得的信号由光色识别单元内的信号处理模块将其转换为对应的俯仰角和横滚角。
所述插值计算过程如下:
为简化起见,不失一般性,仅以光色参数中的阅读面照度、色温这2个参数为例,更多光色参数可类似处理。
基于俯仰角α、横滚角β组合到各光色参数值的映射表,对于一具体角度组合(α0,β0),通过在映射表中进行插值来获取其照度、色温值。
先找到角度空间中P(α0,β0)周围的四个点:A(α1,β1),B(α2,β1),C(α1,β2)及D(α2,β2),其中α1≤α0≤α2,β1≤β0≤β2
照度、色温值(E0,K0)用距离做加权值进行插值,
Figure BDA0003174916820000201
Figure BDA0003174916820000202
其中,d1代表P到四个点距离中的最短距离,d2为第二短的点,依次类推,dT为所有距离之和;E1和K1分别为距离最短点的照度、色温值;与待查找的P点最近的四个点依据距离长短不同被分别加上不同权重,距离最短权重最重。
实施例3:
区别于实施例1,在本实施例中,将入睡持续时间引入到非线性映射的输入参数中。
本实施例提供一种光环境中入睡检判系统,其包括:
采集并识别阅读面光的照度、色温和颜色等光色参数的光色识别单元,
采集并识别用户眼睛开度值及其变化率、闭眼持续时长及其变化率、心率及其变化率、体动频率及其变化率、体温及其变化率等体征参数的入睡识别单元,
采集并识别用户身份的身份识别单元,
键入参数和发起操作的用户接口单元,
具有可调节光属性的灯组,
分别与所述光色识别单元、入睡识别单元、身份识别单元、用户接口单元和灯组均相连的控制单元,
所述控制单元包括处理模块、神经网络模块、迭代学习模块、存储器、第一连接阵、第二连接阵和输出模块,并且其被配置为:
处理模块通过输入接口模块从光色识别单元、入睡识别单元读取光色参数、体征参数,
所述神经网络为动态递归Elman神经网络,其输入层分别从处理模块接收阅读面光的照度、色温、颜色xyz色坐标值及入睡持续时间共6个参数,输出层的输出量分别通过第一连接阵和第二连接阵传输至迭代学习模块和处理模块,所述输出层的输出量包括用户眼睛开度变化率、闭眼持续时长变化率、心率变化率、体动频率变化率、体温变化率共5个体征参数,
通过输出模块向灯组发出调光信号,针对特定用户在不同的光环境中基于光色识别单元和入睡识别单元获取神经网络的训练样本集,
其中,每个训练样本的参数按如下处理过程获取:
对用户眼睛开度持续检测,当发现眼睛开度值在一设定时间长度内连续小于入睡初始阶段眼睛开度值的(1-Δ%)倍时,将当前时间作为入睡持续时间的计时零点,同时舍弃此零点时刻之前的样本记录,所述Δ可取5至10之间的整数,
所述用户眼睛开度变化率keo、闭眼持续时长变化率kec、心率变化率kh、体动频率变化率kb、体温变化率kp这5个体征参数均通过滑动平均滤波计算,如对于眼睛开度变化率,
keo|t=u=ave(dEOu-2,dEOu-1,dEOu,dEOu+1,dEOu+2),
其中,ave为均值函数,dEOu为u时刻与上一时刻眼睛开度值之差;
用训练样本离线训练所述神经网络时,迭代学习模块根据处理模块和神经网络分别通过第一连接阵输入的体征参数实际值和网络输出值,调整神经网络的连接权值;
在线预测时,断开第一连接阵而闭合第二连接阵,经训练的神经网络基于当前阅读面照度、色温、颜色的xyz色坐标值及入睡持续时间,对用户眼睛开度变化率、闭眼持续时长变化率、心率变化率、体动频率变化率、体温变化率进行预测并将结果通过输出模块输出。
参见图12所示,由于用户入睡转折时点无法预测,因此,在本实施例中,通过对眼睛开度的持续监测,当其显著偏离于正常范围时,开始采样并记录之后的数据序列。
相比于实施例1,由于在神经网络的输入中引入了从入睡转折点开始的时间长度,因此,可以通过经训练的神经网络预测之后某个时点的体征参数。
作为优选,还可以指数分布函数来对入睡进行过程进行表征,用户眼睛开度、闭眼持续时长、心率、体动频率、体温等体征参数以归一化后同时刻数据加权平均的形式作为拟合样本数据,将所有体征参数融合为一个函数。
实施例4:
区别于实施例1,本实施例在控制单元中用入睡效率映射表来替换神经网络,以实现光色条件到入睡效率各变化率体征参数的映射。
在本实施例中,提供一种光环境中入睡检判系统,其包括:
采集并识别阅读面光的照度、色温等光色参数的光色识别单元,
采集并识别用户眼睛开度值及其变化率、闭眼持续时长及其变化率、心率及其变化率、体动频率及其变化率、体温及其变化率等体征参数的入睡识别单元,
采集并识别用户身份的身份识别单元,
键入参数和发起操作的用户接口单元,
具有可调节光属性的灯组,
分别与所述光色识别单元、入睡识别单元、身份识别单元、用户接口单元和灯组均相连的控制单元,
所述控制单元包括处理模块、存储器、输入接口模块和输出模块,并且其被配置为:
处理模块通过输入接口模块从光色识别单元、入睡识别单元读取光色参数、体征参数,
以阅读面光的照度、色温表示光照条件,以用户眼睛开度值、闭眼持续时长、心率、体动频率、体温等体征参数的变化率作为入睡效率因素,
通过输出模块向灯组发出调光信号,针对特定用户在不同的光环境中基于光色识别单元和入睡识别单元获取各种光照条件下入睡过程中体征参数的变化过程记录,并针对照度、色温组成的每种光色组合条件对应的特征参数变化过程记录,
对用户闭眼持续时长y1,对其预处理,
y1=max(y1,4),
然后,先基于如下模型进行离线数据拟合,
y1=g1(t)=8·b/exp(4·c·(a-t))+1,
再计算闭眼持续时长变化率,
kec=k1=t2-t1,其中t1=g1-1(4e-1),t2=g1-1(4-4e-1),
对用户眼睛开度、心率、体动频率、体温中的每个体征参数,对其归一化处理后,先分别基于如下模型进行离线数据拟合,
y2=g2(t)=2·b/exp(4·c·(t-a))+1,
再计算其各自变化率,
ki=t2-t1,其中t1=g2-1(1-e-1),t2=g2-1(e-1),i=2,3,4,5,
其中,y1、y2为体征参数预处理或归一化后的取值,t为时间,a、b、c为拟合系数,ki(i=2,3,4,5)分别对应眼睛开度变化率keo、心率变化率kh、体动频率变化率kb、体温变化率kp
所述变化率体征参数作为入睡效率因素,
在建立的一个入睡效率映射表中,记录每种光色组合下的各变化率体征参数,将入睡效率映射表保存在存储器中,
现场环境中,对具体光色组合下的入睡效率因素进行预测,根据光色组合值进行所述入睡效率映射表的查找,当所述组合不在入睡效率映射表中时,则基于所述入睡效率映射表通过距离加权的插值计算获取其对应的入睡效率因素各变化率体征参数值,所述距离为光色组合空间中的欧氏距离;若所述组合存在入睡效率映射表中,则直接查表获取其对应的变化率体征参数值,
将查表结果通过输出模块输出。
可以理解,本发明的方案中,阅读面光色参数中的照度是对于阅读物无主动光源而言的,对于有背光源的阅读物,如手机、平板、电子书等,可以在上述光色条件到入睡效率有关因素的映射中,补充一个背光源亮度项到光色条件的参数集中。
另外,与入睡效率因素相关的所有模型都是基于特定个体的,因此,在生成网络训练样本、映射表等过程中的相关数据,都是基于相同身份的用户的;对于多个用户,应针对每个用户独立建立和保存一个数据集。
应用本发明进行不同光环境下入睡效率各因素的检测与预判,在采集到变化足够丰富的样本后,由于光色变化域内的组合有无穷多种,可以采用本发明对各种现场环境中光照条件下的入睡效率参数包括眼睛开度变化率、心率变化率等进行预测,从而为潜在的高入睡效率光环境的寻找提供依据。
以上,说明了本发明的几个实施方式,但这些实施方式是作为例子而提示的方式,并没有限定发明的范围。这些实施方式可以通过其他的各种方式实施,在不脱离发明的主旨的范围内,能够进行各种省略、置换、变更。这些实施方式或其变形包含于发明的范围或主旨,并同样地包含于权利要求书记载的发明及其等同的范围内。

Claims (11)

1.光环境中入睡检判系统,其包括:
采集并识别阅读面光的照度、色温等光色参数的光色识别单元,
采集并识别用户眼睛开度值及其变化率、闭眼持续时长及其变化率、心率及其变化率、体动频率及其变化率、体温及其变化率等体征参数的入睡识别单元,
具有可调节光属性的灯组,
分别与所述光色识别单元、入睡识别单元和灯组均相连的控制单元,
所述控制单元包括处理模块、存储器、输入接口模块和输出模块,并且其被配置为:
处理模块通过输入接口模块从光色识别单元、入睡识别单元读取光色参数、体征参数,
以阅读面光的照度、色温表示光照条件,以用户眼睛开度值、闭眼持续时长、心率、体动频率、体温等体征参数的变化率作为入睡效率因素,
通过输出模块向灯组发出调光信号,在建立的一个入睡效率映射表中,记录每种光色组合下的各变化率体征参数,将入睡效率映射表保存在存储器中,
现场环境中,对具体光色组合下的入睡效率因素进行预测,根据光色组合值进行所述入睡效率映射表的查找,当所述组合不在入睡效率映射表中时,则基于所述入睡效率映射表通过距离加权的插值计算获取其对应的入睡效率因素各变化率体征参数值,所述距离为光色组合空间中的欧氏距离;若所述组合存在入睡效率映射表中,则直接查表获取其对应的变化率体征参数值,
将查表结果通过输出模块输出。
2.光环境中入睡检判系统,其包括:
采集并识别阅读面光的照度、色温和颜色等光色参数的光色识别单元,
采集并识别用户眼睛开度值及其变化率、闭眼持续时长及其变化率、心率及其变化率、体动频率及其变化率、体温及其变化率等体征参数的入睡识别单元,
具有可调节光属性的灯组,
分别与所述光色识别单元、入睡识别单元和灯组均相连的控制单元,
所述控制单元包括处理模块、神经网络模块、迭代学习模块、存储器、第一连接阵、第二连接阵和输出模块,并且其被配置为:
处理模块通过输入接口模块从光色识别单元、入睡识别单元读取光色参数、体征参数,
所述神经网络为动态递归Elman神经网络,其输入层分别从处理模块接收阅读面光的照度、色温、颜色xyz色坐标值共5个光色参数,输出层的输出量分别通过第一连接阵和第二连接阵传输至迭代学习模块和处理模块,所述输出层的输出量包括用户眼睛开度变化率、闭眼持续时长变化率、心率变化率、体动频率变化率、体温变化率共5个体征参数,
通过输出模块向灯组发出调光信号,针对特定用户在不同的光环境中基于光色识别单元和入睡识别单元获取神经网络的训练样本集,
用训练样本离线训练所述神经网络时,迭代学习模块根据处理模块和神经网络分别通过第一连接阵输入的体征参数实际值和网络输出值,调整神经网络的连接权值;
在线预测时,断开第一连接阵而闭合第二连接阵,经训练的神经网络基于当前阅读面照度、色温、颜色的xyz色坐标值,对用户眼睛开度变化率、闭眼持续时长变化率、心率变化率、体动频率变化率、体温变化率进行预测并将结果通过输出模块输出。
3.根据权利要求1或2任一项所述的光环境中入睡检判系统,其特征在于,其还包括分别与控制单元相连的、采集并识别用户身份的身份识别单元及键入参数和发起操作的用户接口单元,
所述身份识别单元采用指纹识别器、生物或其他特征识别器,
所述控制单元进行处理所需要的预设值等参数通过用户接口单元中的按键来输入。
4.根据权利要求1或2任一项所述的光环境中入睡检判系统,其特征在于,所述入睡效率映射表的记录、或所述训练样本集的获取过程中:
针对特定用户在不同的光环境中基于光色识别单元和入睡识别单元获取各种光照条件下入睡过程中体征参数的变化过程记录,并针对照度、色温组成的每种光色组合条件对应的特征参数变化过程记录,
对用户闭眼持续时长y1,对其预处理,
y1=max(y1,4),
然后,先基于如下模型进行离线数据拟合,
y1=g1(t)=8·b/exp(4·c·(a-t))+1,
再计算闭眼持续时长变化率,
kec=k1=t2-t1,其中t1=g1-1(4e-1),t2=g1-1(4-4e-1);
对用户眼睛开度、心率、体动频率、体温中的每个体征参数,对其归一化处理后,先分别基于如下模型进行离线数据拟合,
y2=g2(t)=2·b/exp(4·c·(t-a))+1,
再计算其各自变化率,
ki=t2-t1,其中t1=g2-1(1-e-1),t2=g2-1(e-1),i=2,3,4,5,
其中,y1、y2为体征参数预处理或归一化后的取值,t为时间,a、b、c为拟合系数,ki(i=2,3,4,5)分别对应眼睛开度变化率keo、心率变化率kh、体动频率变化率kb、体温变化率kp
以所述变化率体征参数作为入睡效率因素。
5.根据权利要求4所述的光环境中入睡检判系统,其特征在于,所述入睡效率映射表的记录、或所述训练样本集的获取过程中:
控制单元通过输出模块在已知的LED灯组调光范围内,以步进的方式改变LED灯组的出光,通过不断改变照明向量空间的工作点,在多次入睡检测后获取足够多的数据样本,其中在各光色变量的端值区域采样点可以稀疏,而在低色温区域如色温3000k附近,照度100lx~300lx附近的区域,采样点要更为密集。
6.根据权利要求1或2任一项所述的光环境中入睡检判系统,其特征在于,所述灯组采用亮度、色温、颜色及照射角度等光性质中的至少一种光性质可调的LED灯组,其通过调光驱动器调节灯组内LED串各通道驱动电流的PWM波占空比来进行出光调节。
7.根据权利要求1或2任一项所述的光环境中入睡检判系统,其特征在于,所述输出模块包括一个用来轮流指示当前用户入睡效率各因素值的显示条;所述输出模块还包括一个通信接口,并通过该接口模块向外部输出所获得的入睡效率的各因素值。
8.根据权利要求1或2任一项所述的光环境中入睡检判系统,其特征在于,所述光色识别单元包括置于旋转平台上的光色获取模块以及光色判断模块,
所述光色获取模块中的光色传感器依次通过俯仰板、横滚板和第一连接件连接于在入睡场景中置于用户附近的支架上,
所述俯仰板通过俯仰转轴连接于横滚板上,所述横滚板通过横滚转轴连接于第一连接件上,所述第一连接件固定在所述支架上,所述横滚转轴还通过第二连接件为俯仰转轴提供电连接通道,
所述光色识别单元被配置为:
在不同的光环境中,分别旋转俯仰转轴、横滚转轴来改变光色传感器表面的朝向,对照射光进行采样后由光色判断模块计算出该朝向面的照度、色温、颜色xyz色坐标值等光色参数值,记录每个朝向对应的俯仰角α、横滚角β并建立α和β组合到各光色参数值的映射表,
对于一具体朝向,若其对应的俯仰角和横滚角的组合不在映射表中,则基于所述映射表通过角度组合空间中距离加权的插值计算获取其对应的光色参数值。
9.根据权利要求1或2任一项所述的光环境中入睡检判系统,其特征在于,所述入睡识别单元包括图像采集模块、可佩带模块和入睡判断模块,
所述入睡判断模块中的图像处理部对用户眼睛开度进行持续检测,心率计算部、体动频率计算部及体温计算部则基于可佩带模块获取的人体传感信号分别计算出心率、体动频率及体温,
入睡判断模块中的数据融合处理部,对图像处理部、心率计算部、体动频率计算部及体温计算部输出的体征参数进行数据融合,消除数据集中不一致的部分,
所图像采集模块采用深度相机,所述入睡识别单元还被配置为:
根据图像处理部的处理结果,转动支撑所述相机的云台,使相机对准用户脸部。
10.根据权利要求2所述的光环境中入睡检判系统,其特征在于,所述入睡识别单元采用的相机安装在入睡场景中置于用户附近的支架上,支架底部有底座,
所述用户接口单元中包括有对当前疲倦程度进行指示的按键,所述神经网络增加一个疲倦指数输入参数,
所述用户接口单元中还包括一个取消采样按键,所述控制单元在检测到此按键被按下后,暂停数据采样和样本记录,
所述神经网络模块还可增加一个从实时时钟模块获取的时段参数作为输入,所述时段分别为中午或晚上;所述神经网络模块还可增加从温湿度测量模块获取的温度、湿度两个参数作为输入;所述神经网络模块还可增加一个从噪声测量模块获取的噪声水平参数作为输入。
11.根据权利要求2所述的光环境中入睡检判系统,其特征在于,所述神经网络的模型为:
xck(t)=xk(t-mod(k,q)-1),
Figure RE-FDA0003207151790000051
Figure RE-FDA0003207151790000052
其中,mod为求余函数,f()函数取为sigmoid函数;xck(t)为承接层输出,xj(t)为隐含层输出,ui(t-1)和yh(t)分别为输入层输入和输出层输出,wj、wjk和wji分别为隐含层到输出层的连接权值、承接层到隐含层的连接权值和输入层到隐含层的连接权值,θh和θj分别为输出层和隐含层阈值;k=1,2…m,q为所选定的回归延时尺度,根据采样周期优选;j=1,2…m,i=1,2…5,隐含层及承接层节点数m在12~25之间选择;h=1,2…5;
所述训练采用梯度下降法。
CN202110834336.8A 2019-04-24 2019-04-24 光环境中入睡检判系统 Withdrawn CN113576426A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110834336.8A CN113576426A (zh) 2019-04-24 2019-04-24 光环境中入睡检判系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910336196.4A CN109998497B (zh) 2019-04-24 2019-04-24 光环境中入睡检判系统
CN202110834336.8A CN113576426A (zh) 2019-04-24 2019-04-24 光环境中入睡检判系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910336196.4A Division CN109998497B (zh) 2019-04-24 2019-04-24 光环境中入睡检判系统

Publications (1)

Publication Number Publication Date
CN113576426A true CN113576426A (zh) 2021-11-02

Family

ID=67174074

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202110829176.8A Withdrawn CN113558581A (zh) 2019-04-24 2019-04-24 光环境中被照平面照度检测装置及其在入睡检判系统中的用法
CN202110899460.2A Withdrawn CN113951837A (zh) 2019-04-24 2019-04-24 一种睡眠环境中阅读面测光方法
CN202110834336.8A Withdrawn CN113576426A (zh) 2019-04-24 2019-04-24 光环境中入睡检判系统
CN201910336196.4A Active CN109998497B (zh) 2019-04-24 2019-04-24 光环境中入睡检判系统
CN202110829174.9A Withdrawn CN113545758A (zh) 2019-04-24 2019-04-24 一种光环境中入睡检判系统

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202110829176.8A Withdrawn CN113558581A (zh) 2019-04-24 2019-04-24 光环境中被照平面照度检测装置及其在入睡检判系统中的用法
CN202110899460.2A Withdrawn CN113951837A (zh) 2019-04-24 2019-04-24 一种睡眠环境中阅读面测光方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201910336196.4A Active CN109998497B (zh) 2019-04-24 2019-04-24 光环境中入睡检判系统
CN202110829174.9A Withdrawn CN113545758A (zh) 2019-04-24 2019-04-24 一种光环境中入睡检判系统

Country Status (1)

Country Link
CN (5) CN113558581A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11141103B2 (en) * 2019-07-25 2021-10-12 Mediatek Inc. Vital-sign detection system and control method therefor
CN111741093B (zh) * 2020-06-12 2023-06-30 喻军 基于屏幕的数据发送方法、接收方法、接收装置、设置系统及可读存储介质
CN115062764B (zh) * 2022-06-17 2023-07-11 淮阴工学院 光照度智能调节与环境参数物联网大数据系统
CN116959214B (zh) * 2023-07-18 2024-04-02 北京至真互联网技术有限公司 一种通过智能眼镜提醒用户护眼方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6995355B2 (en) * 2003-06-23 2006-02-07 Advanced Optical Technologies, Llc Optical integrating chamber lighting using multiple color sources
KR100646868B1 (ko) * 2004-12-29 2006-11-23 삼성전자주식회사 피부전도도와 심박 정보를 이용한 홈 제어시스템 및 그 방법
US10610153B2 (en) * 2014-07-21 2020-04-07 Withings System and method to monitor and assist individual's sleep
JP6909018B2 (ja) * 2017-03-01 2021-07-28 任天堂株式会社 発光制御装置、及び、電子機器
CN107601083B (zh) * 2017-09-19 2019-04-02 中国计量大学 基于神经网络的直落失重式物料下料方法
CN108712809B (zh) * 2018-05-18 2019-12-03 浙江工业大学 一种基于神经网络的光环境智能控制方法
CN108958047A (zh) * 2018-07-09 2018-12-07 西安交通大学 一种智能睡眠系统及其工作方法
CN109106349A (zh) * 2018-08-09 2019-01-01 上海常仁信息科技有限公司 一种家庭用户睡眠监测系统
CN109199336A (zh) * 2018-09-30 2019-01-15 深圳个人数据管理服务有限公司 一种基于机器学习的睡眠质量量化方法、装置和设备

Also Published As

Publication number Publication date
CN113558581A (zh) 2021-10-29
CN109998497A (zh) 2019-07-12
CN113951837A (zh) 2022-01-21
CN113545758A (zh) 2021-10-26
CN109998497B (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN109998497B (zh) 光环境中入睡检判系统
CN110163371B (zh) 入睡环境调光优化方法
CN110013231B (zh) 睡眠环境光照条件辨识方法
Zhang et al. A noninvasive blood glucose monitoring system based on smartphone PPG signal processing and machine learning
JP7261811B2 (ja) 訓練された予測モデルに基づく血圧降下の非侵襲的決定のためのシステム及び方法
CN110113843B (zh) 基于入睡效率因素的照明控制系统
KR102416878B1 (ko) 심박수 측정을 위한 헬스케어 장치
KR102435808B1 (ko) 스트레스 지수 측정을 위한 헬스케어 장치
Nie et al. SPIDERS: Low-cost wireless glasses for continuous in-situ bio-signal acquisition and emotion recognition
CN112232256A (zh) 一种无接触式运动及体测数据采集系统
KR102108961B1 (ko) 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치
WO2020132941A1 (zh) 识别方法及相关装置
CN109620265A (zh) 识别方法及相关装置
US20230218240A1 (en) Healthcare apparatus for heart rate measurement
WO2023128455A1 (ko) 원격 ppg 방식을 이용하여 스트레스 지수를 측정하기 위한 디지털 헬스케어 장치
CN108720825B (zh) 一种基于多摄像头的非接触式生命体征参数的无缝检测方法
KR20200061016A (ko) 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법
KR102714082B1 (ko) 인공지능 기반 디지털 헬스케어 장치
KR20240146635A (ko) 인공지능 기반 헬스케어 장치
Yawle et al. ML-based Blood Pressure Estimation using Converted PPG Signal from Video
CN118829389A (zh) 用于使用远程ppg测量心率的数字医疗保健设备
Álvarez Casado Biosignal extraction and analysis from remote video: towards real-world implementation and diagnosis support
Li et al. Exploring spatial-temporal representations for fNIRS-based intimacy detection via an attention-enhanced cascade convolutional recurrent neural network
Daqrouq et al. HEART RATE MEASUREMENT USING IMAGE RECOGNITION TECHNOLOGY.
Morampudi et al. Exploring Cognitive and Affective Processing Based on Webcam-Based Heartrate Activity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20211102