发明内容
本发明的目的是,提供一种方法来检测光照条件对入睡速度或入睡效率的影响,并能在现场环境中就该现场环境光照条件对用户入睡将造成什么样的入睡影响提供预测。
为此,需要首先针对用户进行入睡行为的检测与判断,然后对不同光照条件与入睡效率有关因素之间的映射关系进行建模。
夜间,当人们准备休息时,经常会进行一些过渡性的活动,如工作计划安排、睡前阅读,当前还有更多的人会用智能手机或平板看一些让人放松的内容。入睡前的这个阶段,用低色温低亮度的灯具或设备背光,都能对身体放松直至犯困、入睡有帮助。但我们需要一个模型,来反映入睡效率或入睡速度与光照条件之间的关系。
由于这个模型是一种多入多出的非线性系统,因此,需要依靠非线性系统辨识。在非线性系统中,人工神经网络是由大量处理单元广泛互连而成的网络,具有大规模并行模拟处理能力和很强的自适应、自组织、自学习能力,在系统建模、辨识与控制中受到普遍重视,其所具有的非线性变换特性为系统辨识尤其是非线性系统的辨识提供了有效的方法。由于人体入睡是一个连续的动态过程,相邻时间周期内人体特征之间有着密切相关性。为此,本发明采用动态递归神经网络来对系统进行建模。
本发明基于动态递归Elman神经网络,对光照条件与入睡效率因素之间的复杂非线性映射关系进行建模,其中光照条件包括阅读面照度、色温、颜色的xyz色坐标值,入睡效率因素则通过用户眼睛开度变化率、闭眼持续时长变化率、心率变化率、体动频率变化率、体温变化率5个参数来表征。
本发明的技术解决方案是,通过对与入睡相关的几种人体特征的信号采集,对信号进行趋势提取并采用数据融合的方法将多种信号中的偶然因素消除,从而获得准确的入睡特征数据。进而,在不同光照条件下重复进行入睡特征的提取,获得光照对入睡影响的评估样本。最后,基于非线性映射理论与处理计算,建立不同光环境下人体入睡特征的预判模型。
基于体征传感数据,要进行入睡效率评估,存在以下几个问题。首先,所采样的体征数据中,前面一段可能是平缓无显著变化或者变化小于一定范围,后面从某个时间点如人体困意来临时才开始变化;那么,这个时间点如何判断?该时间点前面一段是否能作为有效数据样本?
其次,即使后面体征开始变化,如眼睛开度变小或闭眼时长增加,但每次的变化量或变化率本身是变化的,如负指数函数的变化率或一阶导随自变量增大而逐渐越小。为此,难以用体征数据序列的一阶导来定义入睡效率。
基于上述两个问题,所定义的入睡效率要能反应入睡阶段转折点不确定、变化率又不恒定的体征数据序列的总体趋势,并用量化的形式来表达。
具体地,本发明提供一种睡眠环境光照条件辨识方法,包括以下步骤:
S1、建立非线性映射:以阅读面光的照度、色温、颜色xyz色坐标值共5个光色参数作为输入量,以用户眼睛开度变化率、闭眼持续时长变化率、心率变化率、体动频率变化率、体温变化率共5个体征参数作为输出量,在控制单元中建立动态递归Elman神经网络;
S2、获取训练样本集:通过控制单元的输出模块向可调光灯组发出调光信号,通过光色识别单元采集并识别阅读面光的照度、色温和颜色等光色参数,通过入睡识别单元及控制单元采集并处理识别出用户眼睛开度变化率、闭眼持续时长变化率、心率变化率、体动频率变化率、体温变化率等体征参数,记录所述光色参数值及对应的所述体征参数值,获取神经网络的训练样本,
反复进行训练样本的获取,得到神经网络的训练样本集;
S3、离线训练神经网络:基于所获取的训练样本集,控制单元中的迭代学习模块根据处理模块和神经网络分别通过第一连接阵输入的体征参数实际值和网络输出值,采用梯度下降法迭代调整神经网络的连接权值;
S4、在线预测:在现场环境中,经训练的神经网络基于通过光色识别单元获取的当前阅读面光的照度、色温、颜色的xyz色坐标值,对用户眼睛开度变化率、闭眼持续时长变化率、心率变化率、体动频率变化率、体温变化率进行预测并将结果通过输出模块输出。
作为优选,所述步骤S4之前还包括如下步骤:
T1、在控制单元中,建立一个被照面朝向对应的俯仰角及横滚角两个角组合到各光色参数值的映射表,
所述俯仰角及横滚角为与被照面平行的光色传感器在世界坐标系的旋转角,入睡场景下所述坐标系中有一置于用户附近的支架,所述光色传感器依次通过俯仰板、横滚板和第一连接件连接于所述支架上,
所述步骤S4中还包括如下流程:
T2、在现场环境中,若阅读面朝向所对应的俯仰角和横滚角的组合不在映射表中时,根据所述映射表通过角度组合空间中距离加权的插值计算来获取其对应的光色参数值;否则,若所述组合存在映射表中,则直接查表获取其对应的光色参数值。
作为优选,所述入睡识别单元包括图像采集模块、可佩带模块和入睡判断模块,所述图像采集模块采用深度相机进行图像采集,
所述步骤S2包括如下处理过程:
由入睡判断模块中的图像处理部对用户眼睛开度进行持续检测,心率计算部、体动频率计算部及体温计算部则基于可佩带模块获取的人体传感信号计算出心率、体动频率及体温,
由入睡判断模块中的数据融合处理部,对图像处理部、心率计算部、体动频率计算部及体温计算部输出的体征参数进行数据融合,消除数据集中不一致的部分,
根据图像处理部的处理结果,转动支撑所述相机的云台,使相机对准用户脸部。
作为优选,所述神经网络还包括一个以疲倦指数为参数的输入量,用户根据当前疲倦程度通过用户接口单元中的按键输入所述疲倦指数,
所述训练样本采集过程中,还可以通过按下一个取消采样按键来暂停数据采样和样本记录。
作为优选,所述步骤S2中通过如下处理过程获得所述神经网络输出量的5个体征参数:
基于入睡识别单元周期性地获取各种光照条件下入睡过程中体征参数的状态变化并进行记录,对于所记录的每个入睡过程中的体征参数序列中的数据,
对用户闭眼持续时长y1,对其预处理,
y1=max(y1,4),
然后,先基于如下模型进行离线数据拟合,
y1=g1(t)=8·b/exp(4·c·(a-t))+1,
再计算闭眼持续时长变化率,
kec=k1=t2-t1,其中t1=g1-1(4e-1),t2=g1-1(4-4e-1);
对用户眼睛开度、心率、体动频率、体温中的每个体征参数,对其归一化处理后,先分别基于如下模型进行离线数据拟合,
y2=g2(t)=2·b/exp(4·c·(t-a))+1,
再计算其各自变化率,
ki=t2-t1,其中t1=g2-1(1-e-1),t2=g2-1(e-1),i=2,3,4,5;
其中,y1、y2为体征参数预处理或归一化后的取值,t为时间,a、b、c为拟合系数,ki(i=2,3,4,5)分别对应眼睛开度变化率keo、心率变化率kh、体动频率变化率kb、体温变化率kp。
作为优选,所述神经网络的模型为:
xck(t)=xk(t-mod(k,q)-1),
其中,mod为求余函数,f()函数取为sigmoid函数;xck(t)为承接层输出,xj(t)为隐含层输出,ui(t-1)和yh(t)分别为输入层输入和输出层输出,wj、wjk和wji分别为隐含层到输出层的连接权值、承接层到隐含层的连接权值和输入层到隐含层的连接权值,θh和θj分别为输出层和隐含层阈值;k=1,2…m,q为所选定的回归延时尺度,根据采样周期优选;j=1,2…m,i=1,2…5,隐含层及承接层节点数m可以在12~25之间选择;h=1,2…5;
所述训练采用梯度下降法。
作为优选,所述灯组为LED灯组,其通过驱动器调节灯组内各LED串的驱动电流值,所述调光信号为LED串驱动电流的PWM波占空比数值。
在本发明的另一个实施例中,还提供睡眠环境中阅读面测光方法,包括以下步骤:
P1、将光色获取模块中的光色传感器依次通过俯仰板、横滚板和第一连接件连接在入睡场景中世界坐标系内用户附近的支架上;
P2、在光环境中,分别旋转连接所述俯仰板与横滚板的俯仰转轴、连接所述横滚板与第一连接件的横滚转轴,来改变光色传感器表面的朝向,对照射光进行采样后由光色判断模块计算出该朝向面的照度、色温、颜色xyz色坐标值等光色参数值,记录每个朝向对应的俯仰角α、横滚角β并建立α和β组合到各光色参数值的映射表;
P3、在现场环境中,若被照平面朝向所对应的俯仰角和横滚角的组合不在映射表中时,根据所述映射表通过角度组合空间中欧氏距离加权的插值计算来获取其对应的光色参数值;否则,若所述组合存在映射表中,则直接查表获取其对应的光色参数值。
在本发明的又一个实施例中,提供另一种睡眠环境光照条件辨识方法,包括以下步骤:
S1、建立非线性映射:以阅读面光的照度、色温、颜色xyz色坐标值及入睡持续时间共6个参数作为输入量,以用户眼睛开度变化率、闭眼持续时长变化率、心率变化率、体动频率变化率、体温变化率共5个体征参数作为输出量,在控制单元中建立动态递归Elman神经网络;
S2、获取训练样本集:通过控制单元的输出模块向可调光灯组发出调光信号,通过光色识别单元采集并识别阅读面光的照度、色温和颜色等光色参数,通过入睡识别单元及控制单元采集并处理识别出用户眼睛开度变化率、闭眼持续时长变化率、心率变化率、体动频率变化率、体温变化率等体征参数,记录所述光色参数值及对应的所述体征参数值,获取神经网络的训练样本,
反复进行训练样本的获取,得到神经网络的训练样本集;
其中,每个训练样本的参数按如下处理过程获取:
对用户眼睛开度持续检测,当发现眼睛开度值在一设定时间长度内连续小于入睡初始阶段眼睛开度值的(1-Δ%)倍时,将当前时间作为入睡持续时间的计时零点,同时舍弃此零点时刻之前的样本记录,所述Δ可取5至10之间的整数,
所述用户眼睛开度变化率keo、闭眼持续时长变化率kec、心率变化率kh、体动频率变化率kb、体温变化率kp这5个体征参数均通过滑动平均滤波计算,如对于眼睛开度变化率,
keo|t=u=ave(dEOu-2,dEOu-1,dEOu,dEOu+1,dEOu+2),
其中,ave为均值函数,dEOu为u时刻与上一时刻眼睛开度值之差;
S3、离线训练神经网络:基于所获取的训练样本集,控制单元中的迭代学习模块根据处理模块和神经网络分别通过第一连接阵输入的体征参数实际值和网络输出值,采用梯度下降法迭代调整神经网络的连接权值;
S4、在线预测:在现场环境中,经训练的神经网络基于通过光色识别单元获取的当前阅读面光的照度、色温、颜色的xyz色坐标值及入睡持续时间,对用户眼睛开度变化率、闭眼持续时长变化率、心率变化率、体动频率变化率、体温变化率进行预测并将结果通过输出模块输出。
采用本发明方案,与现有技术相比,具有以下优点:本发明分别通过阅读面照度、色温、颜色的xyz色坐标值来表征光照条件,采用通过数据融合与数据拟合获取的用户眼睛开度变化率、闭眼持续时长变化率、心率变化率、体动频率变化率、体温变化率等体征参数来表征入睡效率,各参数分别通过光色识别单元、入睡识别单元进行信号采集与处理后,在控制单元中采用非线性映射对环境的光照条件与用户入睡效率因素之间的影响关系进行构造建模,经训练或拟合后的映射能对不同光环境下的用户入睡效率进行预测,从而能为后续高入睡效率光环境的搜索与推荐提供依据。
具体实施方式
以下结合附图对本发明的优选实施例进行详细描述,但本发明并不仅仅限于这些实施例。本发明涵盖任何在本发明的精神和范围上做的替代、修改、等效方法以及方案。
为了使公众对本发明有彻底的了解,在以下本发明优选实施例中详细说明了具体的细节,而对本领域技术用户来说没有这些细节的描述也可以完全理解本发明。
在下列段落中参照附图以举例方式更具体地描述本发明。需说明的是,附图均采用较为简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施例的目的。
实施例1:
人的生物钟就是人体内随时间作周期变化的生理生化过程、形态结构以及行为等现象。人体内的生物钟多种多样,人体的各种生理指标,如脉搏、体温、血压、体力、情绪、智力等,都会随着昼夜变化做周期性变化。
如图1所示,在凌晨2时的时候,人的睡眠达到最大深度,凌晨4时30分,体温达到最低,凌晨的6时45分血压的升高最快,早晨7时30分褪黑素的分泌停止,早晨8时30分,肠蠕动频繁发生,在9时的时候睾酮分泌量达到了最高,上午10时的时候是人们头脑最清醒的时刻,在下午14时30分人的四肢活动配合到最佳状况,下午15时30分是人们反应最灵敏的时候,到了下午17时,人体心血管工作的效率最高,肌肉强度最大,下午18时30分,人的血压达到了1天的高峰,随即在晚上19时,体温达到了高峰,晚上21时的时候褪黑素的分泌开始,到22时30分,人的肠蠕动被抑制。
根据人的生理生化活动的周期性变化,人可以合理安排一天的活动,从而使工作和休息效率达到最高,也使得人的身心健康状态达到最佳。其中,根据生物钟来安排和引导睡眠,是人们保持精力所必须的。
在人体从清醒状态进入睡眠时,心跳减慢、体温下降、呼吸变缓,肌肉也会随之放松,与之相适应的是精神上从懈怠、发呆、疲倦、思睡、入睡的一种变化过程。通过与脑电图的对比研究表明,人眼睛闭合持续时间越长,疲劳程度越严重。因此,通过测量眼睛开度及闭合持续时间的长短能够确定疲劳程度,从而为入睡过程提供检测手段。
入睡阶段,人体会表现出疲劳感增强、眼睑低垂、间断性的眨眼直至完全闭眼、身体移动减缓、脉搏和体温降低等趋向性变化,这些身体特征可以通过传感器的手段进行检测。其中,脸部眼睛状态特别是开度变化的检测可以基于机器视觉及图像处理等技术,而心率、体动及体温则可以用手环等可佩带式模块进行检测,这些检测手段在交通驾驶或睡眠监测中已有应用。
光照对人体入睡有直接、重要的影响,为了帮助寻找有助于更快进入睡眠的照明,本发明专利通过非线性系统建模,对用户在不同光色环境下的入睡效率特征进行检测与预判。
如图2所示,采用本发明方法的睡眠环境光照条件辨识系统100,其包括光色识别单元110、入睡识别单元120、身份识别单元130、控制单元140、用户接口单元150和可调光灯组160。身份识别单元130采用指纹识别器、生物或其他特征识别器,生物特征可以采用虹膜特征或面部测量数据特征如用户眼睛、鼻子和嘴之间的距离等。
结合图2、图5、图8所示,入睡识别单元120包括图像采集模块121、可佩带模块122和入睡判断模块123,其中,图像采集模块121由云台104支撑。图像采集模块的相机103,连同云台104一起,固定于在入睡场景中置于用户附近的支架102上,支架102底部有底座101支撑。
图像采集模块121对入睡场景中的人脸、阅读对象进行连续的图像采集,由图像处理部对所采集图像进行处理,周期性监测用户眼睛开度,并获取用户眼睛开度值及其变化率、闭眼持续时长及其变化率。为了配合光色识别单元对阅读面的光色识别,图像处理部还对阅读对象相对支架的朝向方位进行识别。
结合图8、图9所示,图像采集模块采用深度相机,通过一个彩色摄像头和一组景深红外摄像头进行成像,彩色摄像头用于捕捉图像,红外摄像头用于生成像素深度矩阵,经过运算生成目标的深度信息,从而对各个角度的人眼进行跟踪检测。在进行人眼跟踪检测的过程中,根据图像处理部的处理结果,转动支撑相机的云台,使相机对准用户脸部,以利于成像与处理。
可佩带模块122中有脉搏传感器、加速度传感器、体温传感器等信息采集模块,这些传感器所采集的信号分别经入睡判断模块123中的心率计算部1232、体动频率计算部1233及体温计算部1234处理后,获得用户的心率、体动频率、体温。
基于深度相机采集到的入睡场景图像,图像处理部1231首先要进行平滑处理及阈值分割,去除噪声并进行用户面部及眼睛区域定位,提取人眼高宽比等特征信息;其次,基于深度信息进行几何校正,对眼部区域进行三维重建,获得其三维世界坐标,得出不同角度和距离下的实际眼睛开度值。
基于周期性获取的人眼高宽比可以计算出眼睛开度值,在周期性进行图像采样的过程中,还能获取闭眼持续时长。定义闭眼状态为眼睑盖过瞳孔的面积超过80%,在图像采样过程中,如果前后连续两次采集的眼睛图像都是闭合状态,则认为这两次采集时间间隔是闭眼持续时间。连续采集到睁眼——闭眼——睁眼序列,两个睁眼时间之差为闭眼持续时长。
基于图像的入睡特征处理过程为:对图像进行脸部定位后,进行左右眼区域分割,分别对两眼进行眼睛开度及闭眼时长识别。
入睡过程中身体动作幅度与频率都逐步减弱,因而可以用来对入睡进行辅助检测。通过统计周期如半分钟内的身体活动如腕部活动能量及频率来表征当前状态。采用的过零检测,若加速度值和一个略大于零的参考值相比较,每过参考值一次就计数一次。采用了下式表示体动频率特征:
其中,Ai为根据加速度值获取的第i周期腕活动次数,Ri为时序系数,ηj(j=1,2,3,4)为项系数,Qi为测量周期时间及其前后各2个时段中活动数量高于设定阈值如5的时段数量,SD为求标准差函数。式中各系数可以在0至1之间取值,也可以通过将di与同时记录的其他生理指标如肌电进行对比来拟合标定。
用脉搏传感器来测量心率是基于物质对光的吸收原理,脉搏传感器通过绿光LED照射血管同时搭配感光光电二极管来对反射光进行测量。由于血液是红色的,它可以反射红光吸而收绿光,在心脏跳动时,血液流量增多,绿光的吸收量会随之变大;处于心脏跳动的间隙时血流会减少,吸收的绿光也会随之降低。因此,根据血液的吸光度可测量心率。
脉搏传感器将血液流动对光的吸收转变成了波动信号,该信号是直流信号和交流信号的混合,通过0.8Hz到2.5Hz之间的带通滤波提取其中反映血液流动特点的交流信号,然后采用傅里叶变换,提取幅值的最大值点,得到该点所对应的频率值,乘以60倍而得到实际的心率值。
体温计算部对体温传感器采集的信号进行滤波处理,计算出体温值。
在获取眼睛开度、闭眼时长、心率、体动频率、体温等基本数据后,入睡判断模块中的数据融合处理部,对这些体征参数进行数据融合,以消除数据集中不一致的部分。
数据融合采用证据推理方法,基于所设定的启发式规则。规则包括单因素和多因素两类。以单因素规则为例:对于眼睛开度,如检测到一只眼睛闭合同时另外一只眼睛睁开,则当前状态判定为睁眼。其他体征变化,如体温在下降过程中的偶尔较大幅度上升、心率下降后的偶尔而非持续反向上升,都要用证据推理进行个别数据的排除。
多因素规则推理中,根据多数特征数据的一致变化趋势来排除个别体征数据的相反变化趋势。在用曲线如指数分布对闭眼时长进行数据拟合时,对于闭眼时长逐步增加数据序列中间杂的几个短闭眼时长,如果其他体征数据表现为睡意逐步加深,则应将该几个短闭眼时长数据排除,这可能是人在入睡过程中有意识为调整自身状态而主动发生的抗拒疲劳动作,此时表现为快眨几次眼。相似的,如果其他体征数据变化不大即表现为不疲劳,但闭眼时长大大超过正常值,则该数据也应排除,此时可能是眼睛中有异物。再比如,在趋于平静时加速度传感器检测到身体突然触动,如果其他体征数据变化不大,则可能此时是入睡过程中打瞌睡引起的的触动,在计算体动频率趋势时也应删除这个触动数据。
基于数据融合处理后的各种体征数据序列,入睡判断模块采用数据拟合的方法来对数据序列进行表达。图13给出了一次入睡前阅读时眼睛开度的检测序列,其中,归一化处理后的眼睛开度de的采样序列首先经过了滤波的预处理,再经数据融合进一步去除了偶然因素的影响。图中,第一阶段,眼睛开度de变化不大,基本上在正常状态下平均值上下一个范围内变化;第二阶段,随着困意来临,眼睛开度逐渐减小,直至最后被检测为基本闭合。
从图13可以看出,在入睡的过渡时间段内,人眼睛开度的转折点是难以预测的,而且从转折点之后,在较短的时间内就会逐步闭合;同时,不同时候这个渐变时长也会有较大差别。为了对这种采样序列进行拟合,区别于常用的Sigmoid、tanh等趋势函数,本发明设计了如下的拟合函数:
y2=g2(t)=2·b/exp(4·c·(t-a))+1,
其中,b为比例系数,对于归一化的数据可取值为0.5,a和c则是与样本相关的参数。
参见图14所示,左边一条曲线对应的a、c值分别为2和2,右边一条曲线对应的a、c值分别为5和1,从图中可以看出,只要适当改变a、c的值,能对各种不同转折点位置、不同变化速率的呈下降趋势的数据序列进行拟合。
相应地,对心率、体动频率、体温等呈下降后趋于稳定的体征数据序列,均可采用上述y2函数进行数据拟合。而对于闭眼持续时长,相应地,设计了另一个拟合函数:
y1=g1(t)=8·b/exp(4·c·(a-t))+1。
而且,对于闭眼持续时长而言,如果其达到了4秒之久,一般可以判断人员已经进入入睡状态。因此,对闭眼持续时长进行预处理:
y1=max(y1,4),
否则,闭眼持续时长会有很多取值可能,并且使得样本失去表征的意义。
在对体征数据序列进行数据拟合的基础上,如何表征眼睛开度等这些体征的变化率呢?如果仅对所拟合出函数其一阶导在某个时间点进行计算,则由于不同时间点的值不同而失去表征意义。同样,对所拟合出函数其二阶导求值也无法表征不同变化趋势曲线的差别。为此,本发明针对所拟合出的趋势函数,计算两个确定的因变量对应的自变量即时间之差来对体征变化率进行表征。如,对于眼睛开度,计算其变化率keo:
keo=t2-t1,其中t1=g2-1(1-e-1),t2=g2-1(e-1)。
类似地,可以计算其他体征的变化率。通过这种数据处理,使得各种体征及其变化率都能体现一致的评价标准;如,所定义的体征变化率越小,则说明入睡过渡时间越短。同时,这种多因素的体征评价,相比单因素评价如眼睛开度评价,更能体现不同人员的入睡效率或速度特征,从而为后续的光照影响建模和光照优化控制提供了基础。
作为优选,对用户眼睛开度、闭眼持续时长、心率、体动频率、体温等体征参数,根据其本身时间数据序列的若干前后项来计算其可信概率,用贝叶斯数据融合方法将多个体征参数融合为一个输出。
结合图2、图4、图10、图11所示,光色识别单元110包括置于旋转平台113上的光色获取模块111以及对获取的光传感信号进行处理与计算的光色判断模块112。旋转平台及光色获取模块组成光色传感块106,连接于支架102上。
光色获取模块中的光色传感器1066依次通过俯仰板1065、横滚板1063和第一连接件1061连接于支架102上。俯仰板1065通过俯仰转轴1064连接于横滚板1063上,带动光色传感器1066绕Y轴进行俯仰转动;横滚板1062通过横滚转轴1062连接于第一连接件1061上,带动俯仰板1065及光色传感器1066绕X轴做横滚转动。横滚转轴1062与俯仰转轴1064均通过电机来驱动旋转,它们分别通过第一连接件1061、第二连接件1067取电,电机的控制由位于底座中的光色判断模块或控制单元实现。所述第一连接件1061为硬连接,除了支撑固定外还提供电连接通道,第二连接件1067则为软连接,仅提供电连接通道。
光色传感器包括照度、色温和颜色传感器,其中,色温和颜色则可以通过同一个RGB或xyz颜色传感模块来进行获取。作为优选,颜色传感模块可以选用TCS3430传感器,其具有五个通道,包括X、Y、Z通道以及两个红外(IR)通道,两个红外通道可用于推断光源类型。TCS3430传感器实时采集阅读面的光色信号,通过控制单元中处理模块信号处理、转换后分别获得颜色的xyz色坐标值和色温。
用户入睡前可能在工作台上活动,如进行第二天的工作计划或时间安排或短时阅读,此时阅读面基本固定,可以在水平面方向上进行光照检测。但有时候,用户的阅读面并非水平,如倚靠在躺椅、沙发或者床头进行阅读,此时,基于图像处理部对阅读面方位的识别,有两种方法对阅读面的光照特别是照度进行检测,一种是根据光源的空间分布特征,将光色传感器1066检测到的照度折算到阅读面,另外一种方法,则是通过旋转平台将光色传感器变换到与阅读面平行的方位,从而通过光色计算模块获得阅读面的照度。前一种方法需要对光源的空间分布进行建模,适用范围小,为此,采用第二种方法。
在光环境中,分别旋转俯仰转轴、横滚转轴来改变光色传感器表面的朝向,使得所述表面与目标阅读面平行,对照射光进行采样后由光色判断模块计算出该朝向面的照度、色温、颜色xyz色坐标值等光色参数值,记录每个朝向对应的俯仰角α、横滚角β并建立α和β组合到各光色参数值的映射表。其中,目标阅读面的方位通过图像采集模块和图像处理部分别进行采样、处理后获得。
为了由映射表泛化到任一具体朝向,当该朝向的俯仰角和横滚角的组合不在映射表中,则基于该映射表通过角度组合空间中距离加权的插值计算获取其对应的光色参数值,过程如下。
为简化起见,不失一般性,仅以光色参数中的阅读面照度、色温这2个参数为例,更多光色参数可类似处理。
基于俯仰角α、横滚角β组合到各光色参数值的映射表,对于一具体角度组合(α0,β0),通过在映射表中进行插值来获取其照度、色温值。
先找到角度空间中P(α0,β0)周围的四个点:A(α1,β1),B(α2,β1),C(α1,β2)及D(α2,β2),其中α1≤α0≤α2,β1≤β0≤β2,
照度、色温值(E0,K0)用距离做加权值进行插值,
其中,d1代表P到四个点距离中的最短距离,d2为第二短的点,依次类推;E1和K1分别为距离最短点的照度、色温值;与待查找的P点最近的四个点依据距离长短不同被分别加上不同权重,距离最短权重最重。
作为优选,在建立所述角度组合到光色参数值的映射表的过程中,所述光色传感器表面被布置得尽量接近阅读面,以使两个平面上的光照差别小到不足以影响入睡效率。当光源离阅读面有一定距离时,这很容易被满足。
结合图2、图3所示,控制单元包括输入接口模块140、处理模块142、Elman神经网络143、迭代学习模块144、存储器145、第一连接阵146、第二连接阵147和输出模块148。
本发明采用神经网络对环境的光照条件与用户入睡效率因素之间的映射关系进行构造建模。具体地,建立以图3所示的Elman神经网络,该网络以阅读面照度、色温、颜色的xyz色坐标值作为输入量,以用户眼睛开度变化率、闭眼持续时长变化率、心率变化率、体动频率变化率、体温变化率共5个体征参数为输出量。
所采用的Elman神经网络具有递归结构,相比BP神经网络,Elman神经网络除了输入层、隐含层和输出层之外,还包括一个承接层,承接层用于层间的反馈联结,使得其能够表达输入与输出之间在时间上的延迟及参数时序特征,使得网络具有了记忆功能。参见图3,所建立的神经网络输入层有n=5个单元,隐含层及承接层节点数为m,输出层有5个单元。
所述神经网络的模型为:
xck(t)=xk(t-mod(k,q)-1),
其中,mod为求余函数,f()函数取为sigmoid函数;xck(t)为承接层输出,xj(t)为隐含层输出,ui(t-1)和yh(t)分别为输入层输入和输出层输出,wj、wjk和wji分别为隐含层到输出层的连接权值、承接层到隐含层的连接权值和输入层到隐含层的连接权值,θh和θj分别为输出层和隐含层阈值;k=1,2…m,q为所选定的回归延时尺度,根据采样周期优选;j=1,2…m,i=1,2…5,隐含层及承接层节点数m可以在12~25之间选择;h=1,2…5。
参见图12,本发明睡眠环境光照条件辨识方法,包括以下步骤:
S1、建立非线性映射:以阅读面光的照度、色温、颜色xyz色坐标值共5个光色参数作为输入量,以用户眼睛开度变化率、闭眼持续时长变化率、心率变化率、体动频率变化率、体温变化率共5个体征参数作为输出量,在控制单元中建立动态递归Elman神经网络;
S2、获取训练样本集:通过控制单元的输出模块向可调光灯组发出调光信号,通过光色识别单元采集并识别阅读面光的照度、色温和颜色等光色参数,通过入睡识别单元及控制单元采集并处理识别出用户眼睛开度变化率、闭眼持续时长变化率、心率变化率、体动频率变化率、体温变化率等体征参数,记录所述光色参数值及对应的所述体征参数值,获取神经网络的训练样本,
反复进行训练样本的获取,得到神经网络的训练样本集;
S3、离线训练神经网络:基于所获取的训练样本集,控制单元中的迭代学习模块根据处理模块和神经网络分别通过第一连接阵输入的体征参数实际值和网络输出值,采用梯度下降法迭代调整神经网络的连接权值;
S4、在线预测:在现场环境中,经训练的神经网络基于通过光色识别单元获取的当前阅读面光的照度、色温、颜色的xyz色坐标值,对用户眼睛开度变化率、闭眼持续时长变化率、心率变化率、体动频率变化率、体温变化率进行预测并将结果通过输出模块输出。
为提高神经网络的泛化能力,要采集足够多的训练样本。控制单元通过输出模块或用户接口单元向灯组发出调光信号,针对特定用户在不同的光环境中基于光色识别单元和入睡识别单元获取神经网络的训练样本集,记录各样本输出值yh的实际值即期望值yhd。
其中,通过入睡识别单元和控制单元中的处理模块,神经网络输出量的5个体征参数按如下方式处理获得:
基于入睡识别单元获取各种光照条件下入睡过程中体征参数的变化过程并进行记录,对于所记录的每个入睡过程中的体征参数序列中的数据,
对用户闭眼持续时长y1,对其预处理,
y1=max(y1,4),
然后,先基于如下模型进行离线数据拟合,
y1=g1(t)=8·b/exp(4·c·(a-t))+1,
再计算闭眼持续时长变化率,
kec=k1=t2-t1,其中t1=g1-1(4e-1),t2=g1-1(4-4e-1);
对用户眼睛开度、心率、体动频率、体温中的每个体征参数,对其归一化处理后,先分别基于如下模型进行离线数据拟合,
y2=g2(t)=2·b/exp(4·c·(t-a))+1,
再计算其各自变化率,
ki=t2-t1,其中t1=g2-1(1-e-1),t2=g2-1(e-1),i=2,3,4,5;
其中,y1、y2为体征参数预处理或归一化后的取值,t为时间,a、b、c为拟合系数,ki(i=2,3,4,5)分别对应眼睛开度变化率keo、心率变化率kh、体动频率变化率kb、体温变化率kp。
在对入睡过程进行样本采集过程中,当检测到多个体征参数变化率在连续几个周期内都小于设定阈值时,认为用户已经入睡,则停止本次入睡采样。
神经网络训练采用梯度下降法,训练中权值和阈值调整方法如下。
假设总共有P个训练样本,令误差函数为:
则隐含层到输出层连接权值的调整式如下式所示:
whj(t+1)=whj(t)+Δwhj(t+1),
δyh=-(yhd-yh)·yh·(1-yh),
输出层阈值的调整式为:
θ(t+1)=θ(t)+Δθ(t+1),
类似地,调整输入层到隐含层连接权值、隐含层阈值,及承接层到隐含层连接权值。
各权值的初始值域取为(-0.1,0.1)区间,学习速率η为小于1的小数,可采用固定速率或根据当前网络输出总误差来动态调整。训练结束条件可以设定为总误差或其变化小于一个设定值或训练次数达到一定量。
在进行网络训练之前,可对输入量和输出量进行归一化预处理:
r′=r-rmin/rmax-rmin,
其中,r为未经处理的物理量,r'为经过归一化后的物理量,rmax和rmin分别为样本数据集的最大和最小值。
计算预测值时,用下式将网络输出量换算回输出量值:
r=rmin+r'·(rmax-rmin)。
在线预测应用时,第一连接阵断开,神经网络对各输出量进行预测并经第二连接阵输出给处理模块,由处理模块处理分析后通过输出模块进行显示输出及以信号形式对外发送。
结合图1、图6所示,作为优选,测试或者使用本方法的环境中,可调光灯组160采用可调光LED灯组,其通过驱动器调节灯组内各LED串162的驱动电流值,驱动器161为可改变输出电流的驱动器,驱动器通过改变LED串各通道驱动电流的PWM波占空比来进行出光调节。通过驱动电流的改变,可调光灯组160可调节其亮度、色温、颜色及照射角度等光性质中的至少一种。
作为优选,LED串为含RGB三基色电流通道的调光灯,此时,分别改变其中一个通道的驱动电流值,可改变灯的光色。当从某个状态开始,三个通道电流同步增大或变小时,灯表现出颜色不变而亮度渐亮或渐暗。
作为优选,控制单元通过输出模块在已知的LED灯组调光范围内,以步进的方式改变LED灯组的出光。例如,将LED串的各通道电流取值与所对应的在阅读面上采集到的照度、色温以及颜色合在一起建立一个变量的映射表,针对照度、色温以及颜色组成的照明向量空间,在其取值区间中以分别仅改变其中一个变量如照度而保留其他变量如色温及颜色不变,逆向查找所述映射表找到当前照明向量对应的LED串各通道电流值,控制单元通过输出模块,将各通道电流的PWM波占空比以信号的形式发送给驱动器。控制单元通过不断改变照明向量空间的工作点,在多次入睡检测后获取足够多的神经网络的训练样本,其中在各光色变量的端值区域采样点可以稀疏,而在低色温区域如色温3000k附近,照度100lx~300lx附近的区域,采样点要更为密集。所采集样本,保存在存储器中。
控制单元进行处理所需要的预设值等参数通过用户接口单元中的按键来输入。经训练的神经网络,基于其泛化能力,可以在新的光环境中,对当前光照条件下用户将有何种入睡效率进行预测和判断,并通过输出模块来显示或输出预判的结果。
具体地,结合图1、图8所示,在底座101上,用户接口单元的按键设置在按键块107区域中,在按键块相对的另一侧,用户接口单元还可以设置一个调光面板108,以手动调节灯组出光。
作为优选,输出模块148包括一个用来轮流指示当前用户入睡效率各因素值的显示条105。作为优选,输出模块还包括一个通信接口,并通过该接口模块向外部输出所检测或预判的入睡效率的各因素值。
由于准备入睡时的睡意或疲劳程度是变化的,作为优选,可在用户接口单元中设置对当前疲倦程度进行指示的按键,同时所述神经网络增加一个疲倦指数输入量,所述疲倦指数可以是1至5之间的整数。
当用户因为情绪等原因引起入睡困难时,所采集样本与正常情况下的样本将出现较大偏差,虽然神经网络有较好的容错性,但这种样本太多时将影响网络的准确性。为此,作为优选,在用户接口单元中设置一个取消采样按键,控制单元在检测到此按键被按下后,暂停数据采样和样本记录。
为增加网络的适用性,作为优选,控制单元还可以增加一个实时时钟模块,神经网络模块增加一个从实时时钟模块获取的季节参数作为输入。
作为优选,神经网络模块还可以增加一个从实时时钟模块获取的时段参数作为输入,所述时段分别为中午或晚上。
作为优选,控制单元还可以增加一个温湿度测量模块,神经网络模块增加从温湿度测量模块获取的温度、湿度两个参数作为输入。
作为优选,控制单元还可以增加一个噪声测量模块,神经网络模块增加一个从噪声测量模块获取的噪声水平参数作为输入。
实施例2:
在本实施例中,参见图10、图11所示,提供一种睡眠环境中阅读面测光方法,其包括以下步骤:
P1、将光色获取模块中的光色传感器依次通过俯仰板、横滚板和第一连接件连接在入睡场景中世界坐标系内用户附近的支架上;
P2、在光环境中,分别旋转连接所述俯仰板与横滚板的俯仰转轴、连接所述横滚板与第一连接件的横滚转轴来改变光色传感器表面的朝向,使得所述表面与目标阅读面平行,对照射光进行采样后由光色判断模块计算出该朝向面的照度、色温、颜色xyz色坐标值等光色参数值,记录每个朝向对应的俯仰角α、横滚角β并建立α和β组合到各光色参数值的映射表;
P3、在现场环境中,若被照平面朝向所对应的俯仰角和横滚角的组合不在映射表中时,根据所述映射表通过角度组合空间中欧氏距离加权的插值计算来获取其对应的光色参数值;否则,若所述组合存在映射表中,则直接查表获取其对应的光色参数值。
其中,为了识别被照平面的朝向,可以基于世界坐标系中支架上的深度相机来检测,或者通过固定于被照平面的三轴加速度传感器进行检测,检测获得的信号由光色识别单元内的信号处理模块将其转换为对应的俯仰角和横滚角。
所述插值计算过程如下:
为简化起见,不失一般性,仅以光色参数中的阅读面照度、色温这2个参数为例,更多光色参数可类似处理。
基于俯仰角α、横滚角β组合到各光色参数值的映射表,对于一具体角度组合(α0,β0),通过在映射表中进行插值来获取其照度、色温值。
先找到角度空间中P(α0,β0)周围的四个点:A(α1,β1),B(α2,β1),C(α1,β2)及D(α2,β2),其中α1≤α0≤α2,β1≤β0≤β2,
照度、色温值(E0,K0)用距离做加权值进行插值,
其中,d1代表P到四个点距离中的最短距离,d2为第二短的点,依次类推;E1和K1分别为距离最短点的照度、色温值;与待查找的P点最近的四个点依据距离长短不同被分别加上不同权重,距离最短权重最重。
实施例3:
区别于实施例1,在本实施例中,将入睡持续时间引入到非线性映射的输入参数中。本实施提供一种睡眠环境光照条件辨识方法,其包括以下步骤:
S1、建立非线性映射:以阅读面光的照度、色温、颜色xyz色坐标值及入睡持续时间共6个参数作为输入量,以用户眼睛开度变化率、闭眼持续时长变化率、心率变化率、体动频率变化率、体温变化率共5个体征参数作为输出量,在控制单元中建立动态递归Elman神经网络;
S2、获取训练样本集:通过控制单元的输出模块向可调光灯组发出调光信号,通过光色识别单元采集并识别阅读面光的照度、色温和颜色等光色参数,通过入睡识别单元及控制单元采集并处理识别出用户眼睛开度变化率、闭眼持续时长变化率、心率变化率、体动频率变化率、体温变化率等体征参数,记录所述光色参数值及对应的所述体征参数值,获取神经网络的训练样本,
反复进行训练样本的获取,得到神经网络的训练样本集;
其中,每个训练样本的参数按如下处理过程获取:
对用户眼睛开度持续检测,当发现眼睛开度值在一设定时间长度内连续小于入睡初始阶段眼睛开度值的(1-Δ%)倍时,将当前时间作为入睡持续时间的计时零点,同时舍弃此零点时刻之前的样本记录,所述Δ可取5至10之间的整数,
所述用户眼睛开度变化率keo、闭眼持续时长变化率kec、心率变化率kh、体动频率变化率kb、体温变化率kp这5个体征参数均通过滑动平均滤波计算,如对于眼睛开度变化率,
keo|t=u=ave(dEOu-2,dEOu-1,dEOu,dEOu+1,dEOu+2),
其中,ave为均值函数,dEOu为u时刻与上一时刻眼睛开度值之差;
S3、离线训练神经网络:基于所获取的训练样本集,控制单元中的迭代学习模块根据处理模块和神经网络分别通过第一连接阵输入的体征参数实际值和网络输出值,采用梯度下降法迭代调整神经网络的连接权值;
S4、在线预测:在现场环境中,经训练的神经网络基于通过光色识别单元获取的当前阅读面光的照度、色温、颜色的xyz色坐标值及入睡持续时间,对用户眼睛开度变化率、闭眼持续时长变化率、心率变化率、体动频率变化率、体温变化率进行预测并将结果通过输出模块输出。
参见图13所示,由于用户入睡转折时点无法预测,因此,在本实施例中,通过对眼睛开度的持续监测,当其显著偏离于正常范围时,开始采样并记录之后的数据序列。
相比于实施例1,由于在神经网络的输入中引入了从入睡转折点开始的时间长度,因此,可以通过经训练的神经网络预测之后某个时点的体征参数。
作为优选,还可以指数分布函数来对入睡进行过程进行表征,用户眼睛开度、闭眼持续时长、心率、体动频率、体温等体征参数以归一化后同时刻数据加权平均的形式作为拟合样本数据,将所有体征参数融合为一个函数。
实施例4:
区别于实施例1,本实施例在控制单元中用入睡效率映射表来替换神经网络,以实现光色条件到入睡效率各变化率体征参数的映射。
在本实施例中,提供一种睡眠环境光照条件辨识方法,其包括以下步骤:
S1、建立数据样本结构:
以阅读面光的照度、色温共2个光色参数表示光照条件,以用户眼睛开度值、闭眼持续时长、心率、体动频率、体温等5个体征参数的变化率作为入睡效率因素,
建立空入睡效率映射表,其以所述光色参数的组合为行索引,以所述入睡效率因素的5个变化率体征参数为列标题即字段;
S2、获取入睡过程拟合数据样本集:通过控制单元的输出模块向可调光灯组发出调光信号,入睡过程中,针对特定用户在不同的光环境中基于光色识别单元和入睡识别单元获取各种光照条件下入睡过程中体征参数的变化过程记录,并针对照度、色温组成的每种光色组合条件对应的特征参数变化过程记录,进行如下处理:
对用户闭眼持续时长y1,对其预处理,
y1=max(y1,4),
然后,先基于如下模型进行离线数据拟合,
y1=g1(t)=8·b/exp(4·c·(a-t))+1,
再计算闭眼持续时长变化率,
kec=k1=t2-t1,其中t1=g1-1(4e-1),t2=g1-1(4-4e-1),
对用户眼睛开度、心率、体动频率、体温中的每个体征参数,对其归一化处理后,先分别基于如下模型进行离线数据拟合,
y2=g2(t)=2·b/exp(4·c·(t-a))+1,
再计算其各自变化率,
ki=t2-t1,其中t1=g2-1(1-e-1),t2=g2-1(e-1),i=2,3,4,5,
其中,y1、y2为体征参数预处理或归一化后的取值,t为时间,a、b、c为拟合系数,ki(i=2,3,4,5)分别对应眼睛开度变化率keo、心率变化率kh、体动频率变化率kb、体温变化率kp,
在入睡效率映射表中,记录每种光色组合下的各变化率体征参数;
S3、重复进行步骤S2,得到拟合数据样本集;
S4、在线预测:现场环境中,对具体光色组合下的入睡效率因素进行预测,根据光色组合值进行所述入睡效率映射表的查找,当所述组合不在入睡效率映射表中时,则基于所述入睡效率映射表通过距离加权的插值计算获取其对应的入睡效率因素各变化率体征参数值,所述距离为光色组合空间中的欧氏距离;若所述组合存在入睡效率映射表中,则直接查表获取其对应的变化率体征参数值,
将查表结果通过输出模块输出。
可以理解,本发明的方案中,阅读面光色参数中的照度是对于阅读物无主动光源而言的,对于有背光源的阅读物,如手机、平板、电子书等,可以在上述光色条件到入睡效率有关因素的映射中,补充一个背光源亮度项到光色条件的参数集中。
另外,与入睡效率因素相关的所有模型都是基于特定个体的,因此,在生成网络训练样本、映射表等过程中的相关数据,都是基于相同身份的用户的;对于多个用户,应针对每个用户独立建立和保存一个数据集。
应用本发明进行不同光环境下入睡效率各因素的检测与预判,在采集到变化足够丰富的样本后,由于光色变化域内的组合有无穷多种,可以采用本发明对各种现场环境中光照条件下的入睡效率参数包括眼睛开度变化率、心率变化率等进行预测,从而为潜在的高入睡效率光环境的寻找提供依据。
以上,说明了本发明的几个实施方式,但这些实施方式是作为例子而提示的方式,并没有限定发明的范围。这些实施方式可以通过其他的各种方式实施,在不脱离发明的主旨的范围内,能够进行各种省略、置换、变更。这些实施方式或其变形包含于发明的范围或主旨,并同样地包含于权利要求书记载的发明及其等同的范围内。