CN112949372A - 工作区域设定单元及其在学习注意力检测与预判中的用法 - Google Patents
工作区域设定单元及其在学习注意力检测与预判中的用法 Download PDFInfo
- Publication number
- CN112949372A CN112949372A CN202011437396.8A CN202011437396A CN112949372A CN 112949372 A CN112949372 A CN 112949372A CN 202011437396 A CN202011437396 A CN 202011437396A CN 112949372 A CN112949372 A CN 112949372A
- Authority
- CN
- China
- Prior art keywords
- working
- color
- working surface
- value
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims description 51
- 238000005286 illumination Methods 0.000 claims description 61
- 238000013528 artificial neural network Methods 0.000 claims description 56
- 238000012545 processing Methods 0.000 claims description 41
- 238000012549 training Methods 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 210000001508 eye Anatomy 0.000 description 74
- 238000010586 diagram Methods 0.000 description 14
- 238000013507 mapping Methods 0.000 description 14
- 238000011156 evaluation Methods 0.000 description 13
- 230000002829 reductive effect Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 8
- 210000001747 pupil Anatomy 0.000 description 6
- 239000011324 bead Substances 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000003340 mental effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 241001282135 Poromitra oscitans Species 0.000 description 2
- 206010048232 Yawning Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 210000000608 photoreceptor cell Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000001028 reflection method Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000027288 circadian rhythm Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Strategic Management (AREA)
- Evolutionary Computation (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Business, Economics & Management (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Educational Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Marketing (AREA)
- Human Computer Interaction (AREA)
- Probability & Statistics with Applications (AREA)
- Primary Health Care (AREA)
- Multimedia (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
Abstract
本发明公开了一种用来进行工作面区块的预设的工作区域设定单元,其包括用于支撑于支架上、位于中心的枢轴,活动连接于枢轴且呈对称分布的左、右、前、后共四块三角形调节板;左右两块调节板、前后两块调节板之间各连接有第一调节轴、第二调节轴,四块调节板的底边各设有发出条形光斑的矩形灯槽;控制单元通过第一调节轴、第二调节轴改变四块调节板相对水平面的倾角,以在工作面水平面上通过四条条形光斑围出一个矩形区域并将其作为预设工作面区块;并通过计算学习者视线与所预设工作平面的交点到预设工作面区块的距离来表征和判断学习注意力的高低。本发明通过工作面区块的在线调节,大大方便了检测样本的获取,提高了样本获取的准确性、适用性。
Description
本申请为申请号201910263070.9、申请日2019年04月02日、发明名称“可变光环境下学习注意力检测与预判装置和方法”的分案申请。
技术领域
本发明涉及智能照明及学习辅助领域,具体涉及一种工作区域设定单元及其在学习注 意力检测与预判中的用法。
背景技术
人们通过视觉从外界获取信息,并且迅速作出反应,工作和学习效率都直接受制于环 境的照明条件,而维持基本的视觉功能也依赖于照明。
影响视觉的环境照明因素有很多方面,其中比较重要的有:照度水平、亮度分布、颜 色显现、光影光色等,而这些因素对作业效率的影响程度是不同的。作业的用眼强度,用眼时间,都会影响视觉的疲劳程度,进而影响工作效率。
不同光环境下,人员的作业效率是不同的。人眼视网膜上的第三类感光细胞即本征感 光视网膜神经结细胞被发现后,已被证明它可以通过对进入人眼的可见光辐射产生一系列 化学生物反应来控制人的生理节律、生物钟和人眼瞳孔大小,从而对人的生理、心理等产 生影响。光环境的物理特性包括光通量、照度、眩光、亮度、光谱等。一般认为照度水平 是影响视觉器官和工作效率的主要因素之一,光谱色温等也有重要作用。
作业效率通常被定义为一定时间内产出与投入之比,在社会向信息化社会迈进的同 时,人们工作的性质也逐渐发生着变化,脑力劳动对社会生产力的贡献越来越大。脑力劳 动者的队伍空前壮大,与体力劳动相比,脑力劳动的评价更困难。脑力劳动使劳动从有形 作业变为无形作业,人从劳动动力变为思维工具,劳动对人的生理要求变成了心理需求。 如,对建筑工人,可以以单位工作时间内的砌砖数来衡量其工作效率,但对技术开发人员 等这些从事创造性劳动的工作人员,怎么定量地衡量其工作产出并进而评价其工作效率 呢?
为了研究照明对作业效率的影响机制,很多学者从理论与实验两方面出发进行了研 究。如2010年上海交通大学的兰丽在其博士学位论文《室内环境对人员工作效率影响机理与评价研究》中,用气候舱模拟办公室对受试者进行实验测试,并通过主观问卷调查和生理参数测量来对光环境进行评价,结果表明照度过低对人员的工作效率有负面影响,照度过高也可能不利于人员长期工作,对人员的工作效率,应该存在一个最佳的照度水平。
现有研究中对作业效率基于某种任务如算术、图形辨识等的完成速度来进行换算,这 类方法带有一定的主观性、且缺乏个体针对性。
以人为对象、环境为介质、工作效率输出为目标的研究涉及到一个多维的研究方法。 许多以前的研究得出了不一致甚至相互矛盾的结果,部分原因也是因为评价指标中有部分 是主观评价如主观问卷调查,而个体之间又存在经验等差异。
因此,目前需要一种需要一种通过客观检测来将各种光环境影响与作业者的作业、学 习效率相关联的装置,以及能对不同光照环境下人员学习效率相关因素进行检测和预判的 方法。
发明内容
本发明的目的是提供一种用于可变光环境下学习注意力检测与预判系统中进行工作 面区块预设的工作区域设定单元,进而实现对各种光照条件下的个体注意力进行检测和判 断的装置和方法,并且该装置和方法要具有较强的泛化能力,以对未测试过的其他不同光 照条件进行预测判定:在该未测试过的光照条件下,个体将表现出何种注意力。从而,在 向该个体进行潜在的高注意力光环境的推荐时,能有据可依。
通过多种作业的测试、对比和研究分析,发现相对于作业效率测试,人员注意力的检 测和评价要更为直接,而且可以通过检测手段客观地获取与注意力有关的各因素表现。当 注意力集中时,往往学习效率也更高,此时人员表现为眼睛专注,视线集中在工作面上,且心率也较平缓。反之,当人员因为疲劳等因素而造成注意力不集中时,往往表现为眼睛逐渐闭合、开度变小,视线低垂或偏向工作面之外,心率也会降低,有时还会表现为打哈欠。因此,可以通过捕捉人员面部状态来客观地对其注意力进行检测。
在不同光照条件下的桌面学习中,学习者的注意力差异不但包括在缓慢变化的眼睛开 度,还可以包括视线点的范围、心率波动、视线移动速率等其他体征表现。
而在光照环境与注意力之间存在一种什么约束关系,这是一个复杂的非线性问题。要 描述它们之间的映射,需要借助一个合适的映射网络。神经网络由于具有自组织和自学习 能力,能够直接接收数据并进行学习,在很短的时间内在模式识别领域内得到广泛应用。 作为人工神经网络的一种,RBF网络能够逼近任意的非线性函数,可以处理系统内的难 以解析的规律性,具有良好的泛化能力,并有很快的学习收敛速度,已成功应用于非线性 函数逼近、模式识别、信息处理等领域。
为了解决现有技术中针对光照条件对学习效率影响只能通过作业实验或主观打分进 行评估的问题,本发明通过传感器来对学习者体征数据进行采集,用眼睛开度、视线专注 度、心率、视线移动速率等参数来作为注意力因素,从而对光环境下学习者的注意力高低 进行评估。基于体征传感数据,要进行注意力评估,存在以下几个问题。首先,所采样的 体征数据,如何对其进行量化?并还要能区别出注意力的高低。其次,数据序列前后是关联的,如何根据其变化过程来进一步区分注意力是否集中?
本发明的方案是,通过装置对与学习注意力相关的几种人体特征的信号进行采集,然 后对信号进行滤波、趋势提取并通过统计获得正常情况下特征数据的概率分布,从而通过 将样本数据序列本身的取值、及其变化趋势与先验统计出的特征进行比较,进而获得准确 的注意力因素评估。然后,改变光照条件,采集不同调节下学习者的体征数据样本,并基 于非线性映射理论与处理计算,建立可变光环境下学习注意力的检测与预判模型。
本发明通过神经网络来对光照条件与人员注意力之间的复杂非线性映射关系进行建 模,其中光照条件包括工作面照度、色温、颜色的xyz色坐标值,注意力则通过眼睛开度 值、视线专注度值、心率、视线移动速率等参数来表征。考虑到人员注意力还受到累积工作或学习时间的影响,神经网络以上述的5个光色参数、以及持续学习时间共6个参数作 为输入量,以注意力参数为输出量。神经网络采用RBF网络,采集足够多的样本后,用 K均值聚类算法确定RBF神经网络隐含层节点的个数及其各自的中心向量,采用梯度下 降法修正网络隐含层到输出层的权值,使训练样本空间输出量的实际值与网络输出值之间 的误差最小。
具体地,本发明提供一种以下结构的工作区域设定单元,其特征在于,所述工作区域 设定单元用来进行工作面区块的预设,其包括:用于支撑于支架上、位于中心的枢轴,活动连接于枢轴且呈对称分布的左、右、前、后共四块三角形调节板,
左、右两块调节板之间连接有第一调节轴,前、后两块调节板之间连接有第二调节轴, 所述四块调节板的底边各设有一个矩形灯槽,所述矩形灯槽发出条形光斑,
外部控制单元通过所述第一调节轴、第二调节轴改变四块调节板相对水平面的倾角, 以在工作面水平面上通过四条条形光斑围出一个矩形区域并将其作为预设工作面区块。
作为优选,所述第一调节轴、第二调节轴均采用两个驱动杆,所述两个驱动杆由电机 驱动且做相反方向运动,所述两个驱动杆分别连接到相对而设的两个调节板的内侧,
所述驱动杆还可以通过一个连接于驱动杆外侧末端的弧形连杆来连接到调节板。
作为优选,调节板末端的所述灯槽,内嵌有LED灯珠,在灯珠外面设有玻璃罩,玻璃罩四周由聚光片将LED灯珠的光线聚集为长条形光斑。
作为优选,所述矩形灯槽发出条形光斑,外部控制单元通过控制电机旋转来驱动所述 第一调节轴、第二调节轴,来分别改变左右、前后两对调节板相对水平面的倾角,从而在 工作面水平面上通过四条条形光斑围出一个矩形区域,作为预设工作面区块。
作为优选,所述电机做顺时针转动时,驱动杆带动调节板往外侧移动,使得调节板相 对水平面的倾角变小,条形光斑外移,工作面区块扩大;反之,当电机逆时针转动时,工作面区块缩小。
作为优选,其用于可变光环境下学习注意力检测与预判装置中进行所述工作面区块的 预设,所述可变光环境下学习注意力检测与预判装置,又包括光色传感单元、图像采集单 元、心率采集单元和控制单元;
所述光色传感单元采集工作面光照的照度、色温和颜色,所述图像采集单元采集学习 者的面部及工作面区域的图像,所述心率采集单元采集学习者的心率,所述控制单元中的 输出模块用来进行信号显示并将注意力因素值输出;
所述控制单元被配置为:
对光色传感单元采集的信号进行处理获取工作面照度、色温以及颜色的xyz色坐标值 共5个光色参数,对图像采集单元采集的信号进行处理获取学习者的眼睛开度值、视线专 注度值、视线移动速率,并通过读取心率采集单元的信号获取学习者的心率,
以工作面照度、色温、颜色的xyz色坐标值及持续学习时间共6个参数作为输入量,以用来表征注意力因素的学习者眼睛开度、视线专注度、心率共3个体征参数的注意力因素值作为输出量,建立人工神经网络,用训练样本对神经网络进行训练,
在线预测时,神经网络基于当前工作面照度、色温、颜色的xyz色坐标值及持续学习 时间,对学习者的眼睛开度、视线专注度度、心率等体征参数的注意力因素值进行预测并 向输出模块输出。
作为优选,所述可变光环境下学习注意力检测与预判装置还包括用户接口单元,在所 述用户接口单元的按键中设置4个按钮来分别调节工作面区块左右、前后方向上的扩大、 缩小。工作面区块的范围可通过电机等机构的旋转角度记录,并将对应的所述范围与角度 形成映射集合。
作为优选,所述视线专注度值为视线偏移距离并根据学习者视线与工作面交点即视点 离开工作面区块的距离来表征,通过下述处理获得:
通过图像处理获取学习者视线,假设该视线为经过眼睛P0点的v向射线,在工作水平面G2中,四个所述长条形光斑在工作面上形成交点GA、GB、GC、GD,令预设工作 面区块为以四个所述交点为角点的矩形区域G1,令工作平面的法向向量为u,世界坐标 系为O-XYZ,则可计算视线与工作平面的交点P1的坐标,
其次,在G2平面中,根据工作面区块的四个角点将工作面区块范围外的区域划分出 I~Ⅷ共八个区域;
然后,若视点P1不在工作面区块内,先判断其在哪个区域,再根据所在区域进一步计算视点与工作面区块的最短距离d;如果视点落在对角区域的Ⅱ、Ⅳ、Ⅵ、Ⅷ区域,则 计算视点与相应角点的距离d;否则计算视点与相应角点在X方向或Y方向上的距离d;
以所述距离d作为视线偏移距离。
作为优选,所述用户接口单元中设有一个学习模式键,且通过所述学习模式键选择为 阅读模式时,所述神经网络的输出量增加一个用来表征注意力因素的的视线移动速率体征 参数的注意力因素值,且其计算过程为:
在一预设时间长度Tp内,检测学习者视线与工作面的交点,对落入预设工作面区块 范围之内的所述交点的集合,求取外接矩形,并根据所述矩形的长X和宽Y,计算视线 移动速率,
然后,计算视线移动速率的注意力因素值为,
其中,avs、bvs分别为根据统计设定的两个速率阈值。
同时,本发明还提供一种用于可变光环境下学习注意力检测与预判装置的工作区域设 定单元,包括:用于支撑于支架上、位于中心的枢轴,活动连接于枢轴且呈对称分布的左、 右、前、后共四块三角形调节板,
左、右两块调节板之间连接有第一调节轴,前、后两块调节板之间连接有第二调节轴, 所述四块调节板的底边各设有一个矩形灯槽,所述矩形灯槽发出条形光斑,
外部控制单元通过所述第一调节轴、第二调节轴改变四块调节板相对水平面的倾角, 以在工作面水平面上通过四条条形光斑围出一个矩形区域并将其作为预设工作面区块;
所述工作区域设定单元用于可变光环境下学习注意力检测与预判装置中进行工作面 区块的预设,所述可变光环境下学习注意力检测与预判装置,又包括光色传感单元、图像 采集单元、心率采集单元和控制单元,
所述光色传感单元采集工作面光照的照度、色温和颜色,所述图像采集单元采集学习 者的面部及工作面区域的图像,所述心率采集单元采集学习者的心率,所述控制单元中的 输出模块用来进行信号显示并将注意力因素值输出,
所述控制单元被配置为:
对光色传感单元采集的信号进行处理获取工作面照度、色温以及颜色的xyz色坐标值 共5个光色参数,对图像采集单元采集的信号进行处理获取学习者的眼睛开度值、视线专 注度值、视线移动速率,并通过读取心率采集单元的信号获取学习者的心率,
以工作面照度、色温、颜色的xyz色坐标值及持续学习时间共6个参数作为输入量,以用来表征注意力因素的学习者眼睛开度、视线专注度、心率共3个体征参数的注意力因素值作为输出量,建立人工神经网络,用训练样本对神经网络进行训练,
在线预测时,神经网络基于当前工作面照度、色温、颜色的xyz色坐标值及持续学习 时间,对学习者的眼睛开度、视线专注度度、心率等体征参数的注意力因素值进行预测并 向输出模块输出。
另外,本发明还提供一种工作区域设定单元在学习注意力检测与预判装置中的用法, 包括以下步骤:
S1、在工作区域设定单元中以枢轴为中心设置活动连接于该枢轴且呈对称分布的左、 右、前、后共四块三角形调节板,在各调节板的底边各设一个矩形灯槽,所述矩形灯槽发 出条形光斑,通过第一调节轴连接左、右两块调节板,通过第二调节轴连接前、后两块调节板,
通过所述枢轴将工作区域设定单元支撑于工作场景中人员正对面的支架上,
控制单元通过控制电机旋转来驱动所述第一调节轴、第二调节轴,来分别改变左右、 前后两对调节板相对水平面的倾角,从而在工作面水平面上通过四条条形光斑围出一个矩 形区域,作为预设工作面区块,
初始化,通过图像处理获取学习者视线,令该视线为经过眼睛P0点的v向射线;
S2、在工作水平面G2中,四个所述条形光斑在工作面上形成交点GA、GB、GC、 GD,令预设工作面区块中以四个所述交点为角点的矩形区域为G1,令工作平面的法向向 量为u,世界坐标系为O-XYZ,则可计算视线与工作平面的交点P1的坐标,
其次,在G2平面中,根据工作面区块的四个角点将工作面区块范围外的区域按逆时 针方向划分出I~Ⅷ共八个区域;
然后,若视点P1不在工作面区块内,先判断其在哪个区域,再根据所在区域进一步计算视点与工作面区块的最短距离d;
如果视点落在对角区域的Ⅱ、Ⅳ、Ⅵ、Ⅷ区域,则计算视点与相应角点的距离d;否则计算视点与相应角点在X方向或Y方向上的距离d;
以所述距离d作为视线偏移距离并用其表征视线专注度值,以根据其大小来判断学习 注意力的高低,且所述距离d的值越大表示学习注意力越低。
作为优选,所述可变光环境下学习注意力检测与预判装置,包括光色传感单元、图像 采集单元、心率采集单元和控制单元;
所述光色传感单元采集工作面光照的照度、色温和颜色,所述图像采集单元采集学习 者的面部及工作面区域的图像,所述心率采集单元采集学习者的心率,所述控制单元中的 输出模块用来进行信号显示并将注意力因素值输出;
所述控制单元被配置为:
对光色传感单元采集的信号进行处理获取工作面照度、色温以及颜色的xyz色坐标值 共5个光色参数,对图像采集单元采集的信号进行处理获取学习者的眼睛开度值、视线专 注度值、视线移动速率,并通过读取心率采集单元的信号获取学习者的心率,
以工作面照度、色温、颜色的xyz色坐标值及持续学习时间共6个参数作为输入量,以用来表征注意力因素的学习者眼睛开度、视线专注度、心率共3个体征参数的注意力因素值作为输出量,建立人工神经网络,用训练样本对神经网络进行训练,
在线预测时,神经网络基于当前工作面照度、色温、颜色的xyz色坐标值及持续学习 时间,对学习者的眼睛开度、视线专注度度、心率等体征参数的注意力因素值进行预测并 向输出模块输出。
作为优选,所述用来表征注意力因素的的3个体征参数的注意力因素值分别按如下方 式处理获得:
第一,对于眼睛开度序列de,先通过下式进行窗口平均滤波,获得当前时刻的眼睛开度e,
再通过间隔移动窗口,获得眼睛开度的下采样序列Xe,
Xe={e(0),e(Ts),e(2Ts),...},
其中,L为窗口宽度,Ts为下采样间隔,a、b均为拟合系数,E1、E2为眼睛开度的 两个阈值,且对于归一化的眼睛开度值序列,E1、E2在0~1之间取值;
分别根据眼睛开度e、开度变化时间tu,计算眼睛开度第一、第二体征值,
其中,be、ce为根据统计所获得的、覆盖了正常状态下设定比例的眼睛开度值的区间的下限值与上限值,ae、de则分别为另两个预设下限值与上限值;btu为正常状态下当 前持续学习时间范围内覆盖了设定比例的眼睛开度变化时间的上限值,atu为设定的下限值;
计算眼睛开度的注意力因素值为,
ke=ke1·ke2;
第二,检测学习者视线与工作面的交点,若所述交点落在预设工作面区块范围之外, 计算所述交点到工作面区块的最短距离并记录其对应的视点连续超出预设范围的时间长 度,对于所述距离序列dd,先通过窗口平均滤波获得当前视线偏移距离d,同时计算对应 窗口时间范围内视点连续超出预设范围的最大时间长度td,
分别根据所述距离d、时间长度td,计算视线专注度的第一、第二体征值,
其中,a、b为拟合系数,Td是正常状态下当前持续学习时间范围内覆盖了设定比例的、视点连续超出预设范围的最大时间长度,σ是一个预设的时间宽度值;
计算视线专注度的注意力因素值为,
kd=kd1·kd2;
第三,对于心率数据序列,根据正常状态下心率期望值设定一个上下波动区间,统计 以当前时间为中心的一预设时间长度内、数据波动超出所述波动区间范围的的次数N,以 及所述预设时间长度内心率在所述区间范围内的样本个数占比Rb,
N=N++N-,
其中,N+为跨出所述区间的次数,N-则是跨入所述区间的次数;
分别根据所述次数N、占比Rb,计算心率的第一、第二体征值,
其中,TN是正常状态下当前持续学习时间范围内覆盖了设定比例的、心率超出波动 区间范围的最大次数,σN是一个预设的宽度值,aRb、bRb则是根据统计设定的两个比 例阈值;
计算心率的注意力因素值为,
kb=kb1·kb2。
附图说明
图1为可变光环境下学习注意力检测与预判装置及系统的组成框图;
图2为控制单元组成结构图;图3为处理模块组成结构图;
图4为RBF神经网络结构示意图;
图5为可变光环境下学习注意力检测与预判方法工作流程图;
图6为一实施例下模块布局结构示意图;图7为调光面板结构示意图;
图8为另一实施例下模块局部布置示意图;图9为工作区域设定示意图;
图10a为工作区域设定单元结构组成图;图10b、图10c为调节轴结构组成图;图10d为灯槽结构组成图;
图11为视线与工作面交点示意图;图12为体征数据序列示意图;
图13a、图13b分别为眼睛开度的第一、第二体征值评估函数示意图;
图13c、图13d分别为视线专注度的第一、第二体征值评估函数示意图;
图14为视点分布示意图。
其中:
1000学习注意力检测与预判系统,100可变光环境下学习注意力检测与预判装置,
110光色传感单元,120图像采集单元,130控制单元,140用户接口单元,150 可调光灯组,160心率采集单元,
131处理模块,132 RBF神经网络,133连接切换器,134迭代学习模块,135 输出模块,136存储模块,151调光器,152 LED灯,
1311图像处理部,1312光色处理部,1351显示屏,1352通信接口,13111眼开 度检测器,13112视线检测器,13113嘴形检测器,13121照度检测器,13122色温 检测器,13123颜色检测器,
101底板,102支架,103双目相机,104红外辅助光源,105显示条,106光 色传感块,107按键块,108调光面板,109工作区域设定单元,111标定块,
1081颜色粗调旋钮,1082颜色微调旋钮,1083亮度调节旋钮,
1091枢轴,1092调节板,1093第一调节轴,1094第二调节轴,1095灯槽,1096 电机,1097驱动杆,1098连杆,
951 LED灯珠,952玻璃罩,953聚光片。
具体实施方式
以下结合附图对本发明的优选实施例进行详细描述,但本发明并不仅仅限于这些实施 例。本发明涵盖任何在本发明的精神和范围上做的替代、修改、等效方法以及方案。
为了使公众对本发明有彻底的了解,在以下本发明优选实施例中详细说明了具体的细 节,而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。
在下列段落中参照附图以举例方式更具体地描述本发明。需说明的是,附图均采用较 为简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施例的目的。
如图1所示,本发明中的方法应用于学习注意力检测与预判系统1000,学习注意力检测与预判系统1000包括可变光环境下学习注意力检测与预判装置100和可调光灯组150,其中,可变光环境下学习注意力检测与预判装置100又包括光色传感单元110、图 像采集单元120、心率采集单元160、控制单元130和用户接口单元140。
其中,心率采集单元160采集学习者的心率,可以通过腕表或手环获取,并通过通信 接口传送给控制单元130。
光色传感单元110采集工作面光照的照度、色温和颜色,照度可以用独立的模块来进 行检测,色温和颜色则可以通过同一个RGB或xyz颜色传感模块来进行获取。作为优选,颜色传感模块可以选用TCS3430传感器,TCS3430的滤波器具有五个通道,包括X、Y、 Z通道以及两个红外(IR)通道,两个红外通道可用于推断光源类型。TCS3430传感器实 时采集工作面的光色信号,通过控制单元中处理模块信号处理、转换后分别获得颜色的 xyz色坐标值和色温。
结合图1、图2所示,控制单元130包括处理模块131、迭代学习模块134、神经网 络模块132、连接切换器133、输出模块135和存储模块136。其中,处理模块131又包 括图像处理部1311和光色处理部1312。结合图2、图3所示,光色处理部1312又包括照 度检测器13121、色温检测器13122和颜色检测器13123,它们对光色传感单元采集的信 号进行处理,分别获得表征工作面光照条件的照度、色温以、以及颜色的xyz三个刺激值, 共5个光色参数。图像采集单元120可采用双目相机,图像处理部1311对图像采集单元 120采集的信号进行处理,获取学习者的注意力。
注意力状态的检测可以基于机器视觉及图像处理等技术,而这类方法在交通驾驶中已 有采用,有很多研究通过对驾驶员面部特征进行分析实现了驾驶员状态的有效监测。
对于在桌面的学习而言,可以通过图像处理的方法进行注意力检测与分析。与情绪饱 满、注意力集中时的状态不同,人在疲劳或注意力分散时,生理参数会出现不同程度的变 化,可以作为注意力状态监测的依据。当学习者注意力不集中时,眼睑下闭,眼睛的开度 明显减小,甚至出现间断性的闭合、眨眼;而在明显困倦之前的亚疲倦状态下,也会出现阅读速度降低、视线移动变慢的现象;偶尔,人员还会出现打哈欠的动作。因此,本发明 专利基于学习者面部特征进行注意力状态的检测。
具体地,结合图2和图3所示,图像处理部1311内包括眼睛开度检测器13111、视 线检测器13112和嘴形检测器13113,它们分别对学习者的眼睛睁开程度、视线方向和嘴 部张开特征进行检测,进而结合标定和转换处理获取学习者的眼睛开度值、视线专注度值 及视线移动速率。其中,视线专注度为视线偏移预设工作面区块的距离。
结合图4、图5所示,本发明中可变光环境下学习注意力检测与预判方法,包括以下步骤:
S1、在控制单元中建立人工神经网络,所述神经网络以工作面照度、色温、颜色的xyz色坐标值及持续学习时间共6个参数作为输入量,以用来表征注意力因素的学习者眼睛开度、视线专注度度、心率共3个体征参数的注意力因素值作为输出量,其中视线专注 度为视线偏移距离;
S2、处理模块对光色传感单元采集的信号进行处理获取工作面照度、色温以及颜色 的xyz色坐标值共5个光色参数,对图像采集单元采集的信号进行处理获取学习者的眼睛 开度值、视线专注度值、视线移动速率,并通过读取心率采集单元的信号获取学习者的心 率,根据每个参数的取值区间分别对其进行滤波、归一化等预处理后经评估量化得到各自 的注意力因素值;
S3、通过控制单元的输出模块或用户接口单元向可调光灯组发出调光信号,对变化 后的光环境基于光色传感单元、图像采集单元和心率采集单元进行信号采集后,按步骤S2的方法进行信号处理;
S4、重复进行步骤S3多次,获取神经网络的训练样本集,并用样本集对人工神经网络进行训练;
S5、基于训练好的神经网络,在现场环境中,对当前光环境下学习者的注意力进行在线预测:
基于获取的现场工作面照度、色温、颜色的xyz色坐标值及输入的持续学习时间,对 学习者的眼睛开度、视线专注度度、心率等体征参数的注意力因素值进行预测并将结果通 过输出模块输出。
下面详细说明本发明的具体处理过程。
用图像处理对视线估计方法可选虹膜巩膜边缘法、瞳孔-眼角点定位法和瞳孔-角膜反 射法。前二者分别利用红外线信号差及眼角与瞳孔连线来估计视线方向。作为优选,本方 案采用第三种方法,利用红外光源照射人眼角膜,光线照射到眼睛上时,会在眼角膜的外 表面产生一个反射,在眼睛中显示为亮点,称为普尔钦斑点。当眼球转动时,普尔钦斑点 位置不动,因此可以通过人眼瞳孔与普尔钦斑点的相对位置关系,进行视线方向估计。
在具体应用中,瞳孔-角膜反射方法又有二维视线估计法和三维视线估计法两类实现 方法。二维视线估计法采用的是校准过的视线映射函数,二维眼睛特征参数是该函数的输 入参数,输出的就是视线方向或屏幕注视点,该方法是基于单目视觉的,简单快速,但精 度较低。三维视线估计法则基于双目视觉的,通过三维重建过程获取驾驶员眼睛的空间三 维信息,检测精度高、范围大。
基于双目相机采集到的学习场景图像,首先要进行平滑处理及阈值分割,去除噪声并 进行学习者面部及眼睛区域定位,提取人眼高宽比、眼睛瞳孔、普尔钦斑点等特征信息; 其次,将提取的特征点进行立体匹配,基于几何约束建立过程,对眼睛瞳孔及普尔钦斑点 进行三维重建,获得其三维世界坐标;最后,通过瞳孔与普尔钦斑点构成的三维坐标向量 判断学习者的三维视线方向。基于周期性获取的人眼高宽比及视线方向跟踪,可以计算出 眼睛开度值、视线空间方向。
具体地,结合图1、图6所示,本发明装置将图像采集单元采用的双目相机103安装在工作场景中人员正对面的支架102上,支架102固定在底板101上。辅助进行视线检测 的红外辅助光源104也固定在支架102上,光色传感单元则固定在底部表面的光色传感块 106区域,在光色传感块106关于支架对称的另一端,用户接口单元的按键设置在按键块 107区域。
参见图9所示,为了在图像处理中进行学习者视点的检测与判断,需要在工作面内预 设一个合理的工作区块。为此,在装置中增设一个工作区域设定单元109。
工作区域设定单元109通过位于中心的枢轴1091支撑于支架102的顶端,在枢轴1091 上活动连接有呈对称分布的左、右、前、后共四块三角形调节板1092。其中,如图10a所示,左、右两块调节板1092之间还连接有第一调节轴1093,前、后两块调节板1092 之间连接有第二调节轴1094,在四块调节板的底边均设有一个矩形灯槽1095。两个调节 轴在纵向的高度上相互错开。
如图10b所示,第一调节轴、第二调节轴均采用电机1096驱动两个做相反方向运动的驱动杆1097,其中,驱动杆连接到调节板内侧。
如图10c所示,作为优选,两个调节轴的驱动杆1097还可以通过一个连杆1098来连接到调节板。
如图10d所示,位于调节板末端的灯槽1095,内嵌LED灯珠951,在灯珠外面设有 玻璃罩952,玻璃罩四周由聚光片953将LED的光线聚集为长条形。
结合图9、图10b所示,矩形灯槽1095发出条形光斑GS。控制单元通过控制电机旋转来驱动第一调节轴、第二调节轴,从而分别改变左右、前后两对调节板相对水平面的倾角,从而在工作面水平面上通过四条条形光斑围出一个矩形区域,作为预设工作面区块。其中,电机做顺时针转动时,驱动杆带动调节板往外侧移动,使得调节板相对水平面的倾角变小,条形光斑外移,工作面区块扩大;反之,当电机逆时针转动时,工作面区块缩小。 作为优选,可以在用户接口单元的按键中设置4个按钮来分别调节工作面区块左右、前后 方向上的扩大、缩小。工作面区块的范围可通过电机等机构的旋转角度记录。
通过工作面区块的在线调节,大大方便了检测样本的获取,提高了样本获取的准确性、 适用性。
如图11所示,通过图像处理部获取的视线为经过P0点的v向射线。在工作水平面G2中,预设工作面区块是以GA、GB、GC、GD为角点的矩形区域G1,工作平面的法 向向量为u,世界坐标系为O-XYZ,则可计算视线与工作平面的交点P1的坐标。
如图11所示,在G2平面中,根据工作面区块的四个角点将工作面区块范围外的区域划分出I~Ⅷ共八个区域。若视点P1不在工作面区块内,首先判断其在哪个区域,然后 根据所在区域进一步计算视点与工作面区块的最短距离d。具体地,如果视点落在对角区 域的Ⅱ、Ⅳ、Ⅵ、Ⅷ区域,则计算视点与相应角点的距离;否则,则计算视点与相应角点 在X方向或Y方向上的距离。如图中所示,P1在V区,则有,
d=|xP1-xGD|。
结合图1、图4所示,本发明采用神经网络对环境的光照条件与人员注意力之间的映 射关系进行构造建模。具体地,建立以图4所示的RBF神经网络,该网络以工作面照度、色温、颜色的xyz色坐标值及持续学习时间共6个参数作为输入量,以用来表征注意力因 素的学习者眼睛开度、视线专注度、心率共3个体征参数的注意力因素值作为输出量。
其中,视线专注度值所依据的视线偏移距离根据学习者视线与工作面交点即视点离开 工作面区块的距离来表征。
参见图12所示的归一化后体征数据序列的示意图,其中,所记录的为一次眼睛开度 经滤波后的数据序列,且以体征物理量的最大概率取值区间的中点为1。
为发现有助于提高学习者注意力的光照环境,首先,要对学习者的注意力高低进行检 查与判断。本发明分别通过学习者眼睛开度、视线专注度、心率共3个体征参数来表征学 习者的注意力因素,此3个体征参数的量化步骤如下:
T1、对于眼睛开度序列de,由于眼睛开度变化高频分量多,先通过下式进行窗口平均滤波,获得当前时刻的眼睛开度e,
再通过间隔移动窗口,获得眼睛开度的下采样序列Xe,
Xe={e(0),e(Ts),e(2Ts),...},
其中,L为窗口宽度,Ts为下采样间隔,a、b均为拟合系数,E1、E2为眼睛开度的 两个阈值,对于归一化的眼睛开度值序列,E1、E2在0~1之间取值。
然后,结合图13a与图13b所示,分别根据眼睛开度e、开度变化时间tu,计算眼睛开度第一、第二体征值,
其中,be、ce为根据统计所获得的、覆盖了正常状态下设定比例的眼睛开度值的区间的下限值与上限值,ae、de则分别为另两个预设下限值与上限值;btu为正常状态下当 前持续学习时间范围内覆盖了设定比例的眼睛开度变化时间的上限值,atu为设定的下限值;
计算眼睛开度的注意力因素值为,
ke=ke1·ke2。
T2、对于视线专注度,检测学习者视线与工作面的交点,若交点落在预设工作面区块范围之外,计算所述交点到工作面区块的最短距离并记录其对应的视点连续超出预设范围的时间长度,对于所述距离序列dd,先通过窗口平均滤波获得当前视线偏移距离d,同 时计算对应窗口时间范围内视点连续超出预设范围的最大时间长度td。若交点落在工作 面区块内,则赋值距离d为零。
结合图13c、图13d所示,分别根据所述距离d、时间长度td,计算视线专注度的第一、第二体征值,
其中,a、b为拟合系数且a、b的值越大,函数值下降越快;Td是正常状态下当前持续学习时间范围内覆盖了设定比例的、视点连续超出预设范围的最大时间长度,σ是一个预设的宽度值;
计算视线专注度的注意力因素值为,
kd=kd1·kd2。
T3、对于心率,由于其变化区间相对要小得多,变化周期很长,其注意力因素评价值按如下过程求取。结合图12所示,在纵轴单位值的上下各Δ%的位置画两条虚线。对 心率数据序列,根据正常状态下心率期望值设定的上下波动区间,统计以当前时间为中心 一预设时间长度内、数据波动超出所述波动区间范围的的次数N,以及所述预设时间长度 内心率在所述区间范围内的样本个数占比Rb,
N=N++N-,
其中,N+为跨出所述区间的次数,N-则是跨入所述区间的次数。
分别根据所述次数N、占比Rb,计算心率的第一、第二体征值,
其中,TN是正常状态下当前持续学习时间范围内覆盖了设定比例的、心率超出波动 区间范围的最大次数,σN是一个预设的宽度值,aRb、bRb则是根据统计设定的两个比 例阈值;
计算心率的注意力因素值为,
kb=kb1·kb2。
在上述量化中的预设参数,如E1、E2可根据持续学习时间增大而逐渐减小,还可以采用相对比例进行两个参数的设置;其他预设参数也可类似做动态调整。心率参数处理中,波动区间对应的Δ可根据统计设定,如设置使得正常状态下虚线范围内所对应区间的体征数据概率为一概率阈值,所述概率阈值的上下限均在0.92~0.98之间取值。上述正常状态,是指学习者在其评分较高的舒适光照条件下的体征检测样本。
在上述各体征的注意力因素值计算过程中,处理获得的眼睛开度、视线专注度、心率 的注意力因素值,在考虑各种体征特点的同时还都能体现一致的评价标准。如,所定义的 注意力因素值越大,说明学习者的注意力越高。同时,这种多因素的体征评价,相比单因素评价如眼睛开度评价,更能体现不同学习者的注意力特征,从而为后续的光照影响建模和光照优化控制提供了基础。
作为优选,在用户接口单元中设置一个学习模式键,且通过该学习模式键选择为阅读 模式时,神经网络的输出量增加一个用来表征注意力因素的的视线移动速率体征参数的注 意力因素值,且其计算过程为:
结合图14所示,在一预设时间长度Tp内,检测学习者视线与工作面Z1的交点P1,对落入预设工作面区块范围之内的所述交点的集合,求取最外侧视点的外接矩形Z2,并 根据所述矩形的长X和宽Y,计算视线移动速率,
然后,计算视线移动速率的注意力因素值为,
其中,avs、bvs分别为根据对正常状态下标准样本统计设定的两个速率阈值。
作为优选,设置一个嘴形检测器,针对嘴部进行人嘴开度的特征检测,相应地,在神 经网络的输出量中增加一个用来表征注意力因素的的嘴开度体征参数,且嘴开度的注意力 因素值为嘴开度体征值与嘴巴连续张开时长体征值之积,
所述嘴开度体征值根据一个以零开度为顶点的半正态分布函数计算获得,而所述嘴巴 连续张开时长体征值则根据另一个以零时长为顶点的半正态分布函数计算获得。
参见图4所示,RBF神经网络的模型如下。
隐层第i个节点输出为:
输出层第j个节点输出为:
其中,输入向量X的维数为6,隐层H节点数为p个,输出向量Y的维数为n,Ci为隐层第i个节点高斯函数的中心,σi是高斯函数中心的宽度,||X-Ci||是向量X和Ci之间的欧氏距离,wij为第i个隐层节点到第j个输出节点间的权值。
采用本发明时,先要进行参数初始化,其中隐层节点的σi可以由下式确定:
式中Di为第i隐层节点中心与其他中心之间的最大距离。
在用本发明对注意力进行建模评价的初期,训练样本较少,样本集内光色参数中照度、 色温及颜色分量的变化不够多时,将每个样本X本身作为一个隐含层节点的中心向量Ci, 随着样本的丰富,用K均值聚类算法确定隐含层节点的个数及其各自的中心向量Ci。为 了获得足够多的训练样本,可以让人员在一个优选的可较大范围调节光亮度和色度的环境 中进行样本采集。
由于网络输入输出量的取值区间可能相差较大,为了提高数据的有效性,对样本数据 先要进行归一化预处理,将数据映射到[0,1]数值空间里。网络逼近的性能指标函数即总 的平均误差函数为:
其中,N为训练样本集中的总样本数,k是样本序号,是相对于输入Xk的实际输出,Yk是相对于输入Xk的期望输出。RBF网络训练过程中,参数的调整要使网络在最小 二乘意义下逼近所对应的映射关系,也就是使E达到最小,为此,可以采用梯度下降法 修正网络隐含层到输出层的权值,使目标函数达到最小。
本发明装置和方法的应用中,不管是进行训练样本的采集还是应用已训练好的网络进 行注意力参数预测,都需要用光色采集单元进行信号采集;但对于图像采集来说,如果当 前任务是采集训练样本则需要进行图像采集,否则如果是预测任务,则不需要进行图像采 集。
为提高神经网络的泛化能力,要采集足够多的训练样本。本发明通过输出模块或用户 接口单元向灯组发出调光信号,对每次变化后的光环境,基于光色传感单元、图像采集单 元和心率采集单元获取人工神经网络的训练样本集。
如图1所示,作为优选,测试或者使用本系统的环境中,可调光灯组150采用可调光LED灯组,其通过调光器调节灯组内各LED灯152的驱动电流值,调光器151为可改变 输出电流的驱动器,驱动器通过改变LED灯各通道驱动电流的PWM波占空比来进行出 光调节。
作为优选,LED灯为含RGB三基色电流通道的调光灯,此时,分别改变其中一个通道的驱动电流值,可改变灯的光色。当从某个状态开始,三个通道电流同步增大或变小时,灯表现出颜色不变而亮度渐亮或渐暗。
作为优选,处理模块在已知的LED灯组调光范围内,以步进的方式改变LED灯组的出光。例如,将LED灯的各通道电流取值与所对应的在工作面上采集到的照度、色温以 及颜色合在一起建立一个变量的映射表,针对照度、色温以及颜色组成的照明向量空间, 在其取值区间中以分别仅改变其中一个变量如照度而保留其他变量如色温及颜色不变,逆 向查找所述映射表找到当前照明向量对应的LED灯各通道电流值,处理模块通过输出模 块的通信接口,将各通道电流的PWM波占空比以信号的形式发送给调光器。处理模块通 过不断改变照明向量空间的工作点,获取足够多的网络训练样本,其中在各光色变量的端 值区域采样点可以稀疏,而在中间区域如色温4500k,照度300lx~500lx附近的区域,采 样点要更为密集。所采集样本,保存在存储模块中。
迭代学习模块134通过连接切换器133分别从处理模块131获取训练样本对应的5个输出量实际值,从RBF神经网132络获取该训练样本对应的6个输入量经神经网络处 理后的5个映射值,根据该5个输出量实际值及5个映射值来调整神经网络结构参数以对 神经网络进行训练,并重复训练直至达到预设的训练次数或目标函数小于设定阈值。训练 完成后的网络结构参数保存在存储模块中。
控制单元进行处理所需要的预设值等参数通过用户接口单元中的按键来输入。经训练 的神经网络,基于其泛化能力,可以在人员进入新的学习环境后,对该环境光照条件下学 习者将有何种注意力进行预测和判断,并通过输出模块来显示或输出预判的结果。
作为优选,神经网络的输入量中,色温和颜色的xyz色坐标值可以只采用其中一项。
结合图6所示,作为优选,输出模块135包括一个用来指示当前学习者注意力集中程 度的显示条105。或者,输出模块可以采用显示屏1351并采用多个独立的显示条来分别显示注意力的各因素评价。
作为优选,输出模块135还包括一个通信接口1352,并通过该接口模块向外部输出所检测或预判的注意力的各因素值。
结合图1、图6所示,在线预测时,控制单元通过各传感、采集单元,实时采集光照信号并处理获得工作面的照度、色温、颜色的xyz色坐标值,将此5个参数,加之预设如 采样周期整数倍时间或通过用户接口单元输入的持续学习时间,同时输入到经训练的神经 网络,经过网络映射处理后获得眼睛开度、视线专注度度、心率等体征参数的注意力因素 预测值,这些注意力参数的预测值可以通过一个显示条轮流显示,或者在同一块显示屏上 同时显示。
作为优选,所述持续学习时间输入还可以动态变化,并且将该值变化后重新通过神经 网络映射后的注意力参数预测值,以随时间变化的曲线的形式显示。
通过输出模块的显示,学习者可以预知当前光照条件是否优越,并在有调光条件时, 可通过改变光照如调节电流来改变灯具亮度或色温,从而获得有助于提高注意力的光照环 境。
由于学习对象有难易之分,作为优选,可在用户接口单元中设置对当前学习难度进行 指示的按键,同时所述神经网络增加一个学习难度系数输入量,所述难度系数可以是1 至5之间的整数。
结合图6和图7所示,作为优选,用户接口单元在底板101上设置一个调光面板108,其中含有颜色粗调旋钮1081、颜色微调旋钮1082和亮度调节旋钮1083共三个旋钮,分 别用来进行LED灯的颜色粗调、颜色微调及亮暗调节。
其中,颜色粗调旋钮1081即档位调节旋钮分为6档,分别对应红、黄、绿、青、蓝、 品红,它们对应的RGB值分别为(255,0,0),(255,255,0),(0,255,0), (0,255,255),(0,0,255),(255,0,255)。建立类似HSV色彩空间的颜色圆周图, 将红、黄、绿、青、蓝、品红依次排列,每两种颜色间隔60°,正好组成一个圆。颜色 粗调旋钮1081和颜色微调旋钮1082共同决定了LED灯出光的RGB比例关系,而亮度调 节旋钮1083则决定了LED灯驱动电流的相对大小,即通过旋转亮度调节旋钮可以调节三 基色LED的亮暗。
由于仅采用6个颜色档位难以满足环境对光色的要求,因而通过颜色微调旋钮来实现 颜色的微调。所述颜色微调旋钮顺时针和逆时针双向可调,参照HSV色彩空间的颜色圆 周图,当微调旋钮顺时针旋转,LED灯颜色会慢慢接近颜色圆周图上顺时针方向的下一个颜色,反之接近逆时针方向的下一个颜色,微调旋钮在顺、逆时针方向均可以实现颜色圆周图上30°的颜色调节,这样从左往右第一、二旋钮共同作用就可以实现颜色圆周图 上360°的颜色调节。微调旋钮调节颜色时RGB分量值是逐渐变化的,例如当颜色粗调 旋钮1081即档位调节旋钮指向红色时,微调旋钮顺时针旋转,R、B值保持不变,G值 线性增加,这时候颜色逐渐往绿色分量增多的方向即黄色方向改变;反之,微调旋钮逆时 针旋转,R、G值保持不变,B值线性增加,这时候颜色逐渐往蓝色分量增多的方向即品 红色方向改变。
颜色设定好后,根据亮度设定值相对最大值的比例,将该比例值乘以RGB各通道分量,作为调各通道电流的依据。结合图1、所示,用户接口单元可以直接也可以通过控制 单元向灯组发出调光信号,改变灯组出光。
作为优选,所述三个旋钮可以各自分别控制LED灯RGB三通道中一个通道驱动电流的大小。
作为优选,当图像采集单元采用单目相机时,结合图8所示,可在底板表面设置多个 已知位置的标定块111,所述标定块各有一个圆形光点,同时在用户接口单元中设置一个 标定确认键,控制单元可通过这些标定块进行距离标定:轮流点亮所述标定块,学习者注 视被点亮的标定块,并在所述标定确认键被按下后通过图像采集单元采集学习者脸部图 像,基于所采集图像提取人眼视线方向,将提取结果与该标定块的位置进行对比从而对视 线方向检测参数进行标定。
当学习者因为情绪等原因引起注意力不集中时,所采集样本与正常情况下的样本将出 现较大偏差,虽然神经网络有较好的容错性,但这种样本太多时将足以影响网络的准确性。 为此,作为优选,在用户接口单元中设置一个取消采样按键,控制单元在检测到此按键被 按下后,暂停数据采样和样本记录。
为增加网络的适用性,作为优选,控制单元还可以增加一个实时时钟模块,神经网络 模块增加一个从实时时钟模块获取的季节参数作为输入。
作为优选,神经网络模块还可以增加一个从实时时钟模块获取的时段参数作为输入, 所述时段分别为上午、下午或晚上。
作为优选,控制单元还可以增加一个温湿度测量模块,神经网络模块增加从温湿度测 量模块获取的温度、湿度两个参数作为输入。
作为优选,控制单元还可以增加一个噪声测量模块,神经网络模块增加一个从噪声测 量模块获取的噪声水平参数作为输入。
作为优选,还可以通过输出模块来控制一个LED灯,当检测到人员注意力明显降低时,命令LED灯短暂闪烁,以提醒学习者集中注意力或停止学习。
应用本发明进行可变光环境下学习注意力的检测与预判,在采集到变化足够丰富的样 本后,由于光色变化域内的组合有无穷多种,可以采用本发明对各种现场环境中光照条件 下的注意力参数包括眼睛开度、视线专注度度等随累积学习时间的变化进行预测,从而为 潜在的高注意力光环境的切换提供依据。
以上所述的实施方式,并不构成对该技术方案保护范围的限定。任何在上述实施方式 的精神和原则之内所作的修改、等同替换和改进等,均应包含在该技术方案的保护范围之 内。
Claims (10)
1.一种工作区域设定单元,其特征在于,所述工作区域设定单元用来进行工作面区块的预设,其包括:用于支撑于支架上、位于中心的枢轴,活动连接于枢轴且呈对称分布的左、右、前、后共四块三角形调节板,
左、右两块调节板之间连接有第一调节轴,前、后两块调节板之间连接有第二调节轴,所述四块调节板的底边各设有一个矩形灯槽,所述矩形灯槽发出条形光斑,
外部控制单元通过所述第一调节轴、第二调节轴改变四块调节板相对水平面的倾角,以在工作面水平面上通过四条条形光斑围出一个矩形区域并将其作为预设工作面区块。
2.根据权利要求1所述的一种工作区域设定单元,其特征在于,所述第一调节轴、第二调节轴均采用两个驱动杆,所述两个驱动杆由电机驱动且做相反方向运动,所述两个驱动杆分别连接到相对而设的两个调节板的内侧,
所述驱动杆还可以通过一个连接于驱动杆外侧末端的弧形连杆来连接到调节板。
3.根据权利要求1所述的一种工作区域设定单元,其特征在于,所述矩形灯槽发出条形光斑,外部控制单元通过控制电机旋转来驱动所述第一调节轴、第二调节轴,来分别改变左右、前后两对调节板相对水平面的倾角,从而在工作面水平面上通过四条条形光斑围出一个矩形区域,作为预设工作面区块。
4.根据权利要求3所述的一种工作区域设定单元,其特征在于,其用于可变光环境下学习注意力检测与预判装置中进行所述工作面区块的预设,所述可变光环境下学习注意力检测与预判装置,又包括光色传感单元、图像采集单元、心率采集单元和控制单元;
所述光色传感单元采集工作面光照的照度、色温和颜色,所述图像采集单元采集学习者的面部及工作面区域的图像,所述心率采集单元采集学习者的心率,所述控制单元中的输出模块用来进行信号显示并将注意力因素值输出;
所述控制单元被配置为:
对光色传感单元采集的信号进行处理获取工作面照度、色温以及颜色的xyz色坐标值共5个光色参数,对图像采集单元采集的信号进行处理获取学习者的眼睛开度值、视线专注度值、视线移动速率,并通过读取心率采集单元的信号获取学习者的心率,
以工作面照度、色温、颜色的xyz色坐标值及持续学习时间共6个参数作为输入量,以用来表征注意力因素的学习者眼睛开度、视线专注度、心率共3个体征参数的注意力因素值作为输出量,建立人工神经网络,用训练样本对神经网络进行训练,
在线预测时,神经网络基于当前工作面照度、色温、颜色的xyz色坐标值及持续学习时间,对学习者的眼睛开度、视线专注度度、心率等体征参数的注意力因素值进行预测并向输出模块输出。
5.根据权利要求4所述的一种工作区域设定单元,其特征在于,所述视线专注度值为视线偏移距离并根据学习者视线与工作面交点即视点离开工作面区块的距离来表征,通过下述处理获得:
通过图像处理获取学习者视线,假设该视线为经过眼睛P0点的v向射线,在工作水平面G2中,四个所述长条形光斑在工作面上形成交点GA、GB、GC、GD,令预设工作面区块为以四个所述交点为角点的矩形区域G1,令工作平面的法向向量为u,世界坐标系为O-XYZ,则可计算视线与工作平面的交点P1的坐标,
其次,在G2平面中,根据工作面区块的四个角点将工作面区块范围外的区域划分出I~Ⅷ共八个区域;
然后,若视点P1不在工作面区块内,先判断其在哪个区域,再根据所在区域进一步计算视点与工作面区块的最短距离d;如果视点落在对角区域的Ⅱ、Ⅳ、Ⅵ、Ⅷ区域,则计算视点与相应角点的距离d;否则计算视点与相应角点在X方向或Y方向上的距离d;
以所述距离d作为视线偏移距离。
7.一种用于可变光环境下学习注意力检测与预判装置的工作区域设定单元,其特征在于,所述工作区域设定单元包括:用于支撑于支架上、位于中心的枢轴,活动连接于枢轴且呈对称分布的左、右、前、后共四块三角形调节板,
左、右两块调节板之间连接有第一调节轴,前、后两块调节板之间连接有第二调节轴,所述四块调节板的底边各设有一个矩形灯槽,所述矩形灯槽发出条形光斑,
外部控制单元通过所述第一调节轴、第二调节轴改变四块调节板相对水平面的倾角,以在工作面水平面上通过四条条形光斑围出一个矩形区域并将其作为预设工作面区块;
所述工作区域设定单元用于可变光环境下学习注意力检测与预判装置中进行工作面区块的预设,所述可变光环境下学习注意力检测与预判装置,又包括光色传感单元、图像采集单元、心率采集单元和控制单元,
所述光色传感单元采集工作面光照的照度、色温和颜色,所述图像采集单元采集学习者的面部及工作面区域的图像,所述心率采集单元采集学习者的心率,所述控制单元中的输出模块用来进行信号显示并将注意力因素值输出,
所述控制单元被配置为:
对光色传感单元采集的信号进行处理获取工作面照度、色温以及颜色的xyz色坐标值共5个光色参数,对图像采集单元采集的信号进行处理获取学习者的眼睛开度值、视线专注度值、视线移动速率,并通过读取心率采集单元的信号获取学习者的心率,
以工作面照度、色温、颜色的xyz色坐标值及持续学习时间共6个参数作为输入量,以用来表征注意力因素的学习者眼睛开度、视线专注度、心率共3个体征参数的注意力因素值作为输出量,建立人工神经网络,用训练样本对神经网络进行训练,
在线预测时,神经网络基于当前工作面照度、色温、颜色的xyz色坐标值及持续学习时间,对学习者的眼睛开度、视线专注度度、心率等体征参数的注意力因素值进行预测并向输出模块输出。
8.工作区域设定单元在学习注意力检测与预判装置中的用法,包括以下步骤:
S1、在工作区域设定单元中以枢轴为中心设置活动连接于该枢轴且呈对称分布的左、右、前、后共四块三角形调节板,在各调节板的底边各设一个矩形灯槽,所述矩形灯槽发出条形光斑,通过第一调节轴连接左、右两块调节板,通过第二调节轴连接前、后两块调节板,
通过所述枢轴将工作区域设定单元支撑于工作场景中人员正对面的支架上,
控制单元通过控制电机旋转来驱动所述第一调节轴、第二调节轴,来分别改变左右、前后两对调节板相对水平面的倾角,从而在工作面水平面上通过四条条形光斑围出一个矩形区域,作为预设工作面区块,
初始化,通过图像处理获取学习者视线,令该视线为经过眼睛P0点的v向射线;
S2、在工作水平面G2中,四个所述条形光斑在工作面上形成交点GA、GB、GC、GD,令预设工作面区块中以四个所述交点为角点的矩形区域为G1,令工作平面的法向向量为u,世界坐标系为O-XYZ,则可计算视线与工作平面的交点P1的坐标,
其次,在G2平面中,根据工作面区块的四个角点将工作面区块范围外的区域按逆时针方向划分出I~Ⅷ共八个区域;
然后,若视点P1不在工作面区块内,先判断其在哪个区域,再根据所在区域进一步计算视点与工作面区块的最短距离d;
如果视点落在对角区域的Ⅱ、Ⅳ、Ⅵ、Ⅷ区域,则计算视点与相应角点的距离d;否则计算视点与相应角点在X方向或Y方向上的距离d;
以所述距离d作为视线偏移距离并用其表征视线专注度值,以根据其大小来判断学习注意力的高低,且所述距离d的值越大表示学习注意力越低。
9.根据权利要求8所述的工作区域设定单元在学习注意力检测与预判装置中的用法,其特征在于,所述可变光环境下学习注意力检测与预判装置,包括光色传感单元、图像采集单元、心率采集单元和控制单元;
所述光色传感单元采集工作面光照的照度、色温和颜色,所述图像采集单元采集学习者的面部及工作面区域的图像,所述心率采集单元采集学习者的心率,所述控制单元中的输出模块用来进行信号显示并将注意力因素值输出;
所述控制单元被配置为:
对光色传感单元采集的信号进行处理获取工作面照度、色温以及颜色的xyz色坐标值共5个光色参数,对图像采集单元采集的信号进行处理获取学习者的眼睛开度值、视线专注度值、视线移动速率,并通过读取心率采集单元的信号获取学习者的心率,
以工作面照度、色温、颜色的xyz色坐标值及持续学习时间共6个参数作为输入量,以用来表征注意力因素的学习者眼睛开度、视线专注度、心率共3个体征参数的注意力因素值作为输出量,建立人工神经网络,用训练样本对神经网络进行训练,
在线预测时,神经网络基于当前工作面照度、色温、颜色的xyz色坐标值及持续学习时间,对学习者的眼睛开度、视线专注度度、心率等体征参数的注意力因素值进行预测并向输出模块输出。
10.根据权利要求9所述的工作区域设定单元在学习注意力检测与预判装置中的用法,其特征在于,
所述用来表征注意力因素的的3个体征参数的注意力因素值分别按如下方式处理获得:
第一,对于眼睛开度序列de,先通过下式进行窗口平均滤波,获得当前时刻的眼睛开度e,
再通过间隔移动窗口,获得眼睛开度的下采样序列Xe,
Xe={e(0),e(Ts),e(2Ts),...},
其中,L为窗口宽度,Ts为下采样间隔,a、b均为拟合系数,E1、E2为眼睛开度的两个阈值,且对于归一化的眼睛开度值序列,E1、E2在0~1之间取值;
分别根据眼睛开度e、开度变化时间tu,计算眼睛开度第一、第二体征值,
其中,be、ce为根据统计所获得的、覆盖了正常状态下设定比例的眼睛开度值的区间的下限值与上限值,ae、de则分别为另两个预设下限值与上限值;btu为正常状态下当前持续学习时间范围内覆盖了设定比例的眼睛开度变化时间的上限值,atu为设定的下限值;
计算眼睛开度的注意力因素值为,
ke=ke1·ke2;
第二,检测学习者视线与工作面的交点,若所述交点落在预设工作面区块范围之外,计算所述交点到工作面区块的最短距离并记录其对应的视点连续超出预设范围的时间长度,对于所述距离序列dd,先通过窗口平均滤波获得当前视线偏移距离d,同时计算对应窗口时间范围内视点连续超出预设范围的最大时间长度td,
分别根据所述距离d、时间长度td,计算视线专注度的第一、第二体征值,
其中,a、b为拟合系数,Td是正常状态下当前持续学习时间范围内覆盖了设定比例的、视点连续超出预设范围的最大时间长度,σ是一个预设的时间宽度值;
计算视线专注度的注意力因素值为,
kd=kd1·kd2;
第三,对于心率数据序列,根据正常状态下心率期望值设定一个上下波动区间,统计以当前时间为中心的一预设时间长度内、数据波动超出所述波动区间范围的的次数N,以及所述预设时间长度内心率在所述区间范围内的样本个数占比Rb,
N=N++N-,
其中,N+为跨出所述区间的次数,N-则是跨入所述区间的次数;
分别根据所述次数N、占比Rb,计算心率的第一、第二体征值,
其中,TN是正常状态下当前持续学习时间范围内覆盖了设定比例的、心率超出波动区间范围的最大次数,σN是一个预设的宽度值,aRb、bRb则是根据统计设定的两个比例阈值;
计算心率的注意力因素值为,
kb=kb1·kb2。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011437396.8A CN112949372A (zh) | 2019-04-02 | 2019-04-02 | 工作区域设定单元及其在学习注意力检测与预判中的用法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910263070.9A CN109949193B (zh) | 2019-04-02 | 2019-04-02 | 可变光环境下学习注意力检测与预判装置 |
CN202011437396.8A CN112949372A (zh) | 2019-04-02 | 2019-04-02 | 工作区域设定单元及其在学习注意力检测与预判中的用法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910263070.9A Division CN109949193B (zh) | 2019-04-02 | 2019-04-02 | 可变光环境下学习注意力检测与预判装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112949372A true CN112949372A (zh) | 2021-06-11 |
Family
ID=67012507
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011437459.XA Withdrawn CN112464863A (zh) | 2019-04-02 | 2019-04-02 | 可变光环境下学习注意力检测与预判装置 |
CN202011437412.3A Withdrawn CN112949373A (zh) | 2019-04-02 | 2019-04-02 | 可变光环境下学习注意力检测与预判方法 |
CN201910263070.9A Active CN109949193B (zh) | 2019-04-02 | 2019-04-02 | 可变光环境下学习注意力检测与预判装置 |
CN202011434362.3A Withdrawn CN112651303A (zh) | 2019-04-02 | 2019-04-02 | 学习注意力检测与预判系统 |
CN202011437396.8A Withdrawn CN112949372A (zh) | 2019-04-02 | 2019-04-02 | 工作区域设定单元及其在学习注意力检测与预判中的用法 |
Family Applications Before (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011437459.XA Withdrawn CN112464863A (zh) | 2019-04-02 | 2019-04-02 | 可变光环境下学习注意力检测与预判装置 |
CN202011437412.3A Withdrawn CN112949373A (zh) | 2019-04-02 | 2019-04-02 | 可变光环境下学习注意力检测与预判方法 |
CN201910263070.9A Active CN109949193B (zh) | 2019-04-02 | 2019-04-02 | 可变光环境下学习注意力检测与预判装置 |
CN202011434362.3A Withdrawn CN112651303A (zh) | 2019-04-02 | 2019-04-02 | 学习注意力检测与预判系统 |
Country Status (1)
Country | Link |
---|---|
CN (5) | CN112464863A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113705349A (zh) * | 2021-07-26 | 2021-11-26 | 电子科技大学 | 一种基于视线估计神经网络的注意力量化分析方法及系统 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110458030A (zh) * | 2019-07-15 | 2019-11-15 | 南京青隐信息科技有限公司 | 一种新风书架的深度自学习调整使用者注意力的方法 |
CN110415653B (zh) * | 2019-07-18 | 2022-01-18 | 昆山龙腾光电股份有限公司 | 背光亮度调节系统及调节方法和液晶显示装置 |
CN110516553A (zh) | 2019-07-31 | 2019-11-29 | 北京航空航天大学 | 工作状态的监测方法和装置 |
CN110309626B (zh) * | 2019-08-09 | 2024-03-15 | 浙江派威数字技术有限公司 | 光舒适性评判数据采集设备及光舒适性评判系统 |
CN110728724A (zh) * | 2019-10-21 | 2020-01-24 | 深圳创维-Rgb电子有限公司 | 一种图像显示方法、装置、终端及存储介质 |
CN110684547A (zh) * | 2019-10-22 | 2020-01-14 | 中国计量大学 | 一种生物质热解炭化窑优化控制方法 |
CN112989865B (zh) * | 2019-12-02 | 2023-05-30 | 山东浪潮科学研究院有限公司 | 一种基于人头姿态判断的人群注意力焦点判断方法 |
CN111881830A (zh) * | 2020-07-28 | 2020-11-03 | 安徽爱学堂教育科技有限公司 | 一种基于注意力集中度检测的交互提示方法 |
CN113723277B (zh) * | 2021-08-27 | 2024-02-27 | 华中师范大学 | 一种融入多模态视觉信息的学习意图监测方法及系统 |
CN117915525A (zh) * | 2024-01-04 | 2024-04-19 | 旭宇光电(深圳)股份有限公司 | 一种自习室健康智能照明方法及系统 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101658425B (zh) * | 2009-09-11 | 2011-06-01 | 西安电子科技大学 | 基于心率变异分析的注意力集中程度的检测装置及方法 |
CN101917801A (zh) * | 2010-07-30 | 2010-12-15 | 中山大学 | 一种光调节方法、装置及智能台灯 |
US8847771B2 (en) * | 2013-01-25 | 2014-09-30 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method and apparatus for early detection of dynamic attentive states for providing an inattentive warning |
SG11201705457UA (en) * | 2015-01-20 | 2017-08-30 | Balmuda Inc | Illumination device |
JP6695021B2 (ja) * | 2015-11-27 | 2020-05-20 | パナソニックIpマネジメント株式会社 | 照明装置 |
CN105953125B (zh) * | 2016-06-08 | 2018-10-12 | 杭州鸿雁电器有限公司 | 自追踪式台灯以及通过自追踪方式提供照明的方法 |
CN106195656B (zh) * | 2016-07-13 | 2019-01-04 | 河海大学常州校区 | 根据人眼状态调节色温和亮度的手术无影灯 |
CN206481478U (zh) * | 2017-02-24 | 2017-09-08 | 合肥本山电子科技有限公司 | 一种具有调色调光功能的led护眼灯 |
CN109492514A (zh) * | 2018-08-28 | 2019-03-19 | 初速度(苏州)科技有限公司 | 一种单相机采集人眼视线方向的方法及系统 |
CN109522815B (zh) * | 2018-10-26 | 2021-01-15 | 深圳博为教育科技有限公司 | 一种专注度评估方法、装置及电子设备 |
-
2019
- 2019-04-02 CN CN202011437459.XA patent/CN112464863A/zh not_active Withdrawn
- 2019-04-02 CN CN202011437412.3A patent/CN112949373A/zh not_active Withdrawn
- 2019-04-02 CN CN201910263070.9A patent/CN109949193B/zh active Active
- 2019-04-02 CN CN202011434362.3A patent/CN112651303A/zh not_active Withdrawn
- 2019-04-02 CN CN202011437396.8A patent/CN112949372A/zh not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113705349A (zh) * | 2021-07-26 | 2021-11-26 | 电子科技大学 | 一种基于视线估计神经网络的注意力量化分析方法及系统 |
CN113705349B (zh) * | 2021-07-26 | 2023-06-06 | 电子科技大学 | 一种基于视线估计神经网络的注意力量化分析方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112651303A (zh) | 2021-04-13 |
CN109949193B (zh) | 2020-12-25 |
CN112949373A (zh) | 2021-06-11 |
CN109949193A (zh) | 2019-06-28 |
CN112464863A (zh) | 2021-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109949193B (zh) | 可变光环境下学习注意力检测与预判装置 | |
CN109905943B (zh) | 基于注意力因素的照明控制装置 | |
US8967809B2 (en) | Methods and systems for intelligent visual function assessments | |
CN112533319B (zh) | 场景式教室智能照明控制装置 | |
CN109890105B (zh) | 开放式办公室照明系统和控制方法 | |
CN104296967B (zh) | 不同光环境下对非彩色目标物的视觉功效的测算方法及其系统 | |
CN105868570A (zh) | 不同光环境下对目标物的视觉功效的测算方法 | |
CN110163371B (zh) | 入睡环境调光优化方法 | |
CN110960036A (zh) | 具有美肤美妆指导功能的智能镜系统及方法 | |
CN110113843B (zh) | 基于入睡效率因素的照明控制系统 | |
CN110324937A (zh) | 模拟天然光变化趋势的健康照明方法及智能控制系统 | |
CN209029110U (zh) | 中医面诊健康管理系统 | |
CN110062498A (zh) | 基于分区可控吸顶灯的公共宿舍混合照明系统、方法及优化方法 | |
WO2012154279A1 (en) | Methods and systems for intelligent visual function assessments | |
CN108154866A (zh) | 一种亮度实时调整显示屏系统及其亮度实时调节方法 | |
CN108498064A (zh) | 数字化亮点闪烁检测系统 | |
CN104739367A (zh) | 一种双目瞳孔对光综合检测系统 | |
CN109168222B (zh) | 提高学习工作效率的照明方法及智能照明控制系统 | |
CN210810960U (zh) | 一种智能筛查斜视及屈光度的诊断装置 | |
CN118591064A (zh) | 一种基于大数据的智慧照明调节系统及方法 | |
CN117373075B (zh) | 基于眼部特征点和眼部区域分割结果的情感识别数据集 | |
CN208938661U (zh) | 中医面诊系统 | |
Rea | Some basic concepts and field applications for lighting, color, and vision | |
CN115272645A (zh) | 多模态数据采集设备及训练中枢疲劳检测模型的方法 | |
CN117528876A (zh) | 一种智能家居光电设备控制方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210611 |