CN114138103A - 一种智能护眼设备或软件 - Google Patents

Abstract

本发明公开了一种智能护眼设备或软件，其通过实时图像检测对使用者遵守护眼规则的情况进行评分，把每项得分以及总分记录进日志之中，如果总分或某些规则得分过低并持续一段时间，就实时提示使用者纠正相应的行为。本发明把日志和图像压缩得到的视频通过时间关联起来提供给使用者和家长回看和检索，统计各项护眼规则的得分情况，从而总结出使用者用眼习惯中好的方面和需要纠正的问题。本发明支持通过收集使用者对检测结果是否精确做出评价来提高检测模型的准确度。本发明还可以集成其他和护眼有关的工具来帮助使用者即青少年学生保护视力。

Description

一种智能护眼设备或软件

所属技术领域

本发明涉及智能图像检测和识别技术，具体涉及一种通过图像检测来判断使用者的用眼行为是否健康并且对使用者进行提醒的技术，同时涉及到按照检测的结果对视频内容进行统计和检索的技术。

背景技术

有调查显示，2018年中国儿童青少年总体近视率超过50％。近视的原因有很多，其中坐姿不正，做不到“一尺一寸一拳头”；照明灯光不合适；沉迷于手机，PAD等电子设备这几项是可以预防的。

现有的护眼方案有：使用照明均匀，即时间上无闪烁，空间上无亮度差的护眼灯，有的护眼灯还在光线变暗时自动开灯；在手机和PAD中配备根据环境光调节屏幕亮度的功能。这些护眼方案改善了用眼的外部条件，但是如果使用者自身没有注意用眼卫生，上述方案的护眼作用就会大打折扣。如果使用者自己写字的手把灯光挡住了，或者习惯于歪着头写字，眼睛的视力肯定受到影响。使用者保持正确用眼习惯是护眼的内部因素，但是使用者自己难于坚持，家长难于时时刻刻监督。因此使用智能设备或软件来监督和提醒使用者保持健康的用眼习惯成为一种有效的和必要的解决方案。

目前人脸检测的技术主要用于支持刷脸支付，刷脸门禁这样的应用，人脸检测技术能把人脸的各个要素，例如左眼，右眼，鼻子，嘴巴，用几个特征点勾勒出来，例如眼睛用特征点内眼角，外眼角，上眼皮，下眼皮，眼珠勾勒出来。人脸检测识别技术的发展给使用图像检测判断用眼习惯健康与否提供了的借鉴。

发明内容

现有的护眼方案无法全面地检测使用者和周围环境是否健康护眼，家长无法不间断地监督使用者是否健康地用眼，为了克服上述困难，本发明提供了一种智能检测使用者是否遵守护眼规则的设备或软件。

该护眼设备或软件通过摄像头拍摄的图像实时地检测使用者读书写字或者使用手机PAD时是否遵守护眼规则，并提醒用眼不当的情况。智能设备或者软件节约了家长时间和精力，避免因为用眼不规范打断使用者学习。从使用者的角度而言，设备或者软件给出的提示更客观，更容易接受，也避免了对家长的抵触情绪。

该护眼设备或软件把每一幅图像的检测结果记录在日志里，家长和使用者在学习之余，回看或者检索用检测结果作为字幕和检索条件的视频，巩固对保护视力有利的行为，纠正损害视力的行为。也可以直接查看检测结果的图表和统计信息，快捷地了解使用者的用眼习惯。

该护眼设备或软件还集成一些辅助功能进一步地保护视力，例如提高效率，缩短学习时间的教学辅导功能，控制照明设备的亮度色温的功能。

本发明解决其技术问题所采用的技术方案是：首先通过对健康用眼姿势和环境的分析，从图像检测的角度归纳出一组护眼规则来定义健康用眼模型，这组规则包含但不限于以下内容：

·出现规则：两眼同时出现不被遮挡；读书写字时，双臂同时出现在桌面上，书写手的虎口应该出现，书本出现在双眼正下方；

·不应出现规则：读书写字时，手机，PAD不应该出现在手中；

·距离规则：双眼距离观看目标(读书写字是书本文具，上网课时是手机电脑或PAD)都在30厘米以上，距离差小于5厘米；

·亮度色温规则：观看目标的亮度适中，色温适当，观看目标和环境亮度差别适当。

然后，从三个方面督促使用者遵守护眼规则，养成良好用眼习惯：

一、实时检测和提示

对使用者是否遵守护眼规则进行实时检测和提示是最主要的任务。实时图像检测分成下面步骤：

0.拍摄

应该保证摄像头不被遮挡，并拍摄到有意义的图像。如果使用者右手(左手)握笔，摄像头和照明设备应该放在使用者左(右)前方。

1.选取图像

摄像头每秒拍摄20帧以上的图像，由于读书写字，姿势变化不会特别迅速，因此从拍摄到的图像中抽取一部分图像进行图像检测和评分即可。

2.获取拍摄参数

摄像头拍摄时使用的镜头参数，以及摄像头中集成的ISP(图像信号处理)的参数需要做为拍摄参数保存起来。一部分拍摄参数会影响图像的亮度和颜色，进而影响图像检测对亮度和颜色的判断，同时这些参数也反应了当时的光照条件。

3.人工智能评分

使用人工智能的方法得到每一项护眼规则的得分，以及总分。

对于每一条护眼规则在实时检测之前，使用遵守规则和不遵守规则的图像(附加拍摄参数)训练出能够判断图像是否遵守规则以及符合程度高低的人工智能模型。

在实时检测的时候，把图像(附加拍摄参数)作为模型的输入，在模型的输出端得到对应规则的得分。各项护眼规则的得分加权平均得到总分，也可以直接使用人工智能模型产生总分。

4.要素分析评分

评判用眼行为，需要分析的要素包括但不限于双眼，双颊，下巴，双肩，双臂，双手，书本，笔，手机，PAD，书桌。通过图像检测识别出的各个要素的情况，也就是要素的特征点在图像中的坐标以及亮度颜色，然后检查这些要素的情况是否符合护眼规则从而得到评分。

当遇到和距离有关的规则时，需参考位置固定的要素将相关要素在图像的坐标映射成在现实空间中的位置。读书写字时书桌作为参考；使用手机PAD时直接以手机或PAD作为参考。

5.日志提示信息生成

对于每一幅图像，其得分和其他检测结果按照时间记录在日志之中。

如果某一项规则的得分或总分低于门限并且保持一段时间则产生提示信息触发实时提示功能。考虑持续时间以免误判。

6.压缩和保存视频

为了支持检索和回放功能，图像应该同步的压缩成视频并且保存。

二、离线检索和反馈：

该护眼设备或软件在进行实时检测的同时，把拍摄到的图像压缩成视频保存，同时把每一次的检测结果按照时间记录在日志之中，日志和视频之间根据时间对应。

首先，在回放实时拍摄的视频时，得分情况作为字幕显示，如果有特征点的信息也直接标在视频上，这样使用者和家长就能直观看到检测结果和自身用眼情况之间的关系。使用者和家长还可以对检测的结果是否准确做出评价，这些评价信息用于进一步训练人工智能模型，提高人工智能模型的准确度。

其次，以时间为X轴，以得分为Y轴画出每一规则得分曲线，供使用者查看。这样使用者遵守护眼规则情况就一目了然了。这些曲线直观地描述了使用者那些方面最需要改进，那些方面值得表扬。

家长和使用者还可以快速回看某些关注度高的规则。比如检索“看手机”，所有和看手机有关的片段都能挑选出来回放。

三、辅助功能：

本发明还支持集成其他保护视力的功能：

·使用传感器得到的环境光照条件结合图像检测得到的光照条件的调节照明设备的亮度和色温；

·通过网络和家长互动；

·访问教学辅导APP或者网站；

·定时休息，提示日程安排；

·播放眼保健操。

本发明的有益效果是，根据护眼规则实时地全面地通过拍摄到的图像检测使用者用眼是否健康，提高学习效率的同时保护了视力，节约了家长的时间；根据护眼规则离线的回看视频和统计日志里的得分情况，帮助使用者和家长客观地了解使用者用眼的情况，督促使用者保持良好的用眼习惯；在硬件不变的情况下通过软件升级，提高检测的准确度，提供更多的检测项目和其他辅助功能。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明的功能框图。

图2是图1中实时检测模块103的详细框图。

图3是图1中日志信息107的数据结构图。

图4是实施例1智能护眼台灯的结构示意图。

图5是实施例2智能护眼软件的用户界面的示意图。

图6是实施例3网课软件中使用护眼功能的用户界面的示意图。

具体实施方式

实施例1：参见图1～图4，本实施例提供的一种智能护眼设备即智能护眼台灯的实施方案，其实施了图1中的全部功能模块，首先由摄像头(101)连续拍摄图像(102)，由实时图像检测模块(103)进行分析和检测。然后把提示信息(104)通知提示模块(105)进行提示；压缩的视频(106)和日志(107)传到离线检索反馈模块(108)进行分析和统计；拍摄参数(109)送往辅助功能模块(110)。离线检索反馈模块(108)具有保存视频和日志，支持回看，按护眼规则检索和统计等功能，该模块把视频和日志(111)提供给用户(112)，还从用户(112)收集反馈信息(113)，经过智能学习产生更加优化的模型或其他参数(114)改善实时图像检测模块(103)的精度和准确度。

实时图像检测模块(103)的详细实施步骤如图2所示：首先选取图像子模块(201)从全部拍摄到的图像中抽取一部分图像处理，然后获取拍摄参数子模块(202)得到拍摄参数(109)，附加拍摄参数的图像使用人工智能评分子模块(203)或者要素分析评分子模块(204)进行评分。得分信息和其他检测结果，在日志提示信息生成子模块(205)中生成和当前图像对应的日志信息(107)，如果有的护眼规则得分过低或者总分过低，并保持一段时间，则产生提示信息(104)。图像本身也由视频压缩模块子模块(206)生成视频(106)。

日志信息(107)参照图3中的树形结构组织，日期(301)作为树根，时间(302)和(303)作为第一级分支。每个时间又分出三个分支，例如从时间(302)中分出：总分(304)，规则集合(305)，要素集合(306)。其中总分(304)是有具体取值“90分”的叶子节点；而规则集合(305)继续分出了：双眼距离目标一尺(307)，双眼等距(308)，不看手机(309)等有取值的叶子节点。要素集合(306)继续分出了左眼(310)，右眼(311)，手机(312)等节点，这些要素有的继续分支出对应的特征点；有的要素没有出现就成为叶子节点，比如手机(312)。其他时间如(303)也按同样的方式组织。实现中日志用表格或JSON的格式保存。

图4是智能护眼台灯的结构示意图，台灯的部分灯柱的略微加宽，摄像头(101)位于加宽部分的顶端，用于语音交互功能的麦克风(405)在摄像头(101)旁边。提示模块(105)的功能由台灯灯罩边缘的正常提示灯(401)，警告提示灯(402)，以及位于台灯柱子部位的显示屏(403)，以及扬声器(404)组成。扬声器(404)用于播放录音提醒严重的违规行为。

实施例2，参考图1～图3，图5，本实施例提供的一种智能护眼软件，其充分利用手机或PAD的硬件资源完成护眼功能。首先使用手机或PAD的摄像头(101)拍摄图像，然后通过实时图像检测(103)，把检测时得到的提示信息(104)在手机的屏幕(501)上显示，屏幕顶部区域(502)用于显示总分，并且用绿黄红颜色的过渡表现总分的从高到低的变化。用眼正常的情况下，屏幕的中下部(503)不显示信息，当动作有害健康时，屏幕的中下部(503)用动画或者图像提示具体违反了那些规则，当问题特别严重时通过扬声器(504)播放语音提醒。可以利用手机或PAD的蓝牙或者WIFI传递照明控制信息(115)控制关联的照明设备(116)。

当处于离线状态时，启动离线检索反馈模块(108)，检索智能护眼规则的视频和日志(111)，通过和用户(112)交互得到反馈信息(113)用于人工智能模型的训练。

实施例3，参考图1～图3，图6，本实施例提供一种智能护眼软件，其作为网课应用软件(APP)的一个组成部分监测上网课的同学有没有趴在桌子上，有没有歪着头，以及其他有害视力的行为。网课APP主窗口(601)占据屏幕的绝大部分，智能护眼功能在屏幕的右上角(602)提示上课的学生用眼是否健康，得分情况怎样；如果出现严重的用眼问题，用弹出窗口(603)提示使用者改正。

Claims (7)

1.一种护眼设备或软件，其特征在于通过摄像头拍摄到的二维或者三维图像使用人工智能或要素分析的方法来实时检测使用者是否遵守护眼规则并进行评分，当得分持续低于门限时提醒使用者纠正；同时，把得分情况记录进日志之中，把图像压缩成的视频，利用分析日志和回看视频来分析和统计出使用者用眼时表现好的方面和需要改进的问题，帮助使用者形成良好的用眼习惯。

2.根据权利要求1中所述的护眼设备或软件，其特征在于，用一组护眼规则描述如何健康用眼，这些规则包括但不限于以下项目：使用者两眼同时出现，读书写字时，双臂同时出现在桌面上，书写手的虎口出现，书本在双眼正下方；读书写字时，手机，PAD不出现在手中；双眼距离观看目标(读书写字是书本文具，上网课时是手机电脑或PAD)30厘米以上，双眼距离观看目标距离相等；使用者正在观看的目标的亮度适中，色温适当，观看目标和周围环境亮度差别适当。

3.根据权利要求1中所述的护眼设备或软件，其特征在于，使用人工智能的方法进行图像检测并进行评分，为每一条护眼规则，使用遵守规则的图像和不遵守规则的图像训练出能够判断图像是否遵守规则，遵守程度高低的模型；然后把摄像头实时拍摄到图像作为模型的输入在模型的输出端得到对应规则的得分，并计算加权总分或直接用模型评估总分。

4.根据权利要求1中所述的护眼设备或软件，其特征在于，使用要素分析的方法评分，在图像检测时搜索以下要素的特征点：双眼，双颊，下巴，双肩，双臂，双手，手机，PAD，并且基于参照物把有关要素在图像中的坐标映射成实际空间中的位置；然后把这些要素的信息(图像中的坐标，现实空间中的位置，亮度，色度)作为用眼规则检测和评分的输入，得出各项规则的得分，并计算加权总分。

5.根据权利要求1中所述的护眼设备或软件，其特征在于，进行图像检测时按照检测项目参考图像的拍摄条件中有关的参数，拍摄条件包括但不限于：镜头的参数和图像信号处理(ISP)的参数。

6.根据权利要求1中所述的护眼设备或软件，其特征在于，权利要求1中所述的日志和视频按照时间关联在一起，使用者可以查看各项护眼规则的得分情况，违反护眼规则的次数和程度，持续的时间，巩固对保护视力有利的行为，纠正损害视力的行为。

7.根据权利要求1中所述的护眼设备或软件，其特征在于，通过回看权利要求1中所述的日志和视频，使用者可以对检测结果的正确性给出评价，智能算法依据这些评价，修改参数或者优化模型从而达到提高准确度的目的。

Images