CN110213568A - 一种基于增强现实与数据分析的护眼系统 - Google Patents

一种基于增强现实与数据分析的护眼系统 Download PDF

Info

Publication number
CN110213568A
CN110213568A CN201910304941.7A CN201910304941A CN110213568A CN 110213568 A CN110213568 A CN 110213568A CN 201910304941 A CN201910304941 A CN 201910304941A CN 110213568 A CN110213568 A CN 110213568A
Authority
CN
China
Prior art keywords
module
eye
user
augmented reality
eyes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910304941.7A
Other languages
English (en)
Inventor
孔唯洁
李泺秋
杨怿恒
孟濬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910304941.7A priority Critical patent/CN110213568A/zh
Publication of CN110213568A publication Critical patent/CN110213568A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种面向手机使用人群的护眼系统，该系统主要包括增强现实护眼功能和数据统计和反馈功能。所述增强现实护眼功能包括路径设定模块、增强现实投影模块、眼球追踪模块，在当前位置规划指定距离路径，并使用增强现实投影技术投影模型引导用户转眼放松，并使用眼球追踪技术对用户行为进行实时监测和反馈；以及通过数据统计和反馈功能设定较合理的手机使用指标，根据指标完成程度对用户发送提醒，并随用户使用保持指标的更新。该方法利用多种综合性技术实现了一款手机护眼系统，实现了趣味护眼功能和数据反馈提醒功能，有利于帮助用户减少由于用眼不当带来的视力下降，以及培养良好的用眼习惯。

Description

一种基于增强现实与数据分析的护眼系统
技术领域
本发明涉及护眼领域，尤其涉及一种基于增强现实与数据分析的护眼系统，应用目的在于帮助手机用户舒缓用眼疲劳和养成良好用眼习惯。
背景技术
进入21世纪，近视已成为更普遍的视力问题，而通过眼镜、隐形眼镜、激光手术等手段，会使人们容易忽视近视带来的视觉困扰。学生近视率令人堪忧。目前全国佩戴眼镜的青少年有两亿人，中国有6亿近视患者，青少年近视率居世界第一。
使用电子产品是导致青少年近视的主要因素。近视人群比例的上升、近视的逐渐低龄化与手机，平板等电子产品的应用与普及密不可分。电子产品对视力危害巨大，但市面上的护眼软件少且效果甚微。如果没有良好的护眼产品的引导，青少年的视力状况将无法得到改善。
为了辅助青少年在使用移动设备时培养良好的用眼习惯，需要提供一款科学有效的软件服务。
发明内容
本发明目的在于针对现有技术的不足，提供一种面向手机使用人群的护眼系统，利用增强现实技术和眼球追踪算法，以及聚类分析等统计学方法，实现了趣味护眼功能和数据反馈提醒，有利于用户减少由于用眼不当带来的视力下降，帮助用户培养好的用眼习惯。
为了实现上述目的，具体技术方案如下：一种基于增强现实与数据分析的护眼系统，包括增强现实护眼功能和数据统计和反馈功能。所述增强现实护眼功能包括路径设定模块、增强现实投影模块、眼球追踪模块、提示控制模块，数据统计和反馈功能包括用眼数据统计与分析模块、用眼数据可视化模块以及定时提醒模块。路径设定模块根据用户当前位置进行运动路径规划，增强现实投影模块提供模型显示支持，眼球追踪模块提供用户眼球运动检测，提示控制模块提供用户眼球运动指导；应用开启期间由用眼数据统计与分析模块收集手机使用数据并加以分析，再通过用眼数据可视化模块可视化呈现，根据分析得到的使用频率与时长特征通过定时提醒模块设定每日手机使用目标并定时提醒。
进一步地，所述的路径设定模块包含定位系统，通过定位系统确定用户当前位置后，随机选取固定距离的位置作为目标位置，使用路径规划算法在目的位置规划路径。
进一步地，所述的AR投影模块，在通过所述路径设定模块完成路径设定后，用AR投影方式将路径标志显示在屏幕上，引导用户靠近；同时在目标位置设定动物模型投影，在用户位置距离动物模型投影为0.5m～2m时，动物模型投影开始眼球转动运动，引导用户模仿进行运动。
进一步地，所述的眼球追踪模块，在通过所述AR投影模块进行模仿动物模型投影运动的同时利用前置摄像头实时检测用户眼球的运动；使用基于OpenCV库的眼球追踪算法进行脸部识别、瞳孔识别，进而记录瞳孔运动坐标进行运动估计。
进一步地，所述的提示控制模块，在通过所述眼球追踪模块检测眼球运动是否与动物模型投影眼球运动一致时，能够对不规范动作加以指导和提示，提示以横幅消息或者震动方式反馈给用户。
进一步地，所述的用眼数据统计模块，应用启动后统计手机开屏时间，并记录每日开屏时间总长以及开屏次数。
进一步地，所述的用眼数据可视化模块，在通过用眼数据统计模块收集用眼数据后将其以折线图等图表的形式显示在应用内。
进一步地，所述的定时提醒模块，通过用眼数据统计模块收集的用眼数据通过k-means聚类分析得出用户用眼的集中时段，以及根据用眼的日常平均时间针对性地设置每日用眼目标。用户可以在应用内修改或取消这一目标，在当日手机使用时长到达阶段性时长时，以应用外消息和震动的形式发出护眼提醒，告知用户注意使用频率并引导护眼。所述阶段性时长也可由用户根据用眼目标自行设定。
所述AR投影模块(2)基于苹果公司开发的ARKit工具包，通过后置摄像取景后与虚拟模型结合在屏幕显示，进行转眼动作指导；
所述眼球追踪监测模块(3)主要基于一个已发表的开源算法“基于梯度的眼球中心识别”，相关代码在github托管。
所述聚类分析方法(7)属于机器学习方法，用于将用眼数据和频率进行归并，找出使用手机最频繁的时间段和日期。
与现有技术相比，本发明的有益效果为：
本发明利用AR和眼球识别技术，以及机器学习等技术，为使用手机的用户提供护眼指导和用眼时长监督，实现了护眼功能和数据反馈提醒功能，可以在有效护眼的同时兼具趣味性和科学性，培养用户良好的用眼习惯，有利于帮助用户减少由于用眼不当带来的视力下降。
附图说明
图1为本发明实施例的护眼系统的功能架构示意图；
图2为本发明实施例的AR护眼部分的工作流程示意图；
图3为AR护眼部分的使用效果图；
图4为本发明实施例的数据统计和反馈部分的工作流程示意图；
具体实施方式
下面结合附图和实施例对本发明作进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
以下结合附图对本发明具体实施方式作进一步详细说明。
本发明提供的一种基于增强现实与数据分析的护眼系统，包括增强现实护眼功能1和数据统计和反馈功能2。所述增强现实护眼功能1包括路径设定模块101、增强现实投影模块102、眼球追踪模块103、提示控制模块104，数据统计和反馈功能2包括用眼数据统计与分析模块201、用眼数据可视化模块202以及定时提醒模块203。路径设定模块101根据用户当前位置进行运动路径规划，增强现实投影模块102提供模型显示支持，眼球追踪模块103提供用户眼球运动检测，提示控制模块104提供用户眼球运动指导；应用开启期间由用眼数据统计与分析模块201收集手机使用数据并加以分析，再通过用眼数据可视化模块202可视化呈现，根据分析得到的使用频率与时长特征通过定时提醒模块203设定每日手机使用目标并定时提醒。
进一步地，所述的路径设定模块101包含定位系统，通过定位系统确定用户当前位置后，随机选取固定距离的位置作为目标位置，使用路径规划算法在目的位置规划路径。
进一步地，所述的AR投影模块102，在通过所述路径设定模块101完成路径设定后，用AR投影方式将路径标志显示在屏幕上，引导用户靠近；同时在目标位置设定动物模型投影，在用户位置距离动物模型投影为0.5m～2m时，动物模型投影开始眼球转动运动，引导用户模仿进行运动。
进一步地，所述的眼球追踪模块103，在通过所述AR投影模块102进行模仿动物模型投影运动的同时利用前置摄像头实时检测用户眼球的运动；使用基于OpenCV库的眼球追踪算法进行脸部识别、瞳孔识别，进而记录瞳孔运动坐标进行运动估计。
进一步地，所述的提示控制模块104，在通过所述眼球追踪模块103检测眼球运动是否与动物模型投影眼球运动一致时，能够对不规范动作加以指导和提示，提示以横幅消息或者震动方式反馈给用户。
进一步地，所述的用眼数据统计模块201，应用启动后统计手机开屏时间，并记录每日开屏时间总长以及开屏次数。
进一步地，所述的用眼数据可视化模块202，在通过用眼数据统计模块201收集用眼数据后将其以折线图等图表的形式显示在应用内。
进一步地，所述的定时提醒模块203，通过用眼数据统计模块201收集的用眼数据通过k-means聚类分析得出用户用眼的集中时段，以及根据用眼的日常平均时间针对性地设置每日用眼目标。用户可以在应用内修改或取消这一目标，在当日手机使用时长到达阶段性时长时，以应用外消息和震动的形式发出护眼提醒，告知用户注意使用频率并引导护眼。所述阶段性时长也可由用户根据用眼目标自行设定。
如图1所示，本发明实施例的护眼系统主要包括AR护眼功能和数据统计和反馈功能：
AR护眼部分包括路径设定模块、AR投影模块、处理模块、眼球追踪模块、提示控制模块，其工作流程如图2所示，具体如下：在启动该功能后，首先获得当前位置，并进行随机固定距离地点选取，得到规划好的路径，并在规划过程中进行筛选，过滤不合理或者不安全的目的地。规划完毕后，路标会以AR投影的形式显示在场景中，且目的地会设置猫头鹰投影，待使用者接近后，猫头鹰进入转眼状态，缓慢有节奏地转动双眼引导用户模仿。同时，开启前置摄像头并使用眼球追踪算法检测用户眼球的运动，根据其运动情况给出相关提示。具体工作效果图见图3。
数据统计与反馈部分包括用眼数据统计模块、用眼数据可视化模块、用眼目标设定和用眼时长提醒模块，其工作流程如图4所示：在应用启动的时间内，应用自动统计手机开屏时长和次数，收集一定数据以后进行用眼习惯分析，通过机器学习方法提取日常的用眼习惯，从而制定合理的用眼目标。设定目标后，再之后的日常使用中对达到阶段性时间之后进行消息提醒；用户可在应用内自行修改用眼目标，同时在之后的使用过程中由于用眼数据的更新，用眼目标也会自动调整。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于增强现实与数据分析的护眼系统，其特征在于，包括增强现实护眼功能(1)和数据统计和反馈功能(2)。所述增强现实护眼功能(1)包括路径设定模块(101)、增强现实投影模块(102)、眼球追踪模块(103)、提示控制模块(104)，数据统计和反馈功能(2)包括用眼数据统计与分析模块(201)、用眼数据可视化模块(202)以及定时提醒模块(203)。路径设定模块(101)根据用户当前位置进行运动路径规划，增强现实投影模块(102)提供模型显示支持，眼球追踪模块(103)提供用户眼球运动检测，提示控制模块(104)提供用户眼球运动指导；应用开启期间由用眼数据统计与分析模块(201)收集手机使用数据并加以分析，再通过用眼数据可视化模块(202)可视化呈现，根据分析得到的使用频率与时长特征通过定时提醒模块(203)设定每日手机使用目标并定时提醒。
2.根据权利要求1所述的一种基于增强现实与数据分析的护眼系统，其特征在于，所述的路径设定模块(101)包含定位系统，通过定位系统确定用户当前位置后，随机选取固定距离的位置作为目标位置，使用路径规划算法在目的位置规划路径。
3.根据权利要求1所述的一种基于增强现实与数据分析的护眼系统，其特征在于，所述的AR投影模块(102)，在通过所述路径设定模块(101)完成路径设定后，用AR投影方式将路径标志显示在屏幕上，引导用户靠近；同时在目标位置设定动物模型投影，在用户位置距离动物模型投影为0.5m～2m时，动物模型投影开始眼球转动运动，引导用户模仿进行运动。
4.根据权利要求1所述的一种基于增强现实与数据分析的护眼系统，其特征在于，所述的眼球追踪模块(103)，在通过所述AR投影模块(102)进行模仿动物模型投影运动的同时利用前置摄像头实时检测用户眼球的运动；使用基于OpenCV库的眼球追踪算法进行脸部识别、瞳孔识别，进而记录瞳孔运动坐标进行运动估计。
5.根据权利要求1所述的一种基于增强现实与数据分析的护眼系统，其特征在于，所述的提示控制模块(104)，在通过所述眼球追踪模块(103)检测眼球运动是否与动物模型投影眼球运动一致时，能够对不规范动作加以指导和提示，提示以横幅消息或者震动方式反馈给用户。
6.根据权利要求1所述的一种基于增强现实与数据分析的护眼系统，其特征在于，所述的用眼数据统计模块(201)，应用启动后统计手机开屏时间，并记录每日开屏时间总长以及开屏次数。
7.根据权利要求1所述的一种基于增强现实与数据分析的护眼系统，其特征在于，所述的用眼数据可视化模块(202)，在通过用眼数据统计模块(201)收集用眼数据后将其以折线图等图表的形式显示在应用内。
8.根据权利要求1所述的一种基于增强现实与数据分析的护眼系统，其特征在于，所述的定时提醒模块(203)，通过用眼数据统计模块(201)收集的用眼数据通过k-means聚类分析得出用户用眼的集中时段，以及根据用眼的日常平均时间针对性地设置每日用眼目标。用户可以在应用内修改或取消这一目标，在当日手机使用时长到达阶段性时长时，以应用外消息和震动的形式发出护眼提醒，告知用户注意使用频率并引导护眼。所述阶段性时长也可由用户根据用眼目标自行设定。
CN201910304941.7A 2019-04-16 2019-04-16 一种基于增强现实与数据分析的护眼系统 Pending CN110213568A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910304941.7A CN110213568A (zh) 2019-04-16 2019-04-16 一种基于增强现实与数据分析的护眼系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910304941.7A CN110213568A (zh) 2019-04-16 2019-04-16 一种基于增强现实与数据分析的护眼系统

Publications (1)

Publication Number Publication Date
CN110213568A true CN110213568A (zh) 2019-09-06

Family

ID=67786061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910304941.7A Pending CN110213568A (zh) 2019-04-16 2019-04-16 一种基于增强现实与数据分析的护眼系统

Country Status (1)

Country Link
CN (1) CN110213568A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444789A (zh) * 2020-03-12 2020-07-24 深圳市时代智汇科技有限公司 一种基于视频感应技术的近视预防方法及其系统
CN114138103A (zh) * 2020-09-03 2022-03-04 司马苗 一种智能护眼设备或软件

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106913449A (zh) * 2017-03-23 2017-07-04 郑州诚优成电子科技有限公司 互动式增强现实视力康复装置
CN107519622A (zh) * 2017-08-21 2017-12-29 南通大学 基于虚拟现实与眼动追踪的空间认知康复训练系统和方法
CN207253468U (zh) * 2017-03-23 2018-04-20 郑州诚优成电子科技有限公司 学习式增强现实视力康复装置
CN108989549A (zh) * 2018-06-25 2018-12-11 北京爱诺斯科技有限公司 一种用眼护眼数据采集方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106913449A (zh) * 2017-03-23 2017-07-04 郑州诚优成电子科技有限公司 互动式增强现实视力康复装置
CN207253468U (zh) * 2017-03-23 2018-04-20 郑州诚优成电子科技有限公司 学习式增强现实视力康复装置
CN107519622A (zh) * 2017-08-21 2017-12-29 南通大学 基于虚拟现实与眼动追踪的空间认知康复训练系统和方法
CN108989549A (zh) * 2018-06-25 2018-12-11 北京爱诺斯科技有限公司 一种用眼护眼数据采集方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444789A (zh) * 2020-03-12 2020-07-24 深圳市时代智汇科技有限公司 一种基于视频感应技术的近视预防方法及其系统
CN111444789B (zh) * 2020-03-12 2023-06-20 深圳市时代智汇科技有限公司 一种基于视频感应技术的近视预防方法及其系统
CN114138103A (zh) * 2020-09-03 2022-03-04 司马苗 一种智能护眼设备或软件

Similar Documents

Publication Publication Date Title
CN107224261B (zh) 利用虚拟现实的视觉障碍检测系统
CA2755401C (en) System and methods for providing performance feedback
CN104799984B (zh) 基于脑控移动眼的残疾人辅助系统及其控制方法
CN108721070A (zh) 一种基于眼球追踪的智能视觉功能训练系统及其训练方法
CN109416865A (zh) 用于监控装置的使用的设备与方法
CN105797349A (zh) 实景跑步装置、方法及系统
CN106659928A (zh) 无线度量计算和反馈装置、系统和方法
CN103748599A (zh) 用于测量头部、眼睛、眼睑和瞳孔的反应的系统和方法
CN109126056B (zh) 体育训练系统
CN110213568A (zh) 一种基于增强现实与数据分析的护眼系统
CN107970035A (zh) 一种基于眼动数据的心理健康反馈系统
CN110085297A (zh) 一种基于云平台的颈椎运动功能评测与训练系统
CN109172293A (zh) 利用图像技术和云端控制技术的视觉训练方法和系统
CN108478185A (zh) 真假性近视检测系统
CN110292514A (zh) 服务于老年痴呆患者的智能机器人康复训练的方法
CN111882947A (zh) 一种基于虚拟现实划船运动的戒毒康复训练系统
CN110051513A (zh) 眼部裸视力提升训练系统
CN102258855A (zh) 一种智能球类训练系统以及相应的控制方法
CN1294905A (zh) 立体幻影眼保健操系统
CN110119712A (zh) 一种基于深度学习的家畜行为智能监控方法及其系统
CN206906936U (zh) 一种提供驾驶适宜性检测的头戴式显示设备
CN108499072A (zh) 一种游泳姿势训练方法及其系统
Zhu et al. Seeing where the stone is thrown by observing a point-light thrower: Perceiving the effect of action is enabled by information, not motor experience
CN111009318A (zh) 一种基于虚拟现实技术的自闭症训练系统、方法及装置
CN208626151U (zh) 基于数字智能虚拟三维立体影像技术的视觉失调监测及康复训练用眼镜

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190906