CN110889955B - 用于在用户阅读时提醒用户休息的方法与设备 - Google Patents

用于在用户阅读时提醒用户休息的方法与设备 Download PDF

Info

Publication number
CN110889955B
CN110889955B CN201911200715.0A CN201911200715A CN110889955B CN 110889955 B CN110889955 B CN 110889955B CN 201911200715 A CN201911200715 A CN 201911200715A CN 110889955 B CN110889955 B CN 110889955B
Authority
CN
China
Prior art keywords
information
user
book
image
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911200715.0A
Other languages
English (en)
Other versions
CN110889955A (zh
Inventor
陈大年
徐强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhangmen Science and Technology Co Ltd
Original Assignee
Shanghai Zhangmen Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhangmen Science and Technology Co Ltd filed Critical Shanghai Zhangmen Science and Technology Co Ltd
Priority to CN201911200715.0A priority Critical patent/CN110889955B/zh
Publication of CN110889955A publication Critical patent/CN110889955A/zh
Application granted granted Critical
Publication of CN110889955B publication Critical patent/CN110889955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请的目的是提供一种用于在用户阅读时提醒用户休息的方法和设备：通过第一摄像组件采集书籍图像信息；通过影像投射组件投射所述书籍图像信息以供用户阅读；通过第二摄像组件采集用户眼睛图像信息；基于所述用户眼睛图像信息确定用户的疲劳度信息；若所述疲劳度信息满足提示信息触发条件，输出休息提示信息。本申请避免用户在疲劳的状况下继续阅读，以达到预防近视的目的。

Description

用于在用户阅读时提醒用户休息的方法与设备
技术领域
本申请涉及通信领域，尤其涉及一种用于在用户阅读时提醒用户休息的技术。
背景技术
近些年来，近视的孩子越来越多。近视是眼在调节松弛状态下，平行光线经眼的屈光系统的折射后焦点落在视网膜之前的情况，此时视网膜上不能形成清楚的物像。其中，长时间的近距离用眼，常常使睫状肌发生痉挛，丧失了正常灵活性，视远时不能充分松弛，即形成了假性近视；如果长期发展下去，眼外肌对眼球的压迫和眼内压力的改变使眼轴变长则成为真性近视。
发明内容
本申请的一个目的是提供一种用于在用户阅读时提醒用户休息的方法和设备。
根据本申请的一个方面，本申请提供了一种用于在用户阅读时提醒用户休息的方法，该方法应用于信息处理设备，该信息处理设备包括第一摄像组件、第二摄像组件、信息处理组件和影像投射组件，该第一摄像组件、第二摄像组件及影像投射组件分别与信息处理组件通信；
其中，该方法包括以下步骤：
通过所述第一摄像组件采集书籍图像信息；
通过所述影像投射组件投射所述书籍图像信息以供用户阅读；
通过所述第二摄像组件采集用户眼睛图像信息；
基于所述用户眼睛图像信息确定用户的疲劳度信息；以及，
若所述疲劳度信息满足提示信息触发条件，输出休息提示信息。
相应地，本申请提供了一种信息处理设备，该信息处理设备包括：
第一一模块，用于通过所述第一摄像组件采集书籍图像信息；
第一二模块，用于通过所述影像投射组件投射所述书籍图像信息以供用户阅读；
第一三模块，用于通过所述第二摄像组件采集用户眼睛图像信息；
第一四模块，用于基于所述用户眼睛图像信息确定用户的疲劳度信息；以及，
第一五模块，用于若所述疲劳度信息满足提示信息触发条件，输出休息提示信息。
根据本申请的另一个方面，本申请提供了一种用于在用户阅读时提醒用户休息的方法，该方法应用于一信息处理设备，该信息处理设备包括摄像组件、信息处理组件和影像投射组件，该摄像组件和影像投射组件分别与信息处理组件通信；
其中，该方法包括以下步骤：
通过所述摄像组件采集书籍图像信息；
通过所述影像投射组件投射所述书籍图像信息以供用户阅读；
确定所述书籍图像信息的图像变化率；
基于所述图像变化率确定用户的疲劳度信息；以及，
若所述疲劳程度信息满足提示信息触发条件，输出休息提示信息。
相应地，本申请还提供了一种信息处理设备，该信息处理设备包括：
第二一模块，用于通过所述摄像组件采集书籍图像信息；
第二二模块，用于通过所述影像投射组件投射所述书籍图像信息以供用户阅读；
第二三模块，用于确定所述书籍图像信息的图像变化率；
第二四模块，用于基于所述图像变化率确定用户的疲劳度信息；以及，
第二五模块，用于若所述疲劳程度信息满足提示信息触发条件，输出休息提示信息。
根据本申请的一个方面，本申请提供了一种用于在用户阅读时提醒用户休息的信息处理设备，该信息处理设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以上任一方法的操作。
根据本申请的另一方面，本申请还提供了一种存储指令的计算机可读介质，所述指令在被计算机执行时使得所述计算机执行以上任一方法的操作。
与现有技术相比，本申请各实施例不仅可以帮助用户维持合理的阅读距离，还基于对用户眼睛的疲劳程度的实时监控以提醒用户休息，防止眼部疲劳，并在一些情况下强制用户休息，从而避免用户在疲劳的状况下继续阅读，以达到预防近视的目的。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个实施例的一种信息处理设备的结构简图；
图2示出根据本申请另一个实施例的一种用于在用户阅读时提醒用户休息的方法的流程图；
图3用于说明眼睛开度随时间的变化情况；
图4示出根据本申请另一个实施例的一种用于在用户阅读时提醒用户休息的方法的流程图；
图5示出根据本申请一个实施例的一种信息处理设备的功能模块；
图6示出根据本申请另一个实施例的一种信息处理设备的功能模块；
图7示出可用于本申请各实施例的一种示例性系统的功能模块。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如，中央处理器(Central Processing Unit,CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccess Memory,RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory,ROM)或闪存(Flash Memory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change Memory,PCM)、可编程随机存取存储器(Programmable Random Access Memory,PRAM)、静态随机存取存储器(Static Random-Access Memory,SRAM)、动态随机存取存储器(Dynamic Random AccessMemory,DRAM)、其他类型的随机存取存储器(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、电可擦除可编程只读存储器(Electrically-ErasableProgrammable Read-Only Memory,EEPROM)、快闪记忆体(Flash Memory)或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如Android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit,ASIC)、可编程逻辑器件(Programmable Logic Device,PLD)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、数字信号处理器(Digital Signal Processor,DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc Network)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
本申请所提供的用于在用户阅读时提醒用户休息的方法，在一些实施例中基于如图1所示的信息处理设备而实施。该信息处理设备包括：
-光源1，用于给书籍5照明；
-第一摄像组件2，用于拍摄书籍5的图像；
-影像投射组件3(投影显示系统)，用于发射光线以在幕布6(或背板)上投射第一摄像组件2所拍摄的书籍5的图像，以供用户阅读；
-观察窗4，供用户观察投射于幕布6(或背板)上书籍5的影像；
-第二摄像组件7，用于拍摄用户的图像，尤其是用户的眼睛图像。
-信息处理组件，其与第一摄像组件2、影像投射组件3和第二摄像组件7分别进行通信，并将第一摄像组件2所拍摄的书籍5的图像传输至影像投射组件3；信息处理组件的安装位置较为灵活，且未在图中示出。
其中，第一摄像组件2和第二摄像组件3分别包含透镜(组)和图像传感器，其中图像传感器用于将入射的光信号转换为电信号，以实现数字图像的获取。图像传感器可以是电荷藕合组件(Charge Coupled Device,CCD)传感器，或者互补性氧化金属半导体(Complementary Metal-Oxide Semiconductor,CMOS)传感器。
须知，图1示出的上述各组件之间的相对位置关系仅为举例，而非对本申请具体实施方式的限定，本领域技术人员可根据实际需要而做出相应的调整。例如，观察窗4可替换为透镜/透镜组；并且形如图1中的壳体的结构亦是可选的，只要能实现各部件的安装、固定即可。
以下基于上述信息处理设备详细描述本申请的部分具体实施方式。
根据本申请的一个方面，本申请提供了一种用于在用户阅读时提醒用户休息的方法。参考图2，该方法包括步骤S110、步骤S120、步骤S130、步骤S140和步骤S150。
其中，在步骤S110中，信息处理组件通过所述第一摄像组件采集书籍图像信息。在一些实施例中，书籍图像信息是单次采集的，例如信息处理组件基于用户的采集触发操作采集书籍图像信息，以节能、延长第一摄像组件寿命，和减少产生的数据量以节省存储空间和合理利用传输带宽。在另一些实施例中，书籍图像信息则是多次采集(例如连续采集)的，例如信息处理组件按一定的帧率通过第一摄像组件采集书籍图像信息，以实现连续/实时跟踪书籍图像的变化，适于经常翻动书页和需要书写的情况。随后在步骤S120中，信息处理组件通过所述影像投射组件投射所述书籍图像信息以供用户阅读。在步骤S130中，信息处理组件通过所述第二摄像组件采集用户眼睛图像信息。其中，用户眼睛图像信息在一些实施例中仅包含用户的眼部；而在另一些实施例中可选地包含更多信息，例如用户的面部、上半身和/或周围场景的图像。在步骤S140中，信息处理组件基于所述用户眼睛图像信息确定用户的疲劳度信息，例如基于PERCLOS算法确定用户的疲劳度。而在步骤S150中，若所述疲劳度信息满足提示信息触发条件(例如用户的疲劳度高于某个预设的阈值)，信息处理组件输出休息提示信息。可选地，休息提示信息以声(例如报警声、预先录制的语音或音乐、合成的语音或音乐，等)和/或光(例如通过点亮或熄灭发光装置、提供闪光或文字，等)的方式输出。
其中在一些实施例中，上述步骤S140包括子步骤S141和子步骤S142(均未示出)。在子步骤S141中，信息处理组件基于所述用户眼睛图像信息确定用户的闭眼时间占比信息；而在子步骤S142中，信息处理组件基于所述闭眼时间占比信息确定用户的疲劳度信息。例如，卡内基梅隆研究所经过反复实验和论证，提出了度量疲劳/瞌睡的物理量PERCLOS(Percentage of Eyelid Closure over the Pupil,over Time)，其定义为单位时间(例如1分钟或者30秒)内眼睛闭合(例如在眼睑遮住瞳孔70％或80％以上的面积时判定为眼睛闭合)所占的时间比例，若该时间比例(可作为上述疲劳度信息的指标)达到一定阈值则认为发生了疲劳；通过设置不同的阈值，即可实现在用户达到不同的疲劳度时提醒用户休息。参考图3，若研究眼睛开度随时间的变化，则通过下式即可计算得到上述PERCLOS的值：
(t3-t2)/(t4-t1)
一般认为眼睑遮住瞳孔的面积超过80％时，眼睛闭合。
在本申请的一些实施例中，信息处理组件在步骤S130中通过第二摄像组件连续采集用户眼睛图像(例如拍摄帧率为30帧/秒的视频)；相应地，在步骤S141中，信息处理组件确定这些用户眼睛图像信息中闭眼图像的占比信息，以确定用户的闭眼时间占比信息。在这组图像的帧率已经固定的情况下，通过对一段时间内的连续采集的用户眼睛图像中的被判定为闭眼的图像进行计数，再结合该段时间内的总帧数，即可获得被判定为闭眼的图像在总帧数中的比例，进而获得上述PERCLOS值而判定用户的疲劳程度，无需另外计算闭眼时长，从而便于信息处理组件执行相应的操作。为了减少信息处理组件的计算量以提升系统的实时性，在实际开发中，可选地，信息处理组件在步骤S130中基于预设的时间间隔(例如若干毫秒)，通过所述第二摄像组件连续采集多个用户眼睛图像信息，例如以前述时间间隔所对应的较低的帧率(例如10帧/秒，低于通常的视频帧率)连续采集用户眼睛图像，并基于这些用户眼睛图像计算PERCLOS值。
为了减少信息处理组件的数据处理量，还可基于用户的眼睛宽高比确定用户的闭眼状态。在一些实施例中，在步骤S141中，信息处理组件确定每个用户眼睛图像信息对应的用户的眼睛宽高比信息，基于所述眼睛宽高比信息确定用户的闭眼状态，从而确定所述多个用户眼睛图像中的闭眼图像；随后确定所述闭图像在所述多个用户眼睛图像中的占比信息，以确定用户的闭眼时间占比信息。不同人在眼睛完全睁开或者闭合的情况下，人眼的高度和宽度比基本固定在比较小的范围，该比值一般也不会受到图像像素大小等客观因素的影响。因此可以提取人眼长宽比的方法判断眼睛的闭合程度。在提取用户的眼睛宽高比时，可以采用分步识别定位逐步缩小识别范围。具体而言，可以首先通过基于肤色特征的人脸定位方法，利用YCbCr颜色空间对肤色具有明显聚类性的特点对视频图像进行肤色分割，通过积分投影定位人脸区域；然后采用肤色分割结合多次积分投影的方法确定人眼候选区域，并利用积分投影精确定位人眼区域，提取该区域内人眼的宽高比。上述眼睛宽高比的计算方式可以大大减小对第二摄像组件的分辨率的要求，大幅降低整个信息处理设备的精度要求和制造成本，从而有利于该技术的普及。
在一些实施例中，在上述步骤S110中，信息处理组件通过所述第一摄像组件实时采集书籍图像信息；上述方法还包括步骤S160(未示出)。在步骤S160中，信息处理组件基于实时采集的书籍图像信息确定所述书籍图像信息的图像变化率。随后在上述步骤S142中，信息处理组件基于所述闭眼时间占比信息以及所述图像变化率确定用户的疲劳度信息。例如，在需要用户按一定频率翻页或者在书本上书写的情况下，若书籍图像较长时间未发生变化，则也可认为发生了疲劳。从而提升检测的准确性，进一步避免用户在疲劳的状况下“强打精神”进行阅读活动。可选地，可以设置两种输入(即闭眼时间占比信息和图像变化率)各自在计算用户的疲劳度时的权重，以提高提示信息的准确性。其中，对于图像的变化率，可以通过确定各相邻两帧图像之间的差异大小来确定；而两幅图像的差异，在不同的实施例中可能基于不同的方式来确定，例如：
-结构相似性(Structure Similarity,SSim)算法，从图像组成的角度将结构信息定义为独立于亮度、对比度的反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不同因素的组合；用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量；
-峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)算法，给定一个大小为m×n的干净图像I和噪声图像K，定义：
PSNR＝10·log10(MAXI 2/MSE)
其中MAXI 2为图片可能的最大像素值，如果像素值由B位二进制来表示，那么MAXI＝2B-1，MSE是均方误差；PSNR值越大，就代表失真越少，比较的两幅图像越相似；
-感知哈希算法(Perceptual hash algorithm)，对每张图片生成一个“指纹”(fingerprint)字符串，然后比较不同图片的指纹，结果越接近，就说明图片越相似。
应理解，以上所举出的图像变化率的实施方式仅为举例而非对本申请的任何限定；其他现有的或者今后可能出现的实施方式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。
可选地在一些实施例中，书籍图像是实时采集的，从而及时向用户提供反馈，例如在用户按一定频率翻页或者在书本上书写的情形下，影像投射组件可以及时更新投射的画面，以提升用户体验。相应地，在上述步骤S110中，信息处理组件通过所述第一摄像组件实时采集书籍图像信息；随后在步骤S120中，信息处理组件通过所述影像投射组件实时投射所述书籍图像信息以供用户阅读。
在一些实施例中，在上述步骤S150中，若所述疲劳度信息满足提示信息触发条件，信息处理组件停止通过所述影像投射组件投射所述书籍图像信息，并输出休息提示信息。从而强制用户休息，避免用户继续阅读产生疲劳，提升防止近视的效果。进一步地，在上述步骤S150中，信息处理组件可选地通过影像投射组件投射预设影像信息以输出休息提示信息，其中预设影像信息可以是例如自然风光影像(例如，绿色森林的影像)，以协助用户放松而防止近视的发生。
此外，若书本歪斜(相应地影像投射组件所投射的书本影像也是歪斜的)，则读者非常容易发生疲劳，进而引发近视。为减少因为书本摆放歪斜而造成的疲劳，在一些实施例中，上述方法还包括步骤S170、步骤S180和步骤S190(均未示出)。在步骤S170中，信息处理组件对所述书籍图像信息执行文本检测以获得对应的书籍文本的方向，例如执行光学字符识别(Optical Character Recognition,OCR)以检测文本的内容与预设方向的角度差(比如，取识别出的某个字目前与摄像头的正对方向的角度差值，若该角度差值超过5°则提醒用户调整书籍摆放角度)；或者采用旋转区域候选网络(Rotation Region ProposalNetworks,RRPN)，其设计用于生成具有文本方向角信息的倾斜候选框。在步骤S180中，信息处理组件确定所述书籍文本的方向与预设文本方向的偏差信息。在步骤S190中，若所述偏差信息满足偏差提醒触发条件，信息处理向用户提供书籍调整提示，所述书籍调整提示用于提醒用户调整书籍的摆放角度。在一些情形下(例如用户忽略了系统的提示而未调整书籍的摆放角度)，则之后在步骤S140中，信息处理组件基于所述用户眼睛图像信息确定用户的闭眼时间占比信息，并基于所述闭眼时间占比信息及所述偏差信息确定用户的疲劳度信息，以避免用户过度疲劳，例如在前述角度差值存在的情况下设定用户更快疲劳。可选地，可以设置两种输入(例如PERCLOS值和前述角度差值)各自在计算用户的疲劳度时的权重，以提高提示信息的准确性。
除了提示用户调整歪斜的书籍以外，在一些实施例中，信息处理组件还可以对书籍图像进行修正(而不是提供书籍调整提示)，以消除书籍歪斜给用户带来的不便，减缓用户视疲劳的产生。具体而言，上述方法包括步骤S170’、步骤S180’(未示出)。在步骤S170’中，信息处理组件对所述书籍图像信息执行文本检测以获得对应的书籍文本的方向；在步骤S180’中，信息处理组件确定所述书籍文本的方向与预设文本方向的偏差信息。其中，检测文本角度与预设角度之间的角度差值的方式与以上所述的检测方式相同或基本相同，在此不予赘述，并以引用的方式包含于此。随后在步骤S120中，信息处理组件基于所述偏差信息修正所述书籍图像信息(例如按照前述角度差值旋转书籍图像信息，以消除角度差)，并通过所述影像投射组件投射修正后的书籍图像信息以供用户阅读。
以上详述了本申请的一些具体实施方式。如上所述，图1示出的信息处理设备仅为举例，而非对本申请具体实施方式的限制。其中，在一些实施例中，上述第二摄像组件可以略去，其他部件及相互之间的通信关系与上述各实施例相同或基本相同。相应地，根据本申请的另一方面，本申请还提供了一种用于在用户阅读时提醒用户休息的方法。
参考图4，该方法包括步骤S210、步骤S220、步骤S230、步骤S240和步骤S250。
其中，在步骤S210中，信息处理组件通过所述摄像组件采集书籍图像信息。具体实施方式与上述各实施例中信息处理组件在步骤S110中的操作相同或基本相同，在此不再赘述。
在步骤S220中，信息处理组件通过所述影像投射组件投射所述书籍图像信息以供用户阅读。具体实施方式与上述各实施例中信息处理组件在步骤S120中的操作相同或基本相同，在此不再赘述。
在步骤S230中，信息处理组件确定所述书籍图像信息的图像变化率。例如，在需要用户按一定频率翻页或者在书本上书写的情况下，若书籍图像较长时间未发生变化，则可认为发生了疲劳。从而提升检测的准确性，进一步避免用户在疲劳的状况下“强打精神”进行阅读活动。在此，确定图像变化率的方式与上述实施例中信息处理组件在步骤S160中的操作相同或基本相同，在此不再赘述。
在步骤S240中，信息处理组件基于所述图像变化率确定用户的疲劳度信息。例如，根据事先确定的映射关系，由图像变化率查询确定相应的疲劳度信息。在此，除了用户的疲劳度信息不是基于用户的眼睛图像信息确定的以外，只要不发生矛盾，该方法的具体实施方式与上述各实施例的实施方式相同或基本相同，具体请参照相关实施例。
在步骤S250中，若所述疲劳程度信息满足提示信息触发条件，信息处理组件输出休息提示信息。可选地，休息提示信息以声(例如报警声、预先录制的语音或音乐、合成的语音或音乐，等)和/或光(例如通过点亮或熄灭发光装置、提供闪光或文字，等)的方式输出。
可选地在一些实施例中，书籍图像是实时采集的，从而及时向用户提供反馈，例如在用户按一定频率翻页或者在书本上书写的情形下，影像投射组件可以及时更新投射的画面，以提升用户体验。相应地，在上述步骤S210中，信息处理组件通过所述第一摄像组件实时采集书籍图像信息；随后在步骤S220中，信息处理组件通过所述影像投射组件实时投射所述书籍图像信息以供用户阅读。
在一些实施例中，在上述步骤S250中，若所述疲劳度信息满足提示信息触发条件，信息处理组件停止通过所述影像投射组件投射所述书籍图像信息，并输出休息提示信息。从而强制用户休息，避免用户继续阅读产生疲劳，提升防止近视的效果。进一步地，在上述步骤S250中，信息处理组件可选地通过影像投射组件投射预设影像信息以输出休息提示信息，其中预设影像信息可以是例如自然风光影像(例如，绿色森林的影像)，以协助用户放松而防止近视的发生。
此外，若书本歪斜(相应地影像投射组件所投射的书本影像也是歪斜的)，则读者非常容易发生疲劳，进而引发近视。为减少因为书本摆放歪斜而造成的疲劳，在一些实施例中，上述方法还包括步骤S270、步骤S280和步骤S290(均未示出)。其中，信息处理装置在步骤S270、步骤S280和步骤S290中的操作，分别与前述实施例中信息处理装置在步骤S170、步骤S180和步骤S190中的操作相同或基本相同，在此不予赘述，并以引用的方式包含于此。在一些情形下(例如用户忽略了系统的提示而未调整书籍的摆放角度)，则之后在步骤S240中，信息处理组件基于所述图像变化率及所述偏差信息确定用户的疲劳度信息，以避免用户过度疲劳，例如在前述角度差值存在的情况下设定用户更快疲劳。可选地，可以设置两种输入(即图像变化率和前述角度差值)各自在计算用户的疲劳度时的权重，以提高提示信息的准确性。
除了提示用户调整歪斜的书籍以外，在一些实施例中，信息处理组件还可以对书籍图像进行修正(而不是提供书籍调整提示)，以消除书籍歪斜给用户带来的不便，减缓用户视疲劳的产生。具体而言，上述方法包括步骤S270’、步骤S280’(未示出)。在步骤S270’中，信息处理组件对所述书籍图像信息执行文本检测以获得对应的书籍文本的方向；在步骤S180’中，信息处理组件确定所述书籍文本的方向与预设文本方向的偏差信息。其中，检测文本角度与预设角度之间的角度差值的方式与以上所述的检测方式相同或基本相同，在此不予赘述，并以引用的方式包含于此。随后在步骤S220中，信息处理组件基于所述偏差信息修正所述书籍图像信息(例如按照前述角度差值旋转书籍图像信息，以消除角度差)，并通过所述影像投射组件投射修正后的书籍图像信息以供用户阅读。
须知，上述各实施例仅为本申请具体实施方式的举例，而非对本申请具体实施方式的限定。
同时，本申请还提供了一种用于在用户阅读时提醒用户休息的信息处理设备。参考图5，所述信息处理设备(例如，具体而言，所述信息处理设备的信息处理组件)包括第一一模块110、第一二模块120、第一三模块130、第一四模块140和第一五模块150。其中，第一一模块110、第一二模块120、第一三模块130、第一四模块140和第一五模块150分别用于执行上述步骤S110、步骤S120、步骤S130、步骤S140和步骤S150中的操作，具体实施方式请参考前述各相关的实施例，在此不予赘述，并以引用的方式包含于此。
另外，本申请还提供了一种用于在用户阅读时提醒用户休息的信息处理设备。参考图6，所述信息处理设备(例如，具体而言，所述信息处理设备的信息处理组件)包括第二一模块210、第二二模块220、第二三模块230、第二四模块240和第二五模块250。其中，第二一模块210、第二二模块220、第二三模块230、第二四模块240和第二五模块250分别用于执行上述步骤S210、步骤S220、步骤S230、步骤S240和步骤S250中的操作，具体实施方式请参考前述各相关的实施例，在此不予赘述，并以引用的方式包含于此。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
图7示出了可被用于实施本申请中所述的各个实施例的示例性系统。
如图7所示，在一些实施例中，系统1000能够作为各所述实施例中的任意一个信息处理设备或者信息处理组件。在一些实施例中，系统1000可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备1020)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器1005)。
对于一个实施例，系统控制模块1010可包括任意适当的接口控制器，以向(一个或多个)处理器1005中的至少一个和/或与系统控制模块1010通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块1010可包括存储器控制器模块1030，以向系统存储器1015提供接口。存储器控制器模块1030可以是硬件模块、软件模块和/或固件模块。
系统存储器1015可被用于例如为系统1000加载和存储数据和/或指令。对于一个实施例，系统存储器1015可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器1015可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，系统控制模块1010可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备1020及(一个或多个)通信接口1025提供接口。
例如，NVM/存储设备1020可被用于存储数据和/或指令。NVM/存储设备1020可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(Hard Disk,HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备1020可包括在物理上作为系统1000被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备1020可通过网络经由(一个或多个)通信接口1025进行访问。
(一个或多个)通信接口1025可为系统1000提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统1000可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器(例如，存储器控制器模块1030)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，系统1000可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统1000可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统1000包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (18)

1.一种用于在用户阅读时提醒用户休息的方法，应用于信息处理设备，所述信息处理设备包括第一摄像组件、第二摄像组件、信息处理组件和影像投射组件，所述第一摄像组件、所述第二摄像组件及所述影像投射组件分别与所述信息处理组件通信；
其中，所述方法包括：
通过所述第一摄像组件实时采集书籍图像信息，基于实时采集的书籍图像信息确定所述书籍图像信息的图像变化率；
通过所述影像投射组件投射所述书籍图像信息以供用户阅读；
通过所述第二摄像组件采集用户眼睛图像信息；
基于所述用户眼睛图像信息确定用户的疲劳度信息；
若所述疲劳度信息满足提示信息触发条件，输出休息提示信息；
其中，所述基于用户眼睛图像信息确定用户的疲劳度信息，包括：
基于所述用户眼睛图像信息确定用户的闭眼时间占比信息，基于所述闭眼时间占比信息以及所述图像变化率确定所述用户的疲劳度信息。
2.根据权利要求1所述的方法，其中，所述通过所述第二摄像组件采集用户眼睛图像信息，包括：
通过所述第二摄像组件连续采集多个用户眼睛图像信息；
所述基于所述用户眼睛图像信息确定用户的闭眼时间占比信息，包括：
确定所述多个用户眼睛图像信息中闭眼图像的占比信息，以确定用户的闭眼时间占比信息。
3.根据权利要求2所述的方法，其中，所述确定所述多个用户眼睛图像信息中闭眼图像的占比信息，以确定用户的闭眼时间占比信息，包括：
确定每个用户眼睛图像信息对应的用户的眼睛宽高比信息；
基于所述眼睛宽高比信息确定用户的闭眼状态，从而确定所述多个用户眼睛图像信息中的闭眼图像；
确定所述闭眼图像在所述多个用户眼睛图像信息中的占比信息，以确定用户的闭眼时间占比信息。
4.根据权利要求2所述的方法，其中，所述通过所述第二摄像组件连续采集多个用户眼睛图像信息，包括：
基于预设的时间间隔，通过所述第二摄像组件连续采集多个用户眼睛图像信息。
5.根据权利要求1所述的方法，其中，所述通过所述第一摄像组件采集书籍图像信息，包括：
通过所述第一摄像组件实时采集书籍图像信息；
所述通过所述影像投射组件投射所述书籍图像信息以供用户阅读，包括：
通过所述影像投射组件实时投射所述书籍图像信息以供用户阅读。
6.根据权利要求1所述的方法，其中，所述若所述疲劳度信息满足提示信息触发条件，输出休息提示信息，包括：
若所述疲劳度信息满足提示信息触发条件，停止通过所述影像投射组件投射所述书籍图像信息，并输出休息提示信息。
7.根据权利要求6所述的方法，其中，所述若所述疲劳度信息满足提示信息触发条件，停止通过所述影像投射组件投射所述书籍图像信息，并输出休息提示信息，包括：
若所述疲劳度信息满足提示信息触发条件，停止通过所述影像投射组件投射所述书籍图像信息，并通过所述影像投射组件投射预设影像信息以输出休息提示信息。
8.根据权利要求1所述的方法，其中，所述方法还包括：
对所述书籍图像信息执行文本检测以获得对应的书籍文本的方向；
确定所述书籍文本的方向与预设文本方向的偏差信息；
若所述偏差信息满足偏差提醒触发条件，向用户提供书籍调整提示，所述书籍调整提示用于提醒用户调整书籍的摆放角度。
9.根据权利要求8所述的方法，其中，所述基于所述用户眼睛图像信息确定用户的疲劳度信息，包括：
基于所述用户眼睛图像信息确定用户的闭眼时间占比信息；
基于所述闭眼时间占比信息及所述偏差信息确定用户的疲劳度信息。
10.根据权利要求1所述的方法，其中，所述方法还包括：
对所述书籍图像信息执行文本检测以获得对应的书籍文本的方向；
确定所述书籍文本的方向与预设文本方向的偏差信息；
所述通过所述影像投射组件投射所述书籍图像信息以供用户阅读，包括：
基于所述偏差信息修正所述书籍图像信息，并通过所述影像投射组件投射修正后的书籍图像信息以供用户阅读。
11.一种用于在用户阅读时提醒用户休息的方法，应用于一信息处理设备，所述信息处理设备包括摄像组件、信息处理组件和影像投射组件，所述摄像组件和所述影像投射组件分别与所述信息处理组件通信；
其中，所述方法包括：
通过所述摄像组件采集书籍图像信息；
通过所述影像投射组件投射所述书籍图像信息以供用户阅读；
确定所述书籍图像信息的图像变化率；
基于所述图像变化率确定用户的疲劳度信息；
若所述疲劳度信息满足提示信息触发条件，输出休息提示信息。
12.根据权利要求11所述的方法，其中，所述通过所述摄像组件采集书籍图像信息，包括：
通过所述摄像组件实时采集书籍图像信息；
所述通过所述影像投射组件投射所述书籍图像信息以供用户阅读，包括：
通过所述影像投射组件实时投射所述书籍图像信息以供用户阅读。
13.根据权利要求11所述的方法，其中，所述若所述疲劳度信息满足提示信息触发条件，输出休息提示信息，包括：
若所述疲劳度信息满足提示信息触发条件，停止通过所述影像投射组件投射所述书籍图像，并输出休息提示信息。
14.根据权利要求11所述的方法，其中，所述方法还包括：
对所述书籍图像信息执行文本检测以获得对应的书籍文本的方向；
确定所述书籍文本的方向与预设文本方向的偏差信息；
若所述偏差信息满足偏差提醒触发条件，向用户提供书籍调整提示，所述书籍调整提示用于提醒用户调整书籍的摆放角度。
15.根据权利要求14所述的方法，其中，所述基于所述图像变化率确定用户的疲劳度信息，包括：
基于所述图像变化率及所述偏差信息确定用户的疲劳度信息。
16.根据权利要求11所述的方法，其中，所述方法还包括：
对所述书籍图像信息执行文本检测以获得对应的书籍文本的方向；
确定所述书籍文本的方向与预设文本方向的偏差信息；
所述通过所述影像投射组件投射所述书籍图像信息以供用户阅读，包括：
基于所述偏差信息修正所述书籍图像信息，并通过所述影像投射组件投射修正后的书籍图像信息以供用户阅读。
17. 一种用于在用户阅读时提醒用户休息的信息处理设备，其中，所述信息处理设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1至16中任一项所述方法的操作。
18.一种存储指令的计算机可读介质，所述指令在被计算机执行时使得所述计算机执行根据权利要求1至16中任一项所述方法的操作。
CN201911200715.0A 2019-11-29 2019-11-29 用于在用户阅读时提醒用户休息的方法与设备 Active CN110889955B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911200715.0A CN110889955B (zh) 2019-11-29 2019-11-29 用于在用户阅读时提醒用户休息的方法与设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911200715.0A CN110889955B (zh) 2019-11-29 2019-11-29 用于在用户阅读时提醒用户休息的方法与设备

Publications (2)

Publication Number Publication Date
CN110889955A CN110889955A (zh) 2020-03-17
CN110889955B true CN110889955B (zh) 2021-11-19

Family

ID=69749515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911200715.0A Active CN110889955B (zh) 2019-11-29 2019-11-29 用于在用户阅读时提醒用户休息的方法与设备

Country Status (1)

Country Link
CN (1) CN110889955B (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2295378A1 (en) * 1998-12-31 2000-06-30 Steve Mann Point of purchase (pop) terminal
CN105828026A (zh) * 2016-02-23 2016-08-03 华北理工大学 一种基于教育心理学的看书疲劳智能检测系统与方法
CN106151955B (zh) * 2016-09-07 2018-10-16 北京大学 一种智能台灯
CN206230529U (zh) * 2016-11-21 2017-06-09 王璨 一种带模拟场景的读书机器人
CN106529496B (zh) * 2016-11-24 2019-04-12 广西大学 一种机车乘务员实时视频疲劳检测的方法
CN107861621B (zh) * 2017-11-27 2018-08-31 青岛市妇女儿童医院 一种避免对产妇眼部造成伤害的平台
CN108241433B (zh) * 2017-11-27 2019-03-12 王国辉 疲劳度解析平台
CN108826071A (zh) * 2018-07-12 2018-11-16 太仓煜和网络科技有限公司 一种基于人工智能的阅读用台灯
CN110118777A (zh) * 2019-04-30 2019-08-13 北京航天自动控制研究所 一种控制系统系统集成智能检验台

Also Published As

Publication number Publication date
CN110889955A (zh) 2020-03-17

Similar Documents

Publication Publication Date Title
JP6732317B2 (ja) 顔活動検出方法および装置、ならびに電子デバイス
US10885362B2 (en) Facial recognition method and apparatus and imposter recognition method and apparatus
KR102314241B1 (ko) 적응적 인증 수행 방법 및 이를 지원하는 전자 장치
US9658688B2 (en) Automatic view adjustment
US8913789B1 (en) Input methods and systems for eye positioning using plural glints
KR102317820B1 (ko) 이미지 처리 방법 및 이를 지원하는 전자장치
AU2015264699B2 (en) Eye gaze tracking based upon adaptive homography mapping
KR20220054764A (ko) 휴대용 통신 장치 및 휴대용 통신 장치의 영상 표시 방법
US20170345393A1 (en) Electronic device and eye protecting method therefor
EP3719699B1 (en) Living body detection method, apparatus and device
JP2016515242A (ja) 校正不要な注視点推定の方法と装置
US11120536B2 (en) Apparatus and method for determining image sharpness
US20240140314A1 (en) Virtual Mirror with Automatic Zoom Based on Vehicle Sensors
WO2020055657A1 (en) Liveness detection method, apparatus and computer-readable storage medium
US11205071B2 (en) Image acquisition method, apparatus, system, and electronic device
KR102493579B1 (ko) 카메라를 포함하는 전자 장치 및 전자 장치의 제어 방법
WO2021046793A1 (zh) 图像采集方法、装置及存储介质
CN107577340B (zh) 视力保护的方法、终端及存储装置
KR102355759B1 (ko) 사용자의 위치를 결정하는 전자 장치 및 그 제어 방법
KR20180109217A (ko) 얼굴 영상 보정 방법 및 이를 구현한 전자 장치
Lian et al. Smart privacy-preserving screen based on multiple sensor fusion
KR102457247B1 (ko) 이미지를 처리하는 전자 장치 및 그 제어 방법
CN110889955B (zh) 用于在用户阅读时提醒用户休息的方法与设备
CN108141544B (zh) 面部检测方法以及支持该方法的电子设备
KR102317624B1 (ko) 전자 장치 및 그의 이미지 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant