CN108810255A - 敦促用户健康使用智能移动终端的方法及智能移动终端 - Google Patents

Abstract

本发明提供一种敦促用户健康使用智能移动终端的方法及智能移动终端，方法包括步骤：连续或间歇采集用户的人脸图像和/或上半身图像；处理所述人脸图像和/或所述上半身图像，重构所述用户的三维人脸图像和/或三维上半身图像，提取一种或多种组合的特征信息，以构建特征判据；根据特征判据与预设健康距离参数、预设临界夹角参数的逻辑关系，或，根据所述特征判据判断所述用户是否健康使用智能移动终端；若所述用户不健康使用所述智能移动终端，则发出相关提醒或执行相关操作；若所述用户健康使用所述智能移动终端，则继续采集所述用户的人脸图像或上半身图像。确保用户健康地使用智能移动终端以及促进用户养成健康使用智能移动终端的习惯。

Description

敦促用户健康使用智能移动终端的方法及智能移动终端

技术领域

本发明涉及光学及电子学领域，尤其涉及一种敦促用户健康使用智能移动终端的方法及智能移动终端。

背景技术

随着智能手机等智能移动终端以及互联网的发展，人们的生活方式已经发生了巨大变化；尤其是获取信息的方式。相较于传统的纸质书籍或报纸渠道，人们更喜欢通过智能移动终端在网上获取第一手资讯。

在使用智能移动终端的过程中，大部分的用户有着诸多的不良习惯。比如，喜欢长时间、近距离地使用智能移动终端；或者躺着使用智能移动终端；又或者喜欢在黑暗的环境中使用智能移动终端等。所述不良的使用习惯，必然会影响用户的健康，尤其是眼睛的视力健康。

然而，现有技术中缺乏一种敦促用户健康使用智能移动终端的方案，以确保智能移动终端的健康使用。

发明内容

本发明为了解决现有技术中的问题，提供一种敦促用户健康使用智能移动终端的方法及智能移动终端。

为了解决上述问题，本发明采用的技术方案如下所述：

一种敦促用户健康使用智能移动终端的方法，包括步骤：S1：连续或间歇采集用户的人脸图像和/或上半身图像；S2：处理所述人脸图像和/或所述上半身图像，重构所述用户的三维人脸图像和/或三维上半身图像，提取所述用户的眼球位置信息、人脸朝向信息、眼球注视方向信息、面部特征点信息、肩部特征点信息以及显示屏法线方向信息中的一种或多种组合的特征信息，以构建特征判据；S3：根据所述特征判据与预设健康距离参数、预设临界夹角参数的逻辑关系，或，根据所述特征判据判断所述用户是否健康使用智能移动终端；S4：若所述用户不健康使用所述智能移动终端，则发出相关提醒或执行相关操作；若所述用户健康使用所述智能移动终端，则继续采集所述用户的人脸图像或上半身图像。

在本发明的一种实施例中，所述人脸图像和/或所述上半身图像包括深度图像、RGB图像、RGB-D图像、红外图像中的一种或多种组合；所述特征判据包括以下至少一种：所述用户的眼球到显示屏的距离；所述用户的人脸朝向、眼球注视方向以及显示屏法线方向的向量夹角；所述面部特征点到所述左肩部特征点、所述右肩部特征点的距离；所述面部特征点、所述左肩部特征点、所述右肩部特征点所在平面法线与显示屏法线方向的向量夹角中的任意一种或多种组合。当所述用户眼球到显示屏的距离大于所述预设健康距离参数时；或，当所述用户人脸朝向、眼球注视方向及显示屏法线方向的向量夹角大于所述预设临界夹角参数时；或，当所述面部特征点到所述左肩部特征点、所述右肩部特征点的距离不相等时；或，当所述面部特征点、所述左肩部特征点、所述右肩部特征点所在的平面法线与所述显示屏法线方向的向量夹角大于所述预设临界夹角参数时，则认为所述用户不健康地使用智能移动终端。

在本发明的又一种实施例中，所述相关提醒包括，通过显示屏、蜂鸣器或者喇叭提醒用户注意保持健康的方式使用智能移动终端；所述相关操作，包括对显示屏进行息屏操作；所述预设临界夹角参数，包括所述用户人脸朝向、眼球注视方向及显示屏法线方向的向量夹角的参数和/或所述面部特征点、所述左肩部特征点、所述右肩部特征点所在的平面法线与所述显示屏法线方向的向量夹角的参数。

本发明还提供一种智能移动终端，包括：相机，用于采集用户的人脸图像和/或半身图像；处理器，接收、处理所述人脸图像和/或所述半身图像，重构所述用户的三维人脸图像和/或三维半身图像，并通过特征提取算法提取所述用户的眼球位置信息、人脸朝向信息、眼球注视方向信息、面部特征点信息、肩部特征点信息、显示屏法线方向信息中的一种或多种组合的特征信息，构建特征判据；根据所述特征判据与预设健康距离参数、预设临界夹角参数的逻辑关系，或，根据所述特征判据判断所述用户是否健康使用智能移动终端；根据用户健康或不健康使用智能移动终端的情况执行操作。

在本发明的一种实施例中，相机还包括投影装置、图像采集装置；其中，所述投影装置，用于连续或间歇地投射红外图案化光束；所述图像采集装置，用于连续或间歇的捕捉投影于用户表面的红外光图案。

在本发明的又一种实施例中，还包括TOF深度相机，用于向所述用户投射红外光脉冲；以及捕捉从所述用户表面反射回来的红外光脉冲；所述处理器通过计算所述红外光脉冲在空间中飞行的时间，确定所述用户到TOF深度相机之间的距离。

在本发明的再一种实施例中，所述执行操作包括当所述用户不健康使用智能移动终端时，所述处理器生成相关提醒指令，并通过显示屏、蜂鸣器、喇叭提醒所述用于健康使用智能移动终端；或，所述处理器生成相关控制指令，对显示屏进行息屏操作。

本发明的有益效果为：提供一种敦促用户健康使用智能移动终端的方法及智能移动终端，所述方法通过采集用户的人脸和/或上半身图像，并通过三角测量算法重构用户的人脸和/或上半身3D图像，并通过相关处理算法提取用户的眼球位置信息、人脸朝向信息、眼球注视方向信息、面部特征点信息、肩部特征点信息以及显示屏法线方向信息中的一种或多种组合的特征信息。进一步地，基于所述特征信息，通过与预设判定准则比较判断用户是否健康使用智能移动终端。针对用户不健康使用智能移动终端的行为，及时发出相关提醒或警报，以促进用户养成健康使用智能移动终端的习惯。有利于确保用户健康地使用智能移动终端，以及进一步促进用户养成健康使用智能移动终端的习惯。

附图说明

图1是根据本发明实施例的一种健康使用智能移动终端的示意图。

图2是根据本发明实施例的一种智能移动终端的结构示意图。

图3是根据本发明实施例的一种敦促用户健康使用智能移动终端的方法示意图。

图4(a)是根据本发明实施例的又一种健康使用智能移动终端的示意图。

图4(b)是根据本发明实施例的一种健康使用智能移动终端的方法流程图。

图5(a)是根据本发明实施例的另一种健康使用智能移动终端的示意图。

图5(b)是根据本发明实施例的另一种健康使用智能移动终端的方法流程图。

图6(a)是根据本发明实施例的再一种健康使用智能移动终端的示意图。

图6(b)是根据本发明实施例的再一种健康使用智能移动终端的方法流程图。

图6(c)是根据本发明实施例的再一种健康使用智能移动终端的等效方法流程图。

其中，100-用户，110-智能移动终端，111-前置RGB-D相机，200-处理器，210-显示屏，220-麦克风，230-RGB-D相机，240-接口，250-存储器，260-电源，270-音频装置，280-MEMS传感器，290-射频及基带处理器，300-环境光/接近传感器，101-眉心特征点，102-右肩部特征点，103-左肩部特征点。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。应当理解的是，所述实施例仅仅是本发明的一部分实施例，而不是全部实施例，不能理解为对本发明的限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应该属于本发明保护的范围。

需要说明的是，本发明实施例中所含盖的功能模块，可以根据需要，通过现有技术中的一种或多种编程语言实现。对于公知的编程原理和软件构成，下文虽然不作详细阐述，但应属于本发明技术方案的一部分。

图1是根据本发明实施例的一种健康使用智能移动终端的示意图。该实施例中，用户100通过智能移动终端110获取信息或阅读电子书或浏览网页。类似于传统的移动终端，用户可以通过显示屏浏览网页、阅读电子书或观看视频等；区别在于，还设置有前置RGB-D相机111，用于连续或间歇获取用户的人脸图像、上半身图像等信息，并反馈给智能移动终端110，以便智能移动终端110提取用户的人脸朝向、眼球特征、面部特征点、肩部特征点等特征信息，以及构建特征判据；根据所述特征判据与预设临界参数的逻辑关系，判断用户是否健康使用智能移动终端110。具体地，一种实施方式中，以用户眼球到显示屏之间的距离作为特征判据，当用户眼球到显示屏的距离小于预设健康距离时，认定用户不健康地使用智能移动终端；针对用户不健康使用智能移动终端的行为，及时发出相关提醒或警报，以促进用户养成健康使用智能移动终端的习惯。需要理解的是，所述眼球特征信息包括但不仅限于：眼球的位置信息、注视方向信息；所述面部特征点包括但不仅限于：以人体面部任意器官或任意部位为基准设定的特征点；所述肩部特征点包括但不仅限于：以人体锁骨与手臂交汇点为基准设定的特征点。

图2是根据本发明实施例的一种智能移动终端的结构示意图。该智能移动终端一般包括处理器200以及与之相连接的显示屏210、麦克风220、RGB-D相机230、接口240、存储器250、电源260、音频装置270、MEMS传感器280、射频及基带处理器290，或者还包括环境光/接近传感器300等设备。需要理解的是，不同设备之间可以通过电路连接实现数据的交换或处理。此外，图2所示的智能移动终端的结构组合图仅为示意图，不能理解为对本发内容的限制，在其他等效实施例中，智能移动终端所包含的结构、设备可以更多或者更少。

处理器200用于对智能移动终端的整体控制、数据处理，包括开启/关闭相关设备采集数据、存储数据，调用、分析数据等；处理器200可以是控制/处理某单一设备的处理器，也可以是集成控制/处理多个设备的中央处理器CPU。

显示屏210用于信息的展示，以便用户获取期望的信息，包括图片、视频、文字、符号、数据等；此外，部分智能移动终端的显示屏还可以是具有触控输入功能的电容/电阻显示屏/OLED(有机电致发光二极管)柔性屏，以便用户编辑、处理相关显示信息等人机交互操作。

麦克风220用于将用户/环境的声音信息转换为电信息，以便用户更好地与智能移动终端进行信息交互。

RGB-D相机230用于获取用户人脸、上半身的全部或部分图像信息，并传输至处理器200中，以便处理器200提取用户的人脸朝向、眼球特征、人脸特征点、肩部特征点等特征信息。该实施例中，RGB-D相机包括投影装置、深度图像采集装置、RGB图像采集装置等元器件。一种实施例中，投影装置向用户或用户所在的空间投射波长为850nm或者940nm的红外图案化光束或者可见图案化光束，比如散斑光束(散斑光图案)；深度图像采集装置捕捉落于用户人脸表面或上半身表面的光图案，并输送给处理器中；处理器通过三角测量等相关算法获取用户的人脸或上半身的深度信息，重建用户的人脸或上半身三维图像；而RGB采集装置直接获取人脸或上半身的颜色图像。在一些等效实施例中，RGB-D相机也可以使用飞行时间深度相机(TOF深度相机)及RGB相机代替。可以理解的，该TOF深度相机的投影装置以特定频率/时间周期向用户或用户所在的空间发射激光束；深度图像采集装置获取用户或空间反射回来的激光束反馈给处理器200；处理器200通过计算激光束从发射到被深度图像采集装置捕获所需的时间差值来确定用户或空间的深度信息。在一些其他的实施例中，智能移动终端还可以包括双目结构光深度相机、光场相机、广角相机、长焦相机、变焦相机、鱼眼相机等部件中的任意一种或多种组合。在另外的实施例中，还可以通过RGB图像采集装置获取图像，根据图像的大小或者图像中参照物的大小确定用户或空间与显示屏的距离。

接口240用于实现智能移动终端内部或外部软、硬的连接端口，以进一步实现数据的传输、电力传输等功能，比如I/O接口、网络接口、USB接口、WIFI接口等。

存储器250包括寄存器、RAM、FLASH、硬盘等易失性或非易失性可读存储介质，用于暂时或永久性保存应用程序、数据、访问指针、地址等。具体地，存储器250存储的内容包括但不仅限于：预设健康距离参数251(用于判断用户眼球到显示屏的距离是否为健康距离的重要参数)，预设眼球注视时间参数252(用于判断用户是否过长时间使用智能移动终端的重要参数)，以及预算健康角度参数253(用于判断用户是否在健康的角度范围内使用智能移动终端的重要参数)。此外，存储器250还用于存储处理器200在执行某项任务时所产生的代码和数据。可以理解的是，存储器250作为智能移动终端的一部分，也可以独立于智能移动终端存在，比如云端存储器，其所保存的数据可以通过某些特定的通讯协议或访问端口存储/获取。

电源260电力供应设备，用于保证智能移动终端内部/外部硬件、设备提供必要的电流或电压。音频装置270用于实现语音输出，如音响、喇叭、蜂鸣器等。

MEMS传感器280用于获取移动终端当前的状态信息，比如位置、方向，加速度、重力等信息，因此MEMS传感器可以包括但不仅限于：加速度计、重力计、陀螺仪等传感器。在一个实施例中，MEMS传感器280用于激活智能移动终端的某些应用。比如，当MEMS传感器感应到用户拿起智能移动终端时，自动唤醒休眠状态下的智能移动终端。

射频及基带处理器290用于实现智能移动终端的通讯功能，比如接收基站发射的电磁波信号，并解调为相关视频/语音信号，以实现智能移动终端之间的信息交换。

智能移动终端还包括环境光/接近传感器300，用于感测用户与显示器之间的物理距离或环境光束的强度。一般地，在某一特定的距离区间内，环境光/接近传感器300接收的光束，其光强会随用户的移动而发生微小变化。环境光/接近传感器300通过将光束强度的变化转换成电信号的变化，并传输至处理器200中，以便处理器200间接唤醒休眠的智能移动终端或开启智能移动终端的人脸识别系统。在一些实施例中，基于环境光/接近传感器300所获得的光束强度信息，还可以实现显示器210亮度的自动调整，以便提供更为舒适的显示亮度；在一些其他应用中，还以可以根据该光束的强度信号，实现触控交互显示屏的息屏功能，以免造成显示屏的误触输入。

如图3所示，本发明提供一种敦促用户健康使用智能移动终端的方法，包括步骤：

1.连续或间歇采集用户的人脸图像和/或上半身图像；

这里所说的连续或间歇采集是可以根据具体情况设置的，比如可以实时采集用户的人脸图像和/或上半身图像，也可以设置一定的采集周期采集；采集的图像可以是人脸图像，也可以是上半身图像，也可以同时采集人脸图像和上半身图像；人脸图像和/或所述上半身图像包括深度图像、RGB图像、RGB-D图像、红外图像中的一种或多种组合。

2.处理所述人脸图像和/或所述上半身图像，重构所述用户的三维人脸图像和/或三维上半身图像，提取所述用户的眼球位置信息、人脸朝向信息、眼球注视方向信息、面部特征点信息、肩部特征点信息、显示屏法线方向信息中的一种或多种组合的特征信息，以构建特征判据；

获取的特征信息可以是：用户的眼球位置信息用于计算用户眼球到显示屏的距离；人脸朝向信息、眼球注视方向信息和显示屏法线方向信息用于计算用户的人脸朝向、眼球注视方向以及显示屏法线方向的向量夹角；面部特征点信息和肩部特征点信息用于计算面部特征点到左肩部特征点、右肩部特征点的距离；面部特征点信息、肩部特征点信息、显示屏法线方向信息用于计算所述面部特征点、所述左肩部特征点、所述右肩部特征点所在平面法线与显示屏法线的向量夹角。

在本发明的一种变通实施例中，可以同时获取上述所有的特征信息用于全面的获取用户的使用智能移动终端的情况；也可以获取其中的至少一组信息获取用户使用智能移动终端的情况；还可以获取上述其他组合形式的特征信息从而获取用户使用智能移动终端的情况。

3.根据所述特征判据与预设健康距离参数、预设临界夹角参数的逻辑关系，或，根据所述特征判据判断所述用户是否健康使用智能移动终端；

在本发明的一种实施例中，当用户眼球到显示屏的距离大于预设健康距离参数时，认为用户不健康地使用智能移动终端；或，当用户人脸朝向、眼球注视方向及显示屏法线方向的向量夹角大于所述预设临界夹角参数时，认为用户不健康地使用智能移动终端；或，当面部特征点到左肩部特征点、右肩部特征点的距离不相等时，认为用户不健康地使用智能移动终端；或，当面部特征点、左肩部特征点、右肩部特征点所在的平面法线与显示屏法线方向的向量夹角大于预设临界夹角参数时，认为用户不健康地使用智能移动终端。预设临界夹角参数，包括所述用户人脸朝向、眼球注视方向及显示屏法线方向的向量夹角的参数和/或所述面部特征点、所述左肩部特征点、所述右肩部特征点所在的平面法线与所述显示屏法线方向的向量夹角的参数。

4.若所述用户不健康使用所述智能移动终端，则发出相关提醒或执行相关操作；若所述用户健康使用所述智能移动终端，则继续采集所述用户的人脸图像或上半身图像。

在本发明的一种实施例中，相关提醒包括，通过显示屏、蜂鸣器或者喇叭提醒用户注意保持健康的方式使用智能移动终端；相关操作，包括对显示屏进行息屏操作。

图4(a)是根据本发明实施例的一种健康使用智能移动终端的示意图。该实施例中，智能移动终端110通过前置RGB-D相机111获取用户100的人脸图像，并通过特征提取算法从所述人脸图像中获取用户的眼球位置信息；此外，基于RGB-D相机111图像采集装置所捕获的光束(光图案)在空间中飞行的时间，智能移动终端110可以近似计算出所述眼球位置到显示屏幕的距离l。为了便于理解，一种实施方式中，RGB-D相机111的投影装置间歇地向目标空间(用户)投射红外散斑图案化光；RGB-D相机111的图像采集装置实时采集落于目标空间(用户)表面的红外光图案，并反馈给智能移动终端的处理器；基于所述红外光图案相比于标准红外光图案的畸变量，处理器可以通过三角测量算法重构目标空间(用户)的3D图像；此外，根据投影装置所投射的光束被图像采集装置捕获的时间差，处理器可以计算出用户到前置RGB-D相机的距离l₁。可以理解的，由于RGB-D相机设置在智能移动终端面向用户的一端，因此可以近似认为距离l₁等于用户眼球到RGB-D相机的距离l(基于用户的人脸3D图像，通过相关修正算法，处理器可以获得更准确的参数l)。在一些等效实施方式中，RGB-D相机可以由TOF深度相机代替；基于TOF深度相机所投射的脉冲光束，可以针对用户的眼球位置投射脉冲光束，并计算所述脉冲光束在空间中的飞行时间，精确计算出用户眼球到显示屏之间的距离l。在另外的实施例中，还可以通过RGB图像采集装置获取图像，根据图像的大小或者图像中参照物的大小确定用户或空间与显示屏的距离。

进一步地，预设健康距离参数L保存于存储器中，处理器通过逻辑运算比较距离l与健康距离L之间大小，进而判断用户是否健康使用智能移动终端。当距离l小于健康距离L时，认为用户不健康地使用智能移动终端；针对该情况，一种实施方式中，处理器200生成相关控制指令，并通过显示屏、蜂鸣器或者喇叭提醒用户注意眼球与显示屏之间的距离，确保用户健康使用智能移动终端。在其他一些等效实施方式中，处理器也可以直接通过相关控制指令关闭显示屏(息屏操作)，以确保用户养成健康使用智能移动终端的习惯。

图4(b)是根据本发明实施例的一种健康使用智能移动终端的方法流程图。该实施例中，健康使用智能移动终端的方法流程包括：

步骤401，前置RGB-D相机连续或间歇采集用户的人脸图像，并反馈给处理器。

步骤402，处理器通过三角测量算法以及特征提取算法，计算用户的人脸3D图像、眼球位置信息，获得用户眼球到RGB-D相机，即显示屏的距离l。

在本发明的一种实施例中，获得用户眼球到RGB-D相机(显示屏)的距离l可以根据RGB-D相机投影装置所投射的红外图案化光束在空间中的飞行时间，还可以通过RGB图像采集装置获取图像，根据图像的大小或者图像中参照物的大小。

步骤403，处理器通过逻辑运算，比较距离l与预设健康距离参数L之间的大小，判断用户是否健康使用智能移动终端；当距离l大于预设健康距离参数L时，保持当前状态并返回步骤401；反之，进入步骤404。

步骤404，针对用户不健康使用智能移动终端的行为，处理器生成相关控制指令，通过显示屏、蜂鸣器发出相关提醒或者直接关闭显示屏，以促进用户养成健康使用智能移动终端的习惯。

图5(a)是根据本发明实施例的另一种健康使用智能移动终端的示意图。类似于图4(a)实施例，该实施例也是通过前置RGB-D相机111获取用户100的人脸图像，以重构用户的3D人脸图像；区别在于，根据3D人脸图像，智能移动终端110还通过相关特征提取算法提取了用户100的人脸朝向信息N1，以及通过眼球虹膜对红外光束高反射率的特征，获得用户眼球注视方向信息N2。可以理解的，健康使用智能移动终端110的一个重要标准是：确保用户人脸朝向、眼球注视方向以及显示屏所在平面的法线方向位于同一平面内，即要求用户人脸朝向N1、用户眼球注视方向N2以及显示屏所在平面的法线方向N三者之间相互平行。因此，一种实施方式中，智能移动终端可以通过相关特征提取算法、逻辑运算计算向量N、N1、N2之间的夹角来判断用户是否健康使用智能移动终端。在其他等效实施方式中，智能移动终端110也可仅计算向量N1与N2之间的夹角或者N2与N之间的夹角来判断用户是否健康使用智能移动终端。

进一步地，考虑到人眼具有一定视角范围(集中注视时为25°)，因此预设临界夹角保存在存储器中，以便智能移动终端(处理器)通过逻辑运算比对向量N、N1以及N2之间的夹角与临界夹角之间的关系，判断用户是否健康使用智能移动终端。具体地，一种实施方式中，临界夹角可以根据人眼(端正姿态注视显示屏)左/右/上/下的极限视角所构成的空间立体角确定。当向量N、N1以及N2之间的夹角大于临界夹角时，认为用户不健康地使用智能移动终端；针对该情况，一种实施方式中，处理器生成相关控制指令，并通过显示屏、蜂鸣器或者喇叭提醒用户注意眼球的注视方向、人脸朝向、显示屏放置方向等，或者直接进行息屏操作，以确保用户养成健康使用智能移动终端的习惯。

图5(b)是根据本发明实施例的另一种健康使用智能移动终端的方法流程图。该实施例中，健康使用智能移动终端的方法流程包括：

步骤501，前置RGB-D相机连续或间歇获取用户的人脸图像，并反馈给处理器。

步骤502，处理器通过三角测量算法，重构用户的人脸3D图像，并根据所述人脸3D图像，提取用户的人脸朝向的向量N1信息，以及根据人眼角膜对红外光束具有高反射率的特征，提取用户眼球注视方向的向量N2信息。

步骤503，处理器通过相关平移算法、逻辑运算，将所述人脸朝向的向量N1、眼球注视方向的向量N2以及显示屏所在平面的法线向量N，平移至同一个坐标系下，并计算向量N、N1、N2之间的夹角。

步骤504，处理器通过逻辑运算，比较向量N、N1、N2之间的夹角与预设临界夹角之间的大小，判断用户是否健康使用智能移动终端；当向量N、N1、N2之间的夹角小于预设临界夹角时，保持智能移动终端的当前工作状态，并返回步骤501；反之，进入步骤505。

步骤505，与图4(b)实施例的步骤404类似，用于发出提醒或执行息屏操作，以确保用户健康使用智能移动终端，此处不作重复赘述。

图6(a)是根据本发明实施例的又一种健康使用智能移动终端的示意图。该实施例中，智能移动终端110通过前置RGB-D相机111获取用户100的上半身图像(包括人脸图像、颈部图像、肩部图像等)，并通过三角测量算法重构用户100的上半身3D图像；基于所述上半身3D图像以及特征点标定算法，智能移动终端110可以标记出人脸任意一个器官(或任意一个区域)、左/右肩部、颈部位等位置，并针对所标记的位置生成对应的特征点；根据所述特征点的位置及其之间的距离，智能移动终端110可以判断用户100是否健康使用智能移动终端。为了便于理解，一种实施方式中，以眉心101、右肩部102以及左肩部103作为标记部位，进行特征点标记；则智能移动终端可通过计算特征点101、特征点102、特征点103之间的距离确定用户的身体姿势特征，进而判断用户是否健康使用智能移动终端110。可以理解的，端正的坐姿是健康使用智能移动终端的一个重要前提；因此，基于端正坐姿的特征，用户头部应当位于左右肩部的中轴线上，即要求用户头部到左右肩部的距离应当相等。

进一步地，当眉心特征点101到左右肩部特征点102、103之间的距离不相等时，认为用户不健康地使用智能移动终端110，此时处理器生成相关控制指令，并通过显示屏、蜂鸣器或者喇叭提醒用户注意端正坐姿等，或者直接进行息屏操作，以确保用户养成健康使用智能移动终端的习惯。

图6(b)是根据本发明实施例的又一种健康使用智能移动终端的方法流程图。该实施例中，健康使用智能移动终端的方法流程包括：

步骤601，前置RGB-D相机连续或间歇获取用户的上半身图像(包括人脸图像、颈部图像以及肩部图像等)，并反馈给处理器。

步骤602，处理器通过三角测量算法，重构用户的上半身3D图像，并根据所述3D图像以及特征点标记算法，对用户面部某一特征部分(器官)、左肩部以及右肩部进行特征点标记。

步骤603，处理器通过逻辑运算，计算面部特征点到右肩部特征点之间的距离L1，以及面部特征点到左肩部特征点之间的距离L2，并进入下一步骤。

步骤604，处理器通过逻辑运算，比较距离L1与距离L2大小，判断用户是否健康使用智能移动终端；当距离L1等于距离L2时，保持智能移动终端的当前工作状态，并返回步骤601；反之，进入步骤605。

步骤605，与图4(b)实施例的步骤404类似，用于发出提醒或执行息屏操作，以确保用户健康使用智能移动终端，此处不作重复赘述。

在另一种等效实施例中，参阅图6(a)，基于眉心特征点101、右肩部特征点102以及左肩部特征点103，智能移动终端还可以确定一个平面以及该平面的法线向量N3；进一步地，智能移动终端通过计算所述向量N3与显示屏所在平面的法线向量N之间的空间夹角，可以监测用户身体姿势的变化及评估用户是否健康地使用智能移动终端。可以理解的，当用户头部发生偏侧，特征点所构成的平面也会发生相应的偏侧，即相量N3与向量N之间的空间夹角会发生变化。

考虑到，用户使用智能移动终端的习惯差异，比如阅读过程中喜欢随着文字左右或上下摆动头部，预设临界夹角保存与存储中，以便智能移动终端(处理器)通过逻辑运算比对向量N、N3的空间夹角与临界夹角之间的关系，判断用户是否健康地使用智能移动终端。

图6(c)是根据本发明实施例的又一种健康使用智能移动终端的等效方法流程图。该实施例中，健康使用智能移动终端的方法流程包括：

步骤701-步骤702，为智能移动终端获取用户上半身图像、标定特征部位的过程，与图6(b)实施例步骤601-步骤602类似，此处不作重复赘述。

步骤703，处理器基于所述特征点位置，构建特征点平面，以及通过逻辑运算计算所述平面的法线向量N3与显示屏所在平面的法线向量N的空间夹角，并进下一步骤。

步骤704，处理器通过逻辑运算，比较向量N3、N的夹角与预设临界夹角之间的大小，判断用户是否健康使用智能移动终端；当向量N3、N之间的空间夹角小于预设临界夹角时，保持智能移动终端的当前工作状态，并返回步骤701；反之，进入步骤705。

步骤705，与图4(b)实施例的步骤404类似，用于发出提醒或执行息屏操作，以确保用户健康使用智能移动终端，此处不作重复赘述。

在其他一些等效实施例中，智能移动终端还可以基于用户注视显示屏的时间作为判断用户是否健康使用智能移动终端的依据。具体地，比如，智能移动终端通过前置RGB-D相机连续或间歇采集用户的人脸图像，并根据所采集的人脸图像提取用户的眼球注视方向以及根据RGB-D相机的帧率、采集图像的数量计算眼球注视显示屏的时间。此外，预设临界时间保存于存储器中；当用户注视显示屏的时间超过预设临界时间时，认定用户不健康的使用智能移动终端，并通过相关设备发出提醒或执行相关息屏操作，以确保用户养成健康使用智能移动终端的习惯。

在另一些等效实施例中，智能移动终端还可以同时结合图4(a)、图5(a)以及图6(a)各个实施例的方案，采用多种方式同时或轮流监测用户是否健康使用智能移动终端，具体过程此处不做重复赘述。

区别于传统移动终端，本发明提供一种基于RGB-D相机实现健康使用智能移动终端的方法，其有益效果是：提供前置RGB-D相机采集用户的人脸和/或上半身图像，并反馈给处理器；处理器通过三角测量算法重构用户的人脸、上半身3D图像，并通过相关处理算法提取用户的人脸朝向、眼球特征、面部特征点、肩部特征点等特征信息。进一步地，基于所述特征信息，处理器通过预设判定准则，判断用户是否健康使用智能移动终端。针对用户不健康使用智能移动终端的行为，及时发出相关提醒或警报，以促进用户养成健康使用智能移动终端的习惯。本发明提供的方法，有利于确保用户健康地使用智能移动终端，以及进一步促进用户养成健康使用智能移动终端的习惯。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种敦促用户健康使用智能移动终端的方法，其特征在于，包括步骤：

S1：连续或间歇采集用户的人脸图像和/或上半身图像；

S2：处理所述人脸图像和/或所述上半身图像，重构所述用户的三维人脸图像和/或三维上半身图像，提取所述用户的眼球位置信息、人脸朝向信息、眼球注视方向信息、面部特征点信息、肩部特征点信息以及显示屏法线方向信息中的一种或多种组合的特征信息，以构建特征判据；

S3：根据所述特征判据与预设健康距离参数、预设临界夹角参数的逻辑关系，或，根据所述特征判据判断所述用户是否健康使用智能移动终端；

S4：若所述用户不健康使用所述智能移动终端，则发出相关提醒或执行相关操作；若所述用户健康使用所述智能移动终端，则继续采集所述用户的人脸图像或上半身图像。

2.如权利要求1所述的敦促用户健康使用智能移动终端的方法，其特征在于，所述人脸图像和/或所述上半身图像包括深度图像、RGB图像、RGB-D图像、红外图像中的一种或多种组合。

3.如权利要求1所述的敦促用户健康使用智能移动终端的方法，其特征在于，所述特征判据包括以下至少一种：

所述用户的眼球到显示屏的距离；

所述用户的人脸朝向、眼球注视方向以及显示屏法线方向的向量夹角；

所述面部特征点到所述左肩部特征点、所述右肩部特征点的距离；

所述面部特征点、所述左肩部特征点、所述右肩部特征点所在平面法线与显示屏法线方向的向量夹角中的任意一种或多种组合。

4.如权利要3所述的敦促用户健康使用智能移动终端的方法，其特征在于，当所述用户眼球到显示屏的距离大于所述预设健康距离参数时；

或，当所述用户人脸朝向、眼球注视方向及显示屏法线方向的向量夹角大于所述预设临界夹角参数时；

或，当所述面部特征点到所述左肩部特征点、所述右肩部特征点的距离不相等时；

或，当所述面部特征点、所述左肩部特征点、所述右肩部特征点所在的平面法线与所述显示屏法线方向的向量夹角大于所述预设临界夹角参数时；

则认为所述用户不健康地使用智能移动终端。

5.如权利要求1所述的敦促用户健康使用智能移动终端的方法，其特征在于，所述相关提醒包括，通过显示屏、蜂鸣器或者喇叭提醒用户注意保持健康的方式使用智能移动终端；

所述相关操作，包括对显示屏进行息屏操作；

所述预设临界夹角参数，包括所述用户人脸朝向、眼球注视方向及显示屏法线方向的向量夹角的参数和/或所述面部特征点、所述左肩部特征点、所述右肩部特征点所在的平面法线与所述显示屏法线方向的向量夹角的参数。

6.一种智能移动终端，其特征在于，包括：

相机，用于采集用户的人脸图像和/或半身图像；

处理器，接收、处理所述人脸图像和/或所述半身图像，重构所述用户的三维人脸图像和/或三维半身图像，并通过特征提取算法提取所述用户的眼球位置信息、人脸朝向信息、眼球注视方向信息、面部特征点信息、肩部特征点信息、显示屏法线方向信息中的一种或多种组合的特征信息，构建特征判据；根据所述特征判据与预设健康距离参数、预设临界夹角参数的逻辑关系，或，根据所述特征判据判断所述用户是否健康使用智能移动终端；根据用户健康或不健康使用智能移动终端的情况执行操作。

7.如权利要求6所述的智能移动终端，其特征在于，相机还包括投影装置、图像采集装置；其中，

所述投影装置，用于连续或间歇地投射红外图案化光束；

所述图像采集装置，用于连续或间歇的捕捉投影于用户表面的红外光图案。

8.如权利要求6所述的智能移动终端，其特征在于，还包括TOF深度相机，用于向所述用户投射红外光脉冲；以及捕捉从所述用户表面反射回来的红外光脉冲。

9.如权利要求8所述的智能移动终端，其特征在于，所述处理器通过计算所述红外光脉冲在空间中飞行的时间，确定所述用户到TOF深度相机之间的距离。

10.如权利要求6-9的任一所述的智能移动终端，其特征在于，所述执行操作包括当所述用户不健康使用智能移动终端时，所述处理器生成相关提醒指令，并通过显示屏、蜂鸣器、喇叭提醒所述用于健康使用智能移动终端；或，所述处理器生成相关控制指令，对显示屏进行息屏操作。