CN109756673B - 一种控制显示状态的方法和终端 - Google Patents

Abstract

一种能够进行显示屏状态的自动控制的移动电子装置。所述移动电子装置包括：处理器，所述处理器用于控制所述移动电子装置的操作；前置显示屏，所述前置显示屏耦合到所述处理器并且布置在所述移动电子装置的前侧上，所述前置显示屏具有开启状态和关闭状态；运动传感器，所述运动传感器耦合到所述处理器，所述运动传感器用于检测所述移动电子装置的运动；前置摄像头，所述前置摄像头布置在所述装置的所述前侧上，所述前置摄像头耦合到所述处理器并且用于捕获图像，所述处理器用于基于所述运动传感器的运动检测以及基于所述前置摄像头所捕获的一幅或多幅图像来控制所述显示屏的所述开启状态和关闭状态，所述处理器用于分析所述一幅或多幅图像以确定用户的面部是否出现在所述一幅或多幅图像中。

Description

一种控制显示状态的方法和终端

技术领域

本发明涉及一种移动电子装置，所述装置包括显示状态控制。

背景技术

智能手机在消费者市场上变得越来越流行。多年来，电池在容量密度方面的提升非常有限，在这种情况下，为了支持各种应用和游戏，装置的功耗便成为影响用户体验的非常重要的因素。例如，现在市场上的大多数智能手机需要每天或每两天充电。为了克服功耗方面的这些问题，在选择更高电源效率的硬件部件方面，例如，某些感应器等，以及设计更高电源效率的硬件构架方面，例如电源管理单元(PMU)等，已做出了大量努力，从而向硬件系统的各部分提供更有效的电源并且向各装置提供智能接通或切断的电源。同时，也逐步努力在软件层面设计不同水平的节能模式，例如，已开发出针对睡眠模式的不同设置。此外，许多移动装置具有锁定模式。该锁定模式可以用于防止触摸屏被无意操作，例如，当该装置在用户口袋或钱包中时或者当另一物体倚靠着该装置放置时。该锁定模式也可以用于防止未经许可人员使用该装置。通常，该装置经编程以在用户按特定按钮或一系列按钮时或者在该装置已经空闲特定的一段时间后进入锁定模式。当用户需要使用锁定的装置时，该用户通常需要拖动滑动条，按特定按钮或一系列按钮(例如，输入密码)以对该装置进行解锁。然而，用户可能会发现这些步骤是不方便且费时的。例如，当装置检测到它已经空闲了特定的一段时间时，用户可能正在使用该装置阅读文件。在这种情况下，该装置将自动进入锁定模式，它将关闭显示屏或使显示屏变暗，而用户需要对装置进行解锁之后才能继续阅读文件。在另一实例中，用户可能会容易忘记装置解锁所需的密码。因此，用户可能会决定对该装置进行配置使其不会自动锁定。如果之后她忘记锁定她的装置或者选择非手动地锁定装置，那么会使该装置易于受到无意的操作或未经允许的使用的影响。此外，关闭屏幕之前的延迟时间通常是不必要的，因为用户通常已经将移动装置闲置了，例如，在闲置状态是由运动传感器来确定的情况下。由于屏幕是最耗电的部件之一，尤其是在具有高分辨率的大屏幕的当今智能手机中，因此在移动装置的功耗方面，屏幕的开启时间(on-time)变得越来越重要。因此，有必要使移动装置屏幕的功耗最小化。

发明内容

在这种背景下，本发明的一个目标是提供一种移动电子装置，该装置的屏幕具有降低的功耗。该目标是通过提供这样一种移动电子装置来实现的，所述移动电子装置包括：处理器，所述处理器用于控制所述移动电子装置的操作；前置显示屏，所述前置显示屏耦合到所述处理器并且布置在所述移动电子装置的前侧，所述前置显示屏具有开启状态和关闭状态；运动传感器，所述运动传感器耦合到所述处理器，所述运动传感器用于检测所述移动电子装置的运动；前置摄像头，所述前置摄像头布置在所述装置的前侧，所述前置摄像头耦合到所述处理器并且用于捕获图像，所述处理器用于基于所述运动传感器的运动检测以及基于所述前置摄像头所捕获的一幅或多幅图像来控制所述显示屏的开启状态和关闭状态，所述处理器用于分析所述一幅或多幅图像以确定用户的面部是否出现在所述一幅或多幅图像中。

现已发现许多移动电子装置在用户不在场时在输送到显示屏的电力方面浪费了宝贵的电池容量，并且已发现主动检测用户是否在场是有好处的，可以通过分析来自前置摄像头的图像来检测用户是否在场，从而控制前置显示器的开启状态和关闭状态，可以通过对移动装置的处理器进行配置而基于运动检测以及基于对所述前置摄像头所捕获的一幅或多幅图像的分析来控制所述显示屏的开启状态和关闭状态。

优选地，所述处理器用于当检测到用户的面部出现在所述一幅或多幅图像中时，使前置显示屏处于所述开启状态，并且当在所述一幅或多幅图像中未检测到用户的面部出现时，使所述前置显示屏处于关闭状态。

因此，它与当今移动装置中已知的调暗模式存在着明显差别。当用户在场时，处理器用于使前置显示屏处于所述开启状态，而当在图像中未检测到用户的出现时，处理器用于使前置显示屏处于关闭状态，这样当用户不在场时处于关闭状态下的屏幕不会消耗电力。

优选地，所述处理器用于使用一种边缘检测图像处理算法来分析所述一幅或多幅图片。

所述处理器可以用于使用一种高通滤波器图像处理算法来分析所述一幅或多幅图片。

优选地，所述处理器用于分析面部是否出现在所述一幅或多幅图片中。

在本发明的一项实施例中，所述处理器用于使用面部识别图像处理算法来分析所述一幅或多幅图片。

所述处理器可以用于在物体与摄像头的距离在小于0.5米内的情况下分析所述一幅或多幅图片。

所述前置显示屏的关闭状态的控制可以基于至少两幅连续捕获的图像来进行。

所述前置显示屏的开启状态的控制可以基于至少两幅连续捕获的图像来进行。

由于基于各算法进行的图像处理不可能总是完全趋同，因此可以通过基于至少两幅连续的图像来进行控制以避免图像中单独的误译，例如，基于一幅被错误分析的图像，从而改善了控制的冗余。

所述前置显示屏的关闭状态的控制包括关闭状态延迟时间，这样当所述前置显示屏处于开启状态且不再检测到用户的面部的出现时，所述前置显示屏的关闭状态便在关闭状态延迟时间之后被激活。

由于基于各算法进行的图像处理不可能总是完全趋同，因此可以通过在开启状态和/或关闭状态的控制中引入延迟时间，使得例如当在开启状态中不再检测到用户的面部的出现时，所述前置显示屏的关闭状态在延迟时间之后被激活且反之亦然，从而改善了控制的冗余。为了避免开启状态与关闭状态之间的闪变(flickering)，延迟时间可以确保显示器的状态只在需要时变化。

所述摄像头可以为低分辨率摄像头。

所述摄像头可以为低功耗摄像头。

所述摄像头可以为低成本摄像头。

在本发明的一项实施例中，所述移动装置还包括额外的高分辨率摄像头，所述额外的高分辨率摄像头用于捕获高分辨率摄像头图像以用于除了确定用户的面部是否出现在所述一幅或多幅图像中以外的其他目的，而其中所述前置摄像头用于确定用户的面部是否出现在所述一幅或多幅图像中。

在本发明的一项实施例中，所述处理器经配置以包括用于控制所述显示摄像头的开启状态和关闭状态的触发器(toggle)，这样所述显示器的开启状态和关闭状态的控制可以被禁用，从而在例如播放电影时启用一直开启状态。

为了适应用户的具体情况，根据本发明的显示控制可以被触发开启或关闭。

本发明的另一目标是提供一种用于对具有前置摄像头的移动电子装置的前置显示屏的开启状态和关闭状态进行自动控制的方法，所述方法包括以下步骤：

a)使用所述前置摄像头来捕获一幅或多幅图像，

b)分析所述一幅或多幅图像以确定用户的面部是否出现在所述一幅或多幅图像中，以及

c)基于步骤b对所述前置显示屏的所述开启状态和关闭状态进行控制，使得当在所述一幅或多幅图像中检测到用户的出现时，使移动电子装置的前置显示屏处于开启状态，而当在所述一幅或多幅图像中未检测到用户的出现时，使移动电子装置的前置显示屏处于关闭状态。

本发明的另一目标是提供一种用于对具有前置摄像头和运动传感器的移动电子装置的前置显示屏的开启状态和关闭状态进行自动控制的方法，所述方法包括以下步骤：

-当移动电子装置的所述前置显示屏处于所述关闭状态时检测所述装置的运动，

-响应于对所述装置的运动的检测，使用所述前置摄像头来捕获一幅或多幅图像，

-通过分析所述一幅或多幅图像来确定所述装置移到了使用位置，其中所述使用位置指示出用户可能想要使用所述装置，

-响应于确定所述装置位于所述使用位置，对移动电子装置的前置显示屏进行控制以使其处于所述开启状态。

所述方法还可以包括以下步骤：分析所述一幅或多幅图像，所述分析包括边缘检测图像处理算法的使用。

所述方法还可以包括以下步骤：分析所述一幅或多幅图像，所述分析包括面部识别图像处理算法的使用。

所述方法还可以包括以下步骤：分析所述一幅或多幅图像，所述分析包括面部识别图像处理算法的使用。

所述方法还可以包括以下步骤：用户进入以摄像头为中心的0.5米的半径区域中。

所述方法还可以包括以下步骤：基于至少两幅连续捕获的图像来对所述前置显示屏的开启状态和关闭状态进行控制。

所述方法还可以包括以下步骤：对所述前置显示屏的关闭状态进行控制，所述控制包括关闭状态延迟时间，这样当所述前置显示屏处于开启状态并且不再检测到用户的面部的出现时，所述前置显示屏的关闭状态便在关闭状态延迟时间之后被激活。

所述方法还可以包括以下步骤：使用高分辨率摄像头来获取低分辨率图像，所述高分辨率摄像头用于捕获低分辨率图像以确定用户的面部是否出现在一幅或多幅图像中并且用于捕获高分辨率图像以用于除了确定用户的面部是否出现在一幅或多幅图像中以外的其他目的。

所述方法也可以包括以下步骤：触发所述显示摄像头的开启状态和关闭状态的控制，这样所述显示器的开启状态和关闭状态的控制可以被禁用，从而在例如播放电影时启用一直开启状态。

通过具体说明书，根据本发明的移动电子装置、方法和软件产品的其他目标、特征、优点和特性将显而易见。

附图说明

在本说明书的以下详述部分中，将参看附图中所示的示例性实施例来更加详细地解释本发明，其中：

图1a为根据本发明的一项实施例的移动电子装置的前视图，

图1b为根据本发明的一项实施例的移动电子装置的前视图，

图2为用户手持根据本发明的一项实施例的移动电子装置的透视图，

图3为移动装置的方框图，

图4为描绘了根据本发明的一项实施例的方法的流程图，

图5为描绘了根据本发明的一项实施例的方法的流程图，以及

图6为描绘了根据本发明的一项实施例的方法的流程图。

具体实施方式

在以下具体实施方式中，将通过优选实施例以蜂窝电话/移动电话的形式来描述根据本发明的方法以及移动电子装置。

图1a和图1b以移动电话1的形式描绘了根据本发明的移动电子装置1的第一实施例。移动电子装置1包括前置显示屏2，所述前置显示屏布置在所述移动电子装置1的前侧4上，并且所述前置显示屏2具有开启状态S1和关闭状态S2。图1a所示为处于开启状态S1的前置显示器，而图1b所示为处于关闭状态S2的前置显示器。

图2为用户10手持根据本发明的一项实施例的移动电子装置1的透视图，其示出了前置显示屏2，所述前置显示屏布置在所述移动电子装置1的前侧4上，面向移动电子装置1的用户10。图2中还示出了布置在该装置前侧上的前置摄像头。

图3描绘了根据本发明来构造的移动电子装置1的简化的总体架构的方框图。处理器模块5对所述移动电子装置1的操作进行控制。处理器模块5用于基于运动传感器6的运动检测以及基于所述前置摄像头3所捕获的一幅或多幅图像来对前置显示屏2的开启状态S1和关闭状态S2进行控制。所述处理器用于分析由前置摄像头3所获取的图像以确定用户的面部是否出现在图像中。处理器模块5还形成用于所述装置的一些外围单元的接口，所述外围单元包括(闪存)ROM存储器8和电池9。在图3中，处理器模块具有集成RAM 7。

运动传感器6可以基于各种物理装置，例如，压电式部件、压阻式部件和电容部件，这些物理装置通常用于将机械运动转换成电信号，但是关于所述装置的运动传感器6如何操作则没有限制。然而，有利的是使用低功耗的运动传感器。

根据本发明，处理器5用于对所述移动电子装置1的操作进行控制。前置显示屏2耦合到处理器5，并且所述前置显示屏具有开启状态S1和关闭状态S2。运动传感器6也耦合到处理器上，所述运动传感器用于检测移动电子装置的运动。将前置摄像头3布置在移动装置的前侧4上。所述前置摄像头耦合到处理器上并且用于捕获图像。根据本发明，所述处理器用于基于所述运动传感器6的运动检测以及基于所述前置摄像头3所捕获的一幅或多幅图像来对所述显示屏2的开启状态S1和关闭状态S2进行控制，所述处理器5用于分析一幅或多幅图像以确定用户的面部是否出现在所述一副或多幅图像中。

使用根据本发明的移动电子装置的面部出现检测可以通过使用运动传感器连续地测量移动电子装置1的运动的过程来执行。当检测到装置1的运动时，即使在仅检测到对应于静止地拿着所述装置的用户的微小运动时，前置摄像头也会被处理器激活以使用前置摄像头拍照，随后使用标准的边缘检测算法或2D高通滤波器算法对图像进行处理，从而获得图像的轮廓以及图像中物体的轮廓。如果该算法检测到用户出现在图像中，例如，通过检测到蛋形弯曲闭环轮廓的尺寸大于某个预定阈值，那么它可以得出人的面部出现在前置摄像头的正前方这一结论，否则，它得出的结论是：在LCD/前置摄像头前没有出现面部。

计算复杂性可以保持在绝对最小值处，以最小化计算电力，从而降低装置的功耗。当功耗可能不那么重要时，可以使用复杂的面部识别算法。典型的面部识别算法通常经过若干阶段，包括边缘检测、分段、特征提取、匹配等，因此与使用边缘检测等简单的面部出现检测算法相比，会消耗更多电力。

典型的前置显示器2，例如LCD或AMOLED，通常包括用于显示器背光的六个LED，每个LED消耗约10mA电力。因此，显示屏2的总功耗可能约为70mA，与该类移动电子装置1中的其他部件相比，这是极大量的功耗。移动电子装置中的当前的节能方案是设置，例如，屏幕超时，以在闲置15秒(或30秒、1分钟、2分钟、10分钟)之后关闭显示器。

使用屏幕超时时间段的方法在好的用户体验与好的节能机制之间的权衡方面存在固有问题。例如，如果屏幕超时太快，那么该装置可以在显示屏的关闭状态期间节能，但是可能同时需要用户反复地触摸屏幕来避免进入关闭状态，从而会打扰用户如阅读等。另一方面，当显示屏关闭的太慢时，电池会较快的耗尽。

基于手机运动检测以及人的头部图像出现检测的组合机制，手机将知道用户是否在显示器前方并且可以立刻关闭显示器以节能，并且同时保持最终完整的用户体验。

本发明还涉及一种用于对具有前置摄像头的移动电子装置的前置显示屏的开启状态和关闭状态进行自动控制的方法。图4描绘了根据本发明的一项实施例的方法的流程图。所述方法包括以下步骤：a)使用前置摄像头来捕获一幅或多幅图像，b)分析所述一幅或多幅图像以确定用户的面部是否出现在在所述一幅或多幅图像中，以及c)基于步骤b对所述前置显示屏的开启状态和关闭状态进行控制，使得当在所述一幅或多幅图像中检测到用户的出现时，使移动电子装置的所述前置显示屏处于开启状态，而当在所述一幅或多幅图像中未检测到用户的出现时，使所述前置显示屏处于关闭状态。

如图5所示，本发明还涉及另一种用于对具有前置摄像头和运动传感器的移动电子装置的前置显示屏的开启状态和关闭状态进行自动控制的方法，所述方法包括以下步骤：当移动电子装置的所述前置显示屏处于开启状态时检测所述装置的运动，并且响应于对所述装置的运动的检测，使用所述前置摄像头来捕获一幅或多幅图像。随后通过分析所述一幅或多幅图像来确定所述装置移到了空闲位置，其中所述空闲位置指示出用户可能想要停止使用所述装置，以及响应于确定所述装置位于所述空闲位置，对移动电子装置的所述前置显示屏进行控制使其处于所述关闭状态。

当移动装置1开启时，处理器5可以运行可执行软件，以检测手机是否运动，不计微小振动或稳定状态。可以通过使用运动传感器6，例如加速计，来完成该检测。可以通过使用其他方法或加速计以外的其他传感器来完成该运动检测。当运动检测确认手机发生了运动时，可执行软件便开始检测在显示器前方是否出现了人的头部图像。可以使用手机的前置摄像头来拍摄人的头部图像，通常所述前置摄像头每次耗时较短且功耗较低，例如，在500ms内的功耗为10mA。图像处理功能可以包括简单的头部图像边缘检测。如果“蛋形轮廓”大于某一尺寸阈值，那么可以得出结论：人的头部出现在显示器的前方，即使该头部没有看着显示器也是如此。通过在外部芯片中或在SW代码中实施时使用低功耗的专用前置摄像头以及所述摄像头中的简单的图像处理功能来这样做，所述方法的功耗可以保持最低。如果未检测到头部的出现，那么显示器将立刻关闭；而如果检测到用户头部的出现，那么显示屏将保持开启状态。本发明在用户体验与节能之间提供了最佳权衡。它在用户远离显示器或将移动装置收起来的情况下，立刻关闭显示器，而不是等待15秒或甚至长达10分钟的屏幕超时。用户通常会在快速看手机之后把它收起来。这种行为通常每天发生60次以上，因此本发明可能节约的电力估计可以在18mAh至70mAh的范围内，或甚至更多。

如图6所示，本发明还涉及另一种用于对具有前置摄像头和运动传感器的移动电子装置的前置显示屏的开启状态和关闭状态进行自动控制的方法，所述方法包括以下步骤：当移动电子装置的所述前置显示屏处于关闭状态时检测所述装置的运动，响应于对所述装置的运动的检测，使用所述前置摄像头来捕获一幅或多幅图像。随后通过分析所述一幅或多幅图像来确定所述装置移到了使用位置，其中所述使用位置指示出用户可能想要使用所述装置，以及响应于确定所述装置位于所述使用位置，对移动电子装置的所述前置显示屏进行控制使其处于所述开启状态。

控制屏幕的关闭方式以节能可以用于使用相同类型的算法来智能地开启显示屏，例如，为了改善用户体验。如果用户仅仅通过拿起手机并且看向屏幕便自动地激活屏幕，那么用户可以避免像例如传统的移动装置所需要的那样对屏幕或任何按钮进行按压来激活屏幕。

例如，尽管本发明就移动电话进行了描述，但是应了解，本发明也可以应用于其他类型的电子装置中，例如，摄像头、录像机、音乐播放器、掌上电脑等。

所附权利要求书中所使用的术语“包括”不排除其它元件或步骤。所附权利要求书中所使用的术语“一”不排除多个。单个处理器或其他单元可以实现权利要求中列举的若干装置的功能。

尽管已出于说明目的详细描述了本发明，但应了解，此类细节只是为了所述目的，并且在不脱离本发明的范围的情况下，所属领域的技术人员可进行各种修改。

Claims (15)

1.一种控制显示状态的方法，所述方法应用于终端，所述终端包括前置显示屏和前置摄像头，所述前置显示屏具有开启状态和关闭状态，其特征在于，所述方法包括：

所述终端的所述前置显示屏处于关闭状态，所述终端检测所述终端的运动；

响应于对所述终端的运动的检测，所述终端的所述前置摄像头获取图像，获得所述图像的轮廓；

所述终端根据运动检测以及所述前置摄像头所捕获的图像控制所述显示屏状态，确定所述图像是否检测到用户的面部，其中，当检测到所述图像中的弯曲闭环轮廓的尺寸大于预定阈值，则确定在所述图像中检测到用户的面部，所述显示状态包括开启状态或关闭状态，当检测到用户的面部，开启所述显示屏或保持所述显示屏的开启状态，当未检测到用户的面部，关闭所述显示屏或保持所述显示屏的关闭状态。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述终端响应于对所述终端的运动检测，激活所述前置摄像头。

3.根据权利要求1所述的方法，其特征在于，所述图像包括一幅或多幅图像。

4.根据权利要求1-3任一所述的方法，其特征在于，所述前置显示屏处于开启状态为解锁状态。

5.根据权利要求1-3任一所述的方法，其特征在于，所述终端通过运动传感器检测所述终端的运动。

6.根据权利要求5所述的方法，其特征在于，所述运动传感器包括加速计。

7.一种控制显示状态的终端，所述终端包括前置显示屏，前置摄像头，传感器和处理器，所述前置摄像头耦合到所述处理器，所述前置显示屏耦合到所述处理器，所述前置显示屏具有开启状态和关闭状态，所述传感器耦合到所述处理器，其特征在于，

所述传感器用于，当所述前置显示屏处于关闭状态时，检测所述终端的运动；

响应于对所述终端的运动的检测，所述前置摄像头用于获取图像，获得所述图像的轮廓；

所述处理器用于根据运动检测以及所述前置摄像头所捕获的图像控制所述显示屏状态，确定所述图像是否检测到用户的面部，其中，当检测到所述图像中的弯曲闭环轮廓的尺寸大于预定阈值，则确定在所述图像中检测到用户的面部，所述显示状态包括开启状态或关闭状态，当检测到用户的面部，开启所述显示屏或保持所述显示屏的开启状态，当未检测到用户的面部，关闭所述显示屏或保持所述显示屏的关闭状态。

8.根据权利要求7所述的终端，其特征在于，所述处理器还用于响应于对所述终端的运动检测，激活所述前置摄像头。

9.根据权利要求7所述的终端，其特征在于，所述图像包括一幅或多幅图像。

10.根据权利要求7-9任一所述的终端，其特征在于，所述前置显示屏处于开启状态为解锁状态。

11.根据权利要求7-9任一所述的终端，其特征在于，所述传感器包括运动传感器。

12.根据权利要求11所述的终端，其特征在于，所述运动传感器包括加速计。

13.根据权利要求7-9任一所述的终端，其特征在于，所述前置摄像头布置在所述终端的前侧。

14.一种控制显示状态的终端，其特征在于，所述终端包括：前置显示屏，前置摄像头，传感器，处理器，和存储器，其中，

所述存储器用于存储程序；

所述处理器用于调用所述程序使得所述终端执行如权利要求1-6中任一项所述的方法。

15.一种计算机可读存储介质，包括指令，其特征在于，当其在计算机上运行时，使得所述计算机执行如权利要求1-6任一所述的方法。

Images