CN113903317A - 电子设备的屏幕亮度调节方法、装置以及电子设备 - Google Patents

Abstract

本申请公开了一种电子设备的屏幕亮度调节方法、装置以及电子设备，涉及电子设备技术领域。该方法应用于电子设备，该方法包括：通过电子设备的摄像头采集人脸图像，通过神经网络模型处理人脸图像以获取人眼在屏幕上的注视点位置，基于注视点位置以及注视点位置与摄像头的距离，确定注视点是否位于屏幕内，当注视点未位于屏幕内时，调低屏幕亮度。本申请通过神经网络模型进行注视点位置的判断和检测，并根据注视点位置以及注视点位置与摄像头的距离，确定注视点未位于屏幕内时调低屏幕亮度，从而降低电子设备的功耗，以及提升智能感知交互体验。

Description

电子设备的屏幕亮度调节方法、装置以及电子设备

技术领域

本申请涉及电子设备技术领域，更具体地，涉及一种电子设备的屏幕亮度调节方法、装置以及电子设备。

背景技术

随着科学技术的发展，电子设备的使用越来越广泛，功能越来越多，已经成为人们日常生活中的必备之一。为了降低电子设备的功耗，以及减少对用户眼睛的刺激，用户可以手动调节电子设备的屏幕的亮度，但是，这种调节方式繁琐，且调节的精度较低，导致电子设备的功耗无法降低以及影响用户的使用体验。

发明内容

鉴于上述问题，本申请提出了一种电子设备的屏幕亮度调节方法、装置以及电子设备，以解决上述问题。

第一方面，本申请实施例提供了一种电子设备的屏幕亮度调节方法，应用于电子设备，所述方法包括：通过所述电子设备的摄像头采集人脸图像；通过神经网络模型处理所述人脸图像以获取人眼在所述屏幕上的注视点位置；基于所述注视点位置以及所述注视点位置与所述摄像头的距离，确定所述注视点是否位于所述屏幕内；当所述注视点未位于所述屏幕内时，调低所述屏幕亮度。

第二方面，本申请实施例提供了一种电子设备的屏幕亮度调节装置，应用于电子设备，所述装置包括：人脸图像采集模块，用于通过所述电子设备的摄像头采集人脸图像；注视点位置获取模块，用于通过神经网络模型处理所述人脸图像以获取人眼在所述屏幕上的注视点位置；注视点确定模块，用于基于所述注视点位置以及所述注视点位置与所述摄像头的距离，确定所述注视点是否位于所述屏幕内；屏幕亮度调低模块，用于当所述注视点未位于所述屏幕内时，调低所述屏幕亮度。

第三方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行上述方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。

本申请实施例提供的电子设备的屏幕亮度调节方法、装置以及电子设备，通过电子设备的摄像头采集人脸图像，通过神经网络模型处理人脸图像以获取人眼在屏幕上的注视点位置，基于注视点位置以及注视点位置与摄像头的距离，确定注视点是否位于屏幕内，当注视点未位于屏幕内时，调低屏幕亮度，从而通过神经网络模型进行注视点位置的判断和检测，并根据注视点位置以及注视点位置与摄像头的距离，确定注视点未位于屏幕内时调低屏幕亮度，从而降低电子设备的功耗，以及提升智能感知交互体验。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出了本申请一实施例提供的电子设备的屏幕亮度调节方法的流程示意图；

图2示出了本申请实施例提供的第一种场景示意图；

图3示出了本申请实施例提供的第二种场景示意图

图4示出了本申请一实施例提供的电子设备的屏幕亮度调节方法的流程示意图；

图5示出了本申请实施例提供的第三种场景示意图；

图6示出了本申请实施例提供的第四种场景示意图；

图7示出了本申请一实施例提供的电子设备的屏幕亮度调节方法的流程示意图；

图8示出了本申请的图7所示的电子设备的屏幕亮度调节方法的步骤S350的流程示意图；

图9示出了本申请一实施例提供的电子设备的屏幕亮度调节方法的流程示意图；

图10示出了本申请一实施例提供的电子设备的屏幕亮度调节方法的流程示意图；

图11示出了本申请一实施例提供的电子设备的屏幕亮度调节方法的流程示意图；

图12示出了本申请一实施例提供的电子设备的屏幕亮度调节方法的流程示意图；

图13示出了本申请实施例提供的电子设备的屏幕亮度调节装置的模块框图；

图14示出了本申请实施例用于执行根据本申请实施例的电子设备的屏幕亮度调节方法的电子设备的框图；

图15示出了本申请实施例的用于保存或者携带实现根据本申请实施例的电子设备的屏幕亮度调节方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

其中，为了降低电子设备的功耗，以及减少对用户眼睛的刺激，用户可以手动调节电子设备的屏幕的亮度。发明人经过研究发现，这种调节方式繁琐，且调节的精度较低，导致电子设备的功耗无法降低以及影响用户的使用体验。

针对上述问题，发明人经过长期的研究发现，并提出了本申请实施例提供的电子设备的屏幕亮度调节方法、装置以及电子设备，通过检测模型进行注视点位置的判断和检测，并根据注视点位置对屏幕亮度进行控制，从而降低电子设备的功耗，以及提升智能感知交互体验。其中，具体的电子设备的屏幕亮度调节方法在后续的实施例中进行详细的说明。

请参阅图1，图1示出了本申请一实施例提供的电子设备的屏幕亮度调节方法的流程示意图。该方法用于通过神经网络模型进行注视点位置的判断和检测，并根据注视点位置以及注视点位置与摄像头的距离，确定注视点未位于屏幕内时调低屏幕亮度，从而降低电子设备的功耗，以及提升智能感知交互体验。在具体的实施例中，该电子设备的屏幕亮度调节方法应用于如图13所示的电子设备的屏幕亮度调节装置200以及配置有电子设备的屏幕亮度调节装置200的电子设备100(图14)。下面将以电子设备为例，说明本实施例的具体流程，当然，可以理解的，本实施例所应用的电子设备可以为智能手机、平板电脑、穿戴式电子设备等，在此不做限定。于本实施例中，该电子设备包括摄像头和屏幕，下面将针对图1所示的流程进行详细的阐述，所述电子设备的屏幕亮度调节方法具体可以包括以下步骤：

步骤S110：通过所述电子设备的摄像头采集人脸图像。

在本实施例中，电子设备可以包括摄像头，并可以通过该摄像头进行图像采集。例如，进行人脸图像的采集。作为一种方式，该摄像头可以为前置摄像头、可以为后置摄像头、也可以为转动摄像头等，在此不做限定。

在一些实施方式中，该摄像头可以为电子设备内置的常开装置(Always on)，其中，常开装置可以为一个低功耗的能够保持常开的图像采集装置和声音采集装置。

在一些实施方式中，可以控制摄像头实时进行人脸图像采集；可以控制摄像头按预设时间间隔进行人脸图像采集；可以控制摄像头按预设时间点进行人脸图像采集；可以控制摄像头可以基于操作指令进行人脸图像采集；可以控制摄像头按其他预设规则进行人脸图像采集等，在此不做限定。

作为一种方式，可以在时间接近用户设置的息屏时间时，控制摄像头进行人脸图像采集。

步骤S120：通过神经网络模型处理所述人脸图像以获取人眼在所述屏幕上的注视点位置。

在本实施例中，可以预先获得神经网络模型，该神经网络模型可以用于进行注视点位置检测。在一实施方式中，在获取人脸图像后，可以将人脸图像输入神经网络模型，获得该神经网络模型输出的信息。

在一些实施方式中，神经网络模型可以由电子设备训练完成后存储在该电子设备，也可以由其他设备或者服务器训练完成后存储在该电子设备等，在此不做限定。其中，在神经网络模型存储在该电子设备本地的情况下，则在获取到人脸图像后，可以直接在电子设备本地调用该神经网络模型，例如，可以直接发送指令至神经网络模型，以指示该神经网络模型在目标存储区域读取该人脸图像，或者电子设备可以直接将该人脸图像输入存储在本地的神经网络模型，从而有效避免由于网络因素的影响降低人脸图像输入神经网络模型的速度，以提升神经网络模型获取人脸图像的速度，提升用户体验。

在一些实施方式中，神经网络模型可以由电子设备训练完成后存储在服务器，也可以由其他设备或者服务器训练完成后存储在服务器等，在此不做限定。其中，在神经网络模型存储在服务器的情况下，则可以获取到人脸图像后，可以通过网络发送指令至存储在服务器的神经网络模型，以指示该神经网络模型通过网络读取电子设备的摄像头采集的人脸图像，或者电子设备可以通过网络将人脸图像发送至存储在服务器的神经网络模型，从而通过将神经网络模型存储在服务器的方式，减少对电子设备的存储空间的占用，降低对电子设备正常运行的影响。

在本申请一实施例中，由于神经网络模型可以用于进行注视点位置检测。因此，当神经网络模型检测到人脸图像中包括眼睛图像时，则该神经网络模型输出的信息可以包括眼球的注视点位置，在此不再赘述。

步骤S130：基于所述注视点位置以及所述注视点位置与所述摄像头的距离，确定所述注视点是否位于所述屏幕内。

在本实施例中，当确定该神经网络模型输出的信息包括眼球的注视点位置时，则可以基于该注视点位置以及注视点位置和摄像头的距离，确定注视点是否在屏幕内。例如，当注视点位置在屏幕对应的位置区域内时，可以确定该注视点位于屏幕内，当注视单位置不在屏幕对应的位置区域内时，可以确定该注视点未位于屏幕内。

步骤S140：当所述注视点未位于所述屏幕内时，调低所述屏幕亮度。

在本申请一实施方式中，对屏幕的亮度进行控制可以包括以下一种：调高屏幕的亮度、保持屏幕的亮度、调低屏幕的亮度。其中，调低屏幕亮度可以包括熄灭屏幕亮度。

在本实施例中，当确定注视点未位于屏幕内时，则可以调低屏幕亮度，以便确定用户未关注电子设备的屏幕所显示的内容时，可以通过调低屏幕亮度的方式降低电子设备的功耗。在一些实施方式中，电子设备可以预先设置并存储有摄像头的位置，在神经网络模型输出的信息包括眼球的注视点位置时，则可以获取该注视点位置与摄像头之间的距离，并基于该注视点位置以及注视点位置以及注视点位置与摄像头之间的距离。当确定注视点未在电子设备的屏幕内时，则调低屏幕的亮度。

请参阅图2，图2示出了本申请实施例提供的第一种场景示意图。如图2所示，用户握持电子设备100，此时，电子设备100处于竖屏显示状态，且用户的注视点位置不在屏幕上，此时，可以降低屏幕的亮度或者控制屏幕熄屏。

请参阅图3，图3示出了本申请实施例提供的第二种场景示意图。如图3所示，用户握持电子设备100，此时，电子设备100处于横屏显示状态，且用户的注视点位置不在屏幕上，此时，可以降低屏幕的亮度或者控制屏幕熄屏。

本申请一实施例提供的电子设备的屏幕亮度调节方法，通过电子设备的摄像头采集人脸图像，通过神经网络模型处理人脸图像以获取人眼在屏幕上的注视点位置，基于注视点位置以及注视点位置与摄像头的距离，确定注视点是否位于屏幕内，当注视点未位于屏幕内时，调低屏幕亮度，从而通过神经网络模型进行注视点位置的判断和检测，并根据注视点位置以及注视点位置与摄像头的距离，确定注视点未位于屏幕内时调低屏幕亮度，从而降低电子设备的功耗，以及提升智能感知交互体验。

请参阅图4，图4示出了本申请一实施例提供的电子设备的屏幕亮度调节方法，该方法应用于上述电子设备，下面将针对图4所示的流程进行详细的阐述，所述电子设备的屏幕亮度调节方法具体可以包括以下步骤：

步骤S210：通过所述电子设备的摄像头采集人脸图像。

步骤S220：通过神经网络模型处理所述人脸图像以获取人眼在所述屏幕上的注视点位置。

步骤S230：基于所述注视点位置以及所述注视点位置与所述摄像头的距离，确定所述注视点是否位于所述屏幕内。

步骤S240：当所述注视点未位于所述屏幕内时，调低所述屏幕亮度。

其中，步骤S210-步骤S240的具体描述请参阅步骤S110-步骤S140，在此不再赘述。

步骤S250：当所述注视点位于所述屏幕内时，保持所述屏幕的当前亮度。

其中，基于注视点位置以及注视点位置与摄像头的距离，判断到该注视点位置落在屏幕内时，即确定注视点位于屏幕内，表征用户正在注视屏幕所显示的内容或者期望查看屏幕的内容，则可以增大屏幕的亮度或保持屏幕的当前亮度，从而可以满足用户的内容查看需求。

请参阅图5，图5示出了本申请实施例提供的第三种场景示意图。如图5所示，用户握持电子设备100，此时，电子设备100处于竖屏显示状态，且用户的注视点位置在屏幕上，此时，可以增大屏幕的亮度或保持屏幕的亮度。

请参阅图6，图6示出了本申请实施例提供的第四种场景示意图。如图6所示，用户握持电子设备100，此时，电子设备100处于横屏显示状态，且用户的注视点位置在屏幕上，此时，可以增大屏幕的亮度或保持屏幕的亮度。

本申请一实施例提供的电子设备的屏幕亮度调节方法，相较于图1所示的屏幕亮度调节方法，本实施例还在注视点位于屏幕内时，保持屏幕的当前亮度，以提升用户的使用体验。

请参阅图7，图7示出了本申请一实施例提供的电子设备的屏幕亮度调节方法，该方法应用于上述电子设备，下面将针对图7所示的流程进行详细的阐述，所述电子设备的屏幕亮度调节方法具体可以包括以下步骤：

步骤S310：通过所述电子设备的摄像头采集人脸图像。

步骤S320：通过神经网络模型处理所述人脸图像以获取人眼在所述屏幕上的注视点位置。

步骤S330：基于所述注视点位置以及所述注视点位置与所述摄像头的距离，确定所述注视点是否位于所述屏幕内。

其中，步骤S310-步骤S330的具体描述请参阅步骤S110-步骤S130，在此不再赘述。

步骤S340：当所述注视点未位于所述屏幕内时，确定所述电子设备的运行模式。

其中，电子设备的运行模式可以包括智能息屏模式或非智能息屏模式。作为一种方式，电子设备在智能息屏模式下，可以根据用户的使用需求，自动调节屏幕的亮度大小，如提高屏幕的亮度、降低屏幕的亮度等。作为一种方式，电子设备在非智能息屏模式下，可以根据用户的使用需求，自动控制屏幕熄屏或亮屏，如保持屏幕亮屏、控制屏幕熄屏等。在本实施例中，当注视点未位于屏幕内时，则可以确定电子设备的运行模式，即，可以确定电子设备的运行模式为智能息屏模式还是为非智能息屏模式。

在本申请一实施例中，当电子设备的运行模式为智能息屏模式时，如果确定注视点未位于屏幕内，则可以第一方式对屏幕的亮度进行控制。当电子设备的运行模式为非智能息屏模式时，如果确定注视点未位于屏幕内，则可以第二方式对屏幕的亮度进行控制。其中，第一方式与第二方式不同。

在一些实施方式中，电子设备可以获取其运行模式。例如，电子设备可以设置有目标开关，该目标开关用于控制电子设备在智能息屏模式和非智能息屏模式之间切换。当检测到该目标开关处于开启状态时，则可以确定电子设备的运行模式为智能息屏模式，当检测到该目标开关处于关闭状态时，则可以确定电子设备的运行模式为非智能息屏模式。其中，该目标开关可以基于作用于屏幕上的触控操作处于开启状态或关闭状态。

在一些实施方式中，电子设备可以获取其运行模式。例如，可以获取电子设备设置的自动息屏时长，当该自动息屏时长大于或等于时长阈值时，则可以确定该电子设备的运行模式为智能息屏模式，当该自动息屏时长小于时长阈值时，则可以确定该电子设备的运行模式为非智能息屏模式。例如，时长阈值为1分钟，两分钟等。其中，自动息屏时长用于表征电子设备在亮屏情况下无操作进入熄屏的时长，因此，若电子设备设置的自动息屏时长小于时长阈值，则可以认为电子设备从亮屏进入息屏的时长较短，不会造成电子设备的功耗过大，则可以设置非智能息屏模式；若电子设备设置的自动息屏时长大于或等于时长阈值，则可以认为电子设备从亮屏进入息屏的时长较长，会造成电子设备的功耗过大，则可以设置智能息屏模式。

步骤S350：根据所述运行模式调低所述屏幕亮度。

在一些实施方式中，在确定电子设备的运行模式后，可以基于该运行模式调低屏幕亮度。例如，在确定电子设备的运行模式为智能息屏模式时，则可以以第一方式调低屏幕亮度，在确定电子设备的运行模式为非智能息屏模式时，则可以以第二方向调低屏幕亮度。

请参阅图8，图8示出了本申请的图7所示的电子设备的屏幕亮度调节方法的步骤S350的流程示意图。下面将针对图8所示的流程进行详细的阐述，所述方法具体可以包括以下步骤：

步骤S351：当所述运行模式为智能息屏模式时，调低所述屏幕亮度。

在一些实施方式中，电子设备的运行模式为非智能息屏模式。

在一些实施方式中，当电子设备的运行模式为智能息屏模式时，如果确定注视点未位于屏幕内，可以认为用户未注视屏幕所显示的内容或者不期望查看屏幕的内容，则可以调低屏幕亮度，以降低电子设备的功耗，同时，仍保持电子设备以低亮度显示，以避免多次开关屏幕所带来的损耗和功耗。

其中，在调低屏幕亮度之后，如果在预设时长内确定注视点持续不在屏幕内时，则将屏幕熄屏，如果在预设时长内确定注视点从不在屏幕内切换至在屏幕内时，则调高屏幕亮度。

在一些实施方式中，在将屏幕的亮度调低后，可以在预设时长内持续检测注视点位置，获取注视点位置以及注视点位置和摄像头的距离，并判断该注视点是否在屏幕内，其中，该预设时长表征从当前时间到设置的息屏时间之间的时长。

其中，当在预设时长内确定注视点持续不在屏幕内时，则可以认为用户在当前时间到达所设定的息屏时间的过程中，始终没有注视屏幕所显示的内容，则可以将屏幕熄灭，以降低电子设备的功耗。

其中，当在预设时长内确定注视点从不在屏幕内切换至在屏幕内时，则可以认为用户在当前时间达到所设定的息屏时间之前，从没有注视屏幕所显示的内容切换为注视屏幕所显示的内容，则可以调高屏幕的亮度。

步骤S352：当所述运行模式为非智能息屏模式时，将所述屏幕熄灭。

在一些实施方式中，当电子设备的运行模式为非智能息屏模式时，如果确定注视点未位于屏幕内，可以认为用户未注视屏幕所显示的内容或者不期望查看屏幕的内容，则可以直接将屏幕熄灭，以降低电子设备的功耗。

本申请一实施例提供的电子设备的屏幕亮度调节方法，相较于图1所示的电子设备的屏幕的亮度调节方法，本实施例还确定电子设备的运行模式，并根据该运行模式调低电子设备的屏幕亮度，从而提升屏幕亮度调节的多样性和合理性。

请参阅图9，图9示出了本申请一实施例提供的电子设备的屏幕亮度调节方法，该方法应用于上述电子设备，在本实施例中，注视点位置包括注视点在目标坐标系下的坐标信息，目标坐标系以摄像头的中心位置为原点建立，下面将针对图9所示的流程进行详细的阐述，所述电子设备的屏幕亮度调节方法具体可以包括以下步骤：

步骤S410：通过所述电子设备的摄像头采集人脸图像。

步骤S420：通过神经网络模型处理所述人脸图像以获取人眼在所述屏幕上的注视点位置。

其中，步骤S410-步骤S420的具体描述请参阅步骤S110-步骤S120，在此不再赘述。

步骤S430：基于所述坐标信息，获取所述注视点位置与所述摄像头的距离。

作为一种可实施的方式，电子设备可以预先以摄像头的中心为原点建立坐标系，作为目标坐标系。例如，电子设备可以预先以摄像头的中心为原点、以电子设备的纵轴为X轴、以电子设备的横轴为Y轴建立坐标系，作为目标坐标系。又例如，电子设备可以预先以摄像头的中心为原点、以电子设备的横轴为X轴、以电子设备的纵轴为Y轴建立坐标系，作为目标坐标系。

在一些实施方式中，神经网络模型输出的注视点位置可以为注视点在目标坐标系下的坐标信息，因此，在获得神经网络模型输出的注视点位置时，则可以获取该注视点位置在该目标坐标系下的坐标信息。

其中，目标坐标系在建立完成后，可以确定电子设备的屏幕在目标坐标系下的坐标范围以及确定屏幕上的各个位置在目标坐标系下的坐标信息。因此，在本实施例中，在获得注视点位置在目标坐标系下的坐标信息后，可以将注视点位置在目标坐标系下的坐标信息与坐标范围进行比较，以判断该注视点位置在目标坐标系下的坐标信息是否在坐标范围内。其中，当判断到该注视点位置在目标坐标系下的坐标信息在坐标范围内时，则可以确定该注视点位置在屏幕上，则可以保持屏幕的亮度或者提高屏幕的亮度。其中，当判断到该注视点位置在目标坐标系下的坐标信息不在坐标范围内时，则可以确定该注视点位置不在屏幕上，则可以降低屏幕的亮度或者控制屏幕熄灭。

在一些实施方式中，由于目标坐标系是以摄像头的中心为原点建立的，所以摄像头的坐标信息可以默认为(0，0)，因此，在获得注视点位置对应的坐标信息后，可以基于该坐标信息确定注视点位于与摄像头的距离。

步骤S440：基于所述注视点位置与所述摄像头的距离，确定所述注视点是否位于所述屏幕内。

在一些实施方式中，在获得注视点位置与摄像头的距离后，则可以基于该注视点位置与摄像头的距离，确定注视点是否位于屏幕内。

步骤S450：当所述注视点未位于所述屏幕内时，调低所述屏幕亮度。

其中，步骤S450的具体描述请参阅步骤S140，在此不再赘述。

本申请一实施例提供的电子设备的屏幕亮度调节方法，相较于图1所示的电子设备的屏幕亮度的调节方法，本实施例中的注视点位置包括以摄像头的中心位置为原点建立的目标坐标系中的坐标信息，基于坐标信息，获取注视点位置与摄像头的距离，并基于注视点位置与摄像头的距离，确定注视点是否位于屏幕内，从而提升注视点位置与屏幕关系确定的准确性。

请参阅图10，图10示出了本申请一实施例提供的电子设备的屏幕亮度调节方法，该方法应用于上述电子设备，下面将针对图10所示的流程进行详细的阐述，所述电子设备的屏幕亮度调节方法具体可以包括以下步骤：

步骤S510：通过所述电子设备的摄像头采集人脸图像。

步骤S520：通过神经网络模型处理所述人脸图像以获取人眼在所述屏幕上的注视点位置。

其中，步骤S510-步骤S520的具体描述请参阅步骤S110-步骤S120，在此不再赘述。

步骤S530：基于所述注视点位置和所述摄像头的位置，获取所述注视点位置与所述摄像头的位置的相对距离和相对方向。

在一些实施方式中，电子设备可以预先设置并存储有摄像头的位置，在神经网络模型输出的信息包括眼球的注视点位置时，则可以基于该注视点位置和摄像头的位置，获取该注视点位置与摄像头的位置的相对距离和相对方向。作为一种方式，电子设备可以预先设置并存储有摄像头的中心的坐标信息，在神经网络模型输出的信息包括眼球的注视点位置的坐标信息时，则可以通过换算单个屏幕像素代表的真实物理距离，来计算该注视点位置到摄像头的中心的距离，作为注视点位置与摄像头的位置的相对距离。作为一种方式，电子设备可以预先设置并存储有摄像头的中心的坐标信息，在神经网络模型输出的信息包括眼球的注视点位置的坐标信息时，可以根据摄像头的中心的坐标信息和注视点位置的坐标信息，确定该注视点位置与摄像头的中心的方向，作为注视点位置与摄像头的位置的相对方向。

步骤S540：基于所述相对距离和所述相对方向，确定所述注视点是否位于所述屏幕内。

其中，在获得注视点位置与摄像头的位置的相对距离和相对方向后，则可以基于该相对距离和相对方向，确定注视点是否位于屏幕内。

例如，摄像头设置于屏幕的顶部，当注视点位置相对摄像头的位置的相对方向为从屏幕顶部到屏幕底部的方向，且相对距离为L1时。如果电子设备的屏幕的长度为L2，且L2＞L1时，则可以确定注视点位于屏幕内。如果电子设备的屏幕的长度为L3，且L1＞L3时，则可以确定注视点未位于屏幕内。

又例如，摄像头设置于屏幕的顶部，当注视点位置相对摄像头的位置的相对方向为从屏幕底部到屏幕顶部的方向，则可以确定该注视点未位于屏幕内。

步骤S550：当所述注视点未位于所述屏幕内时，调低所述屏幕亮度。

其中，步骤S550的具体描述请参阅步骤S140，在此不再赘述。

本申请一实施例提供的电子设备的屏幕亮度调节方法，相较于图1所示的电子设备的屏幕亮度调节方法，本实施例还基于注视点位置和摄像头的位置，获取注视点位置与摄像头的位置的相对距离和相对方向，基于相对距离和相对方向，确定注视点是否在屏幕内，从而提升注视点位置与屏幕关系确定的准确性。

请参阅图11，图11示出了本申请一实施例提供的电子设备的屏幕亮度调节方法，该方法应用于上述电子设备，下面将针对图11所示的流程进行详细的阐述，所述电子设备的屏幕亮度调节方法具体可以包括以下步骤：

步骤S610：通过所述电子设备的摄像头采集人脸图像。

其中，步骤S610的具体描述请参阅步骤S110，在此不再赘述。

步骤S620：当所述摄像头采集的人脸图像为多个时，将多个人脸图像中面积最大的人脸图像作为目标人脸图像。

在一些实施方式中，摄像头采集的图像可能包括人脸图像，也可能不包括人脸图像。因此，在本实施例中，该神经网络模型包括人脸检测模型和注视点检测模型，以对该摄像头采集的图像是否包括人脸图像进行检测。作为一种方式，人脸检测模型的输入可以为摄像头采集的图像(以下称待检测图像)，人脸检测模型的输出可以用于作为注视点检测模型的输入，注视点检测模型可以基于输入输出注视点位置。

在一些实施方式中，在获得待检测图像后，可以将该待检测图像输入人脸检测模型，以通过该人脸检测模型检测该待检测图像中是否包括人脸图像，并获得该人脸检测模型输出的信息。其中，该人脸检测模型输出的信息可以包括以下一种：包括人脸图像、不包括人脸图像。作为一种方式，当该人脸检测模型输出的信息不包括人脸图像时，则可以不再调用注视点检测模型，并直接降低电子设备的屏幕的亮度或者控制屏幕熄灭。作为一种方式，当该人脸检测模型输出的信息包括人脸图像时，则可以调用注视点检测模型，并将人脸图像输入该注视点检测模型，以通过注视点检测模型进行注视点位置检测。

在一些实施方式中，人脸检测模型输出的信息中心包括人脸图像可以包括以下一种：包括人脸图像且人脸图像中包括眼睛图像；包括人脸图像且人脸图像中不包括眼睛图像。其中，当摄像头采集到的待检测图像为用户的正脸图像时，则人脸检测模型基于待检测图像输入的信息中可以包括人脸图像且人脸图像中包括眼睛图像。当摄像头采集到的待检测图像为用户的侧脸图像时，则人脸检测模型基于待检测图像输入的信息中可以包括人脸图像且人脸图像中不包括眼睛图像。作为一种方式，当该人脸检测模型输出的信息包括人脸图像且人脸图像中不包括眼睛图像时，则可以不再调用注视点检测模型，并直接降低电子设备的屏幕的亮度或者控制屏幕熄灭。作为一种方式，当该人脸检测模型输出的信息包括人脸图像且人脸图像中包括眼睛图像时，则可以调用注视点检测模型，并将人脸图像输入该注视点检测模型，以通过注视点检测模型进行注视点位置检测。

在本申请一实施例中，在获得待检测图像后，可以将该待检测图像输入人脸检测模型，人脸检测模型可以对待检测图像进行检测，检测出该待检测图像中的人脸框的位置和多个关键点的位置(如两个眼睛中心的位置、鼻子中心的位置以及两个嘴角的位置等)，然后从待检测图像中抠取人脸图像和眼睛图像并生成表示人脸位置的掩膜。

在本实施例中，当确定该人脸检测模型输出的信息包括人脸图像时，则可以将人脸图像输入注视点检测模型，获得注视点检测模型输出的信息。其中，该注视点检测模型输出的信息可以包括以下一种：检测到注视点位置、没有检测到注视点位置。作为一种方式，当该人脸检测模型输出的人脸图像为侧脸图像(不包括眼睛图像)时，则注视点检测模型基于该人脸图像输出的信息为没有检测到注视点位置，则可以直接降低电子设备的屏幕的亮度或者控制屏幕熄灭。作为一种方式，当该人脸检测模型输出的人脸图像为正脸图像(包括眼睛图像)时，则可以基于该注视点位置对屏幕的亮度进行控制。

在一些实施方式中，在获得人脸检测模型输出的人脸图像后，可以判断该人脸图像是否满足预设人脸条件。当判断到该人脸图像满足预设人脸条件时，则可以将人脸图像输入注视点检测模型；当判断到该人脸图像不满足预设人脸条件时，则可以不将人脸图像输入注视点检测模型，并直接降低电子设备的屏幕的亮度或者控制屏幕熄灭。作为一种方式，预设人脸条件可以为完整的人脸，即，当人脸图像中包括完整的人脸时，则可以确定该人脸图像满足预设人脸条件，当人脸图像中不包括完整的人脸时，则可以确定该人脸图像不满足预设人脸条件。

在一些情况下，摄像头在进行图像采集的过程中可能同时采集到多个人脸，即，所获取的待检测图像中可能也包括多个人脸，因此，神经网络模型基于待检测图像输出的信息中可能包括多个人脸图像。

在本申请一实施例中，当神经网络模型输出的信息中仅包括一个人脸图像时，则可以直接将该一个人脸图像输入注视点检测模型。

在本申请一实施例中，当神经网络模型输出的信息中包括多个人脸图像时，则可以从多个人脸图像中确定电子设备对应的用户的人脸图像作为目标人脸图像，以及将所确定的目标人脸图像输入神经网络模型。作为一种方式，当摄像头采集到的人脸图像的数量为多个时，则可以从多个人脸图像中选择面积最大的人脸图像作为目标人脸图像。作为一种方式，当摄像头采集到的人脸图像的数量为多个时，则可以从多个人脸图像中选择最靠前的人脸图像作为目标人脸图像。作为一种方式，当摄像头采集到的人脸图像的数量为多个时，则可以从多个人脸图像中选择与预设人脸图像匹配的人脸图像作为目标人脸图像。

步骤S630：通过所述神经网络模型处理所述目标人脸图像以获取人眼在所述屏幕上的注视点位置。

在本实施例中，当确定该从多个人脸图像中选取目标人脸图像时，则通过神经网络模型处理目标人脸图像以获取人眼在屏幕上的注视点位置。

步骤S640：基于所述注视点位置以及所述注视点位置与所述摄像头的距离，确定所述注视点是否位于所述屏幕内。

步骤S650：当所述注视点未位于所述屏幕内时，调低所述屏幕亮度。

其中，步骤S640-步骤S650的具体描述请参阅步骤S130-步骤S140，在此不再赘述。

本申请一实施例提供的电子设备的屏幕亮度调节方法，相较于图1所示的电子设备的屏幕亮度调节方法，本实施例还在摄像头采集的人脸图像为多个时，将多个人脸图像中面积最大的人脸图像作为目标人脸图像，通过神经网络模型处理目标人脸图像以获取人脸在屏幕上的注视点位置，以提升人脸注视点确定的准确性。

请参阅图12，图12示出了本申请一实施例提供的电子设备的屏幕亮度调节方法，该方法应用于上述电子设备，下面将针对图12所示的流程进行详细的阐述，所述电子设备的屏幕亮度调节方法具体可以包括以下步骤：

步骤S710：获取训练数据集，其中，所述训练数据集包括多个训练图像以及与所述多个训练图像各自对应的注视点位置。

在本实施例中，可以获取训练数据集。该训练数据集包括多个训练图像和多个注视点位置，其中，多个训练图像和多个注视点位置一一对应，即，多个训练图像中的每个训练图像均对应多个注视点位置中的一个注视点位置。

在一些实施方式中，多个训练图像可以由电子设备的摄像头拍摄获得，可以由电子设备的本地存储获得，可以由电子设备从其他设备获得，也可以由电子设备从服务器获得等，在此不做限定。

其中，多个注视点位置可以由用户在训练图像上手动进行标注，也可以由电子设备在训练图像上自动进行标注，在此不做限定。

作为一种方式，可以在训练图像中加入用于标识注视点位置的标注框形成带有标注框的标注图像，也可以以xml格式文件的形式标注训练图像，在此不做限定。

步骤S720：基于所述多个训练图像和与所述多个训练图像各自对应的注视点位置，对预设模型进行训练获得神经网络模型。

在本实施例中，在获取训练数据集后，可以基于该训练数据集，对预设模型就行训练获得注视点检测模型。作为一种方式，在获取多个训练图像和与多个训练图像各自对应的注视点位置后，可以基于该多个训练图像与多个训练图像各自对应的注视点位置，对预设模型进行训练获得注视点检测模型。例如，在获取一一对应的多个训练图像和多个注视点位置后，可以将多个训练图像作为输入参数，将多个注视点位置作为输出参数，对预设模型进行训练获得神经网络模型。

另外，在训练获得神经网络模型后，还可以对该神经网络模型的准确性进行验证，并判断该神经网络模型基于输入数据的输出信息是否满足预设要求，当该神经网络模型基于输入数据的输出信息不满足预设要求时，可以重新采集训练数据集对预设模型进行训练，或者再获取多个训练数据集对已训练的神经网络模型进行校正，使得误差尽量接近0。作为一种方式，该预设模型可以为卷积神经网络。

步骤S730：通过所述电子设备的摄像头采集人脸图像。

步骤S740：通过神经网络模型处理所述人脸图像以获取人眼在所述屏幕上的注视点位置。

步骤S750：基于所述注视点位置以及所述注视点位置与所述摄像头的距离，确定所述注视点是否位于所述屏幕内。

步骤S760：当所述注视点未位于所述屏幕内时，调低所述屏幕亮度。

其中，步骤S730-步骤S760的具体描述请参阅步骤S110-步骤S140，在此不再赘述。

本申请一实施例提供的电子设备的屏幕亮度调节方法，相较于图1所示的电子设备的屏幕亮度调节方法，本实施例还获取训练数据集，基于训练数据集中的多个训练图像和多个训练图像各自对应的注视点位置，对预设模型进行训练获得神经网络模型，以提升模型识别的准确性。

请参阅图13，图13示出了本申请是死了提供的电子设备的屏幕亮度调节装置。该电子设备的屏幕亮度调节装置200包括：人脸图像采集模块210、注视点位置获取模块220、注视点确定模块230以及屏幕亮度调低模块240，其中：

人脸图像采集模块210，用于通过所述电子设备的摄像头采集人脸图像。

注视点位置获取模块220，用于通过神经网络模型处理所述人脸图像以获取人眼在所述屏幕上的注视点位置。

进一步地，所述注视点位置获取模块220包括：目标人脸图像确定子模块和注视点位置获取子模块，其中：

目标人脸图像确定子模块，用于当所述摄像头采集的人脸图像为多个时，将多个人脸图像中面积最大的人脸图像作为目标人脸图像。

注视点位置获取子模块，用于通过所述神经网络模型处理所述目标人脸图像以获取人眼在所述屏幕上的注视点位置。

注视点确定模块230，用于基于所述注视点位置以及所述注视点位置与所述摄像头的距离，确定所述注视点是否位于所述屏幕内。

进一步地，所述注视点位置包括所述注视点在目标坐标系下的坐标信息，所述目标坐标系以所述摄像头的中心位置为原点建立，所述注视点确定模块230包括：距离获取子模块和第一注视点确定子模块，其中：

距离获取子模块，用于基于所述坐标信息，获取所述注视点位置与所述摄像头的距离。

第一注视点确定子模块，用于基于所述注视点位置与所述摄像头的距离，确定所述注视点是否位于所述屏幕内。

进一步地，所述注视点确定模块230包括：相对关系获取子模块和第二注视点确定子模块，其中：

相对关系获取子模块，用于基于所述注视点位置和所述摄像头的位置，获取所述注视点位置与所述摄像头的位置的相对距离和相对方向。

第二注视点确定子模块，用于基于所述相对距离和所述相对方向，确定所述注视点是否位于所述屏幕内。

屏幕亮度调低模块240，用于当所述注视点未位于所述屏幕内时，调低所述屏幕亮度。

进一步地，所述屏幕亮度调低模块240包括：运行模式确定子模块和屏幕亮度调低子模块，其中：

运行模式确定子模块，用于确定所述电子设备的运行模式。

屏幕亮度调低子模块，用于根据所述运行模式调低所述屏幕亮度。

进一步地，所述屏幕亮度调低子模块包括：屏幕亮度调低单元和屏幕熄灭单元，其中：

屏幕亮度调低单元，用于当所述运行模式为智能息屏模式时，调低所述屏幕亮度。

屏幕熄灭单元，用于当所述运行模式为非智能息屏模式时，将所述屏幕熄灭。

进一步地，所述屏幕亮度调低子模块包括：自动息屏时长获取单元、智能息屏模式确定单元以及非智能息屏模式确定单元，其中：

自动息屏时长获取单元，用于获取所述电子设备设置的自动息屏时长。

智能息屏模式确定单元，用于当所述自动息屏时长大于或等于时长阈值时，确定所述电子设备的运行模式为所述智能息屏模式。

非智能息屏模式确定单元，用于当所述自动息屏时长小于所述时长阈值时，确定所述电子设备的运行模式为所述非智能息屏模式。

进一步地，所述电子设备的屏幕亮度调节装置200还包括：屏幕亮度保持模块，其中：

屏幕亮度保持模块，用于当所述注视点位于所述屏幕内时，保持所述屏幕的当前亮度。

进一步地，所述电子设备的屏幕亮度调节装置200还包括：屏幕熄灭模块和屏幕亮度调高模块，其中：

屏幕熄灭模块，用于当在预设时长内确定所述注视点持续不在所述屏幕内时，将所述屏幕熄灭。

屏幕亮度调高模块，用于当在所述预设时长内确定所述注视点从不在所述屏幕内切换至在所述屏幕内时，调高所述屏幕亮度。

进一步地，所述电子设备的屏幕亮度调节装置200还包括：训练数据集获取模块和模型训练模块，其中：

训练数据集获取模块，用于获取训练数据集，其中，所述训练数据集包括多个训练图像以及与所述多个训练图像各自对应的注视点位置。

模型训练模块，用于基于所述多个训练图像和与所述多个训练图像各自对应的注视点位置，对预设模型进行训练获得神经网络模型。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参阅图14，其示出了本申请实施例提供的一种电子设备100的结构框图。该电子设备100可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

其中，处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责待显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参阅图15，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质300中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质300可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质300包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质300具有执行上述方法中的任何方法步骤的程序代码310的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码310可以例如以适当形式进行压缩。

综上所述，本申请实施例提供的电子设备的屏幕亮度调节方法、装置以及电子设备，通过电子设备的摄像头采集人脸图像，通过神经网络模型处理人脸图像以获取人眼在屏幕上的注视点位置，基于注视点位置以及注视点位置与摄像头的距离，确定注视点是否位于屏幕内，当注视点未位于屏幕内时，调低屏幕亮度，从而通过神经网络模型进行注视点位置的判断和检测，并根据注视点位置以及注视点位置与摄像头的距离，确定注视点未位于屏幕内时调低屏幕亮度，从而降低电子设备的功耗，以及提升智能感知交互体验。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种电子设备的屏幕亮度调节方法，其特征在于，应用于电子设备，所述方法包括：

通过所述电子设备的摄像头采集人脸图像；

通过神经网络模型处理所述人脸图像以获取人眼在所述屏幕上的注视点位置；

基于所述注视点位置以及所述注视点位置与所述摄像头的距离，确定所述注视点是否位于所述屏幕内；

当所述注视点未位于所述屏幕内时，调低所述屏幕亮度。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述注视点位于所述屏幕内时，保持所述屏幕的当前亮度。

3.根据权利要求1所述的方法，其特征在于，所述调低所述屏幕亮度，包括：

确定所述电子设备的运行模式；以及

根据所述运行模式调低所述屏幕亮度。

4.根据权利要求1所述的方法，其特征在于，在所述调低所述屏幕亮度之后，还包括：

当在预设时长内确定所述注视点持续不在所述屏幕内时，将所述屏幕熄灭；或

当在所述预设时长内确定所述注视点从不在所述屏幕内切换至在所述屏幕内时，调高所述屏幕亮度。

5.根据权利要求3所述的方法，其特征在于，所述根据所述运行模式调低所述屏幕亮度，包括：

当所述运行模式为智能息屏模式时，调低所述屏幕亮度；或者

当所述运行模式为非智能息屏模式时，将所述屏幕熄灭。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

获取所述电子设备设置的自动息屏时长；

当所述自动息屏时长大于或等于时长阈值时，确定所述电子设备的运行模式为所述智能息屏模式；或

当所述自动息屏时长小于所述时长阈值时，确定所述电子设备的运行模式为所述非智能息屏模式。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述注视点位置包括所述注视点在目标坐标系下的坐标信息，所述目标坐标系以所述摄像头的中心位置为原点建立，所述基于所述注视点位置以及所述注视点位置与所述摄像头的距离，确定所述注视点是否位于所述屏幕内，包括：

基于所述坐标信息，获取所述注视点位置与所述摄像头的距离；

基于所述注视点位置与所述摄像头的距离，确定所述注视点是否位于所述屏幕内。

8.根据权利要求1-6任一项所述的方法，其特征在于，所述基于所述注视点位置以及所述注视点位置与所述摄像头的距离，确定所述注视点是否位于所述屏幕内，包括：

基于所述注视点位置和所述摄像头的位置，获取所述注视点位置与所述摄像头的位置的相对距离和相对方向；

基于所述相对距离和所述相对方向，确定所述注视点是否位于所述屏幕内。

9.根据权利要求1-6任一项所述的方法，其特征在于，所述通过神经网络模型处理所述人脸图像以获取人眼在所述屏幕上的注视点位置，包括：

当所述摄像头采集的人脸图像为多个时，将多个人脸图像中面积最大的人脸图像作为目标人脸图像；

通过所述神经网络模型处理所述目标人脸图像以获取人眼在所述屏幕上的注视点位置。

10.根据权利要求1-6任一项所述的方法，其特征在于，在通过神经网络模型处理所述人脸图像以获取人眼在所述屏幕上的注视点位置之前，还包括：

获取训练数据集，其中，所述训练数据集包括多个训练图像以及与所述多个训练图像各自对应的注视点位置；

基于所述多个训练图像和与所述多个训练图像各自对应的注视点位置，对预设模型进行训练获得神经网络模型。

11.一种电子设备的屏幕亮度调节装置，其特征在于，应用于电子设备，所述装置包括：

人脸图像采集模块，用于通过所述电子设备的摄像头采集人脸图像；

注视点位置获取模块，用于通过神经网络模型处理所述人脸图像以获取人眼在所述屏幕上的注视点位置；

注视点确定模块，用于基于所述注视点位置以及所述注视点位置与所述摄像头的距离，确定所述注视点是否位于所述屏幕内；

屏幕亮度调低模块，用于当所述注视点未位于所述屏幕内时，调低所述屏幕亮度。

12.一种电子设备，其特征在于，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行如权利要求1-10任一项所述的方法。

13.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-10任一项所述的方法。

Images