CN114302088A - 帧率调整方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种帧率调整方法、装置、电子设备及存储介质，所述方法包括如下步骤：通过眼球追踪模块获取显示屏被注视的注视点信息；根据注视点信息确定显示屏上的注视区域；分析注视区域的区域图像信息的变化趋势，得到注视区域变化趋势，具体可分析注视区域的区域图像信息变化是否平稳，进而，根据注视区域变化趋势调整图像帧率，如此，能够通过眼球追踪技术确定用户对注视区域的注视区域变化趋势，通过调整帧率的方式动态调整图像数据处理压力，降低对系统资源的占用，在满足图像处理效果的基础上达到降低系统功耗的目的。

Description

帧率调整方法、装置、电子设备及存储介质

技术领域

本申请涉及显示技术领域，具体涉及一种帧率调整方法、装置、电子设备及存储介质。

背景技术

在目前的相机应用中，可对相机的帧率进行设置，由于相机工作的帧率在下一次设置之前是一定的，对于图像信号处理器(Image Signal Processor，ISP)ISP或底层的其他处理模块来说，在单位时间内所需要处理的帧数也是固定的，例如帧率设置为60帧，则需要图像处理算法能够以60帧每秒的数据进行图像数据处理，如此，会导致ISP以及相关处理模块的处理速度和功耗在较高水平，因此，如何更加灵活地调整帧率，以降低图像数据处理功耗的问题需要解决。

发明内容

本申请实施例提供了一种帧率调整方法、装置、电子设备及存储介质，能够通过调整帧率的方式动态调整图像数据处理压力，降低对系统资源的占用，在满足图像处理效果的基础上达到降低系统功耗的目的。

第一方面，本申请实施例提供一种帧率调整方法，应用于电子设备，所述电子设备包括眼球追踪模块和显示屏，所述方法包括：

通过所述眼球追踪模块获取所述显示屏被注视的注视点信息；

根据所述注视点信息确定所述显示屏上的注视区域；

分析所述注视区域的区域图像信息的变化趋势，得到注视区域变化趋势；

根据所述注视区域变化趋势调整图像帧率。

第二方面，本申请实施例提供一种帧率调整装置，应用于电子设备，所述电子设备包括眼球追踪模块和显示屏，所述装置包括：

获取单元，用于通过所述眼球追踪模块获取所述显示屏被注视的注视点信息；

确定单元，用于根据所述注视点信息确定所述显示屏上的注视区域；

分析单元，用于分析所述注视区域的区域图像信息的变化趋势，得到注视区域变化趋势；

调整单元，用于根据所述注视区域变化趋势调整图像帧率。

第三方面，本申请实施例提供一种电子设备，包括第一摄像头、第二摄像头、处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

实施本申请实施例，具备如下有益效果：

可以看出，本申请实施例中提供的帧率调整方法、装置、电子设备及存储介质，通过眼球追踪模块获取显示屏被注视的注视点信息；根据注视点信息确定显示屏上的注视区域；分析注视区域的区域图像信息的变化趋势，得到注视区域变化趋势，具体可分析注视区域的区域图像信息变化是否平稳，进而，根据注视区域变化趋势调整图像帧率，如此，能够通过眼球追踪技术确定用户对注视区域的注视区域变化趋势，通过调整帧率的方式动态调整图像数据处理压力，降低对系统资源的占用，在满足图像处理效果的基础上达到降低系统功耗的目的。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本申请实施例提供的一种电子设备的结构示意图；

图1B是本申请实施例提供的一种帧率调整方法的流程示意图；

图1C是本申请实施例提供的一种分析注视区域变化趋势的演示示意图；

图1D是本申请实施例提供的一种重新配置图像传感器的图像采集帧率的演示示意图；

图1E是本申请实施例提供的一种bypass将图像传感器采集的图像部分输出至后端图像处理模块的演示示意图；

图1F是本申请实施例提供的一种bypass丢弃部分图像的演示示意图；

图2A是本申请实施例提供的另一种帧率调整方法的流程示意图；

图2B是本申请实施例提供的一种对图像数据流进行插帧的演示示意图；

图3是本申请实施例提供的一种电子设备的结构示意图；

图4是本申请实施例提供的一种帧率调整装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(智能手表、智能手环、无线耳机、增强现实/虚拟现实设备、智能眼镜)、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(userequipment，UE)，移动台(mobile station，MS)，终端设备(terminal device)等等。为方便描述，上面提到的设备统称为电子设备。

下面对本申请实施例进行详细介绍。

请参阅图1A，图1A是本申请实施例公开的一种电子设备的结构示意图，电子设备100包括存储和处理电路110，以及与所述存储和处理电路110连接的传感器170，其中：

电子设备100可以包括控制电路，该控制电路可以包括存储和处理电路110。该存储和处理电路110可以包括存储器，例如硬盘驱动存储器，非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程只读存储器等)，易失性存储器(例如静态或动态随机存取存储器等)等，本申请实施例不作限制。存储和处理电路110中的处理电路可以用于控制电子设备100的运转。该处理电路可以基于一个或多个微处理器，微控制器，数字信号处理器，基带处理器，功率管理单元，音频编解码器芯片，专用集成电路，显示驱动器集成电路等来实现。

存储和处理电路110可用于运行电子设备100中的软件，例如互联网浏览应用程序，互联网协议语音(Voice over Internet Protocol,VOIP)电话呼叫应用程序，电子邮件应用程序，媒体播放应用程序，操作系统功能等。这些软件可以用于执行一些控制操作，例如，基于照相机的图像采集，基于环境光传感器的环境光测量，基于接近传感器的接近传感器测量，基于诸如发光二极管的状态指示灯等状态指示器实现的信息显示功能，基于触摸传感器的触摸事件检测，与在多个(例如分层的)显示屏上显示信息相关联的功能，与执行无线通信功能相关联的操作，与收集和产生音频信号相关联的操作，与收集和处理按钮按压事件数据相关联的控制操作，以及电子设备100中的其它功能等，本申请实施例不作限制。

电子设备100可以包括输入-输出电路150。输入-输出电路150可用于使电子设备100实现数据的输入和输出，即允许电子设备100从外部设备接收数据和也允许电子设备100将数据从电子设备100输出至外部设备。输入-输出电路150可以进一步包括传感器170。传感器170可以包括指纹识别模组，还可以包括环境光传感器，基于光和电容的接近传感器，触摸传感器(例如，基于光触摸传感器和/或电容式触摸传感器，其中，触摸传感器可以是触控显示屏的一部分，也可以作为一个触摸传感器结构独立使用)，加速度传感器，和其它传感器等，超声波指纹识别模组可以集成于屏幕下方，或者，指纹识别模组可以设置于电子设备的侧面或者背面，在此不作限定，该指纹识别模组可以用于采集指纹图像。

传感器170还可以包括红外(Infrared Radiation，IR)摄像头和可见光摄像头，IR摄像头和可见光摄像头可构成眼球追踪模块，眼球追踪模块用于进行眼球追踪，其中，IR摄像头在拍摄时，瞳孔反射红外光，因此IR摄像头在拍摄瞳孔图像会比RGB摄像头更加准确；可见光摄像头需要进行更多的后续瞳孔检测，计算精度和准确性比IR摄像头要高，通用性比IR摄像头更好，但是计算量大。

输入-输出电路150还可以包括一个或多个显示屏，例如显示屏130。显示屏130可以包括液晶显示屏，有机发光二极管显示屏，电子墨水显示屏，等离子显示屏，使用其它显示技术的显示屏中一种或者几种的组合。显示屏130可以包括触摸传感器阵列(即，显示屏130可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ITO)电极)阵列形成的电容式触摸传感器，或者可以是使用其它触摸技术形成的触摸传感器，例如音波触控，压敏触摸，电阻触摸，光学触摸等，本申请实施例不作限制。

电子设备100还可以包括音频组件140。音频组件140可以用于为电子设备100提供音频输入和输出功能。电子设备100中的音频组件140可以包括扬声器，麦克风，蜂鸣器，音调发生器以及其它用于产生和检测声音的组件。

通信电路120可以用于为电子设备100提供与外部设备通信的能力。通信电路120可以包括模拟和数字输入-输出接口电路，和基于射频信号和/或光信号的无线通信电路。通信电路120中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说，通信电路120中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(Near Field Communication，NFC)的电路。例如，通信电路120可以包括近场通信天线和近场通信收发器。通信电路120还可以包括蜂窝电话收发器和天线，无线局域网收发器电路和天线等。

电子设备100还可以进一步包括电池，电力管理电路和其它输入-输出单元160。输入-输出单元160可以包括按钮，操纵杆，点击轮，滚动轮，触摸板，小键盘，键盘，照相机，发光二极管和其它状态指示器等。

用户可以通过输入-输出电路150输入命令来控制电子设备100的操作，并且可以使用输入-输出电路150的输出数据以实现接收来自电子设备100的状态信息和其它输出。

请参阅图1B，图1B是本申请实施例提供的一种帧率调整方法的流程示意图，应用于如图1A所示的电子设备，所述电子设备包括眼球追踪模块和显示屏，如图1B所示，本申请提供的帧率调整方法包括：

101、通过眼球追踪模块获取显示屏被注视的注视点信息。

其中，眼球追踪模块可包括摄像头，通过摄像头对用户进行眼球追踪，进行眼球追踪的摄像头可以为红外摄像头或者可见光摄像头等等，此处不作限制。

其中，注视点信息可包括注视点位置、注视时长等信息。

具体实施中，随着用户视线在显示屏上进行移动，眼球追踪模块可检测用户眼球注视显示屏上的注视点信息，例如，眼球追踪模块可检测用户眼球注视显示屏上的第一注视点位置，以及注视第一注视点位置的第一时长，当用户视线移动，可检测用户眼球注视显示屏上的第二注视注视点位置，以及注视第二注视点位置的第二注视时长，从而，眼球追踪模块可检测到不同时间用户注视显示屏上不同注视点位置以及注视点位置对应的注视时长。

102、根据所述注视点信息确定所述显示屏上的注视区域。

其中，注视区域为用户的注视点所在的区域，随着用户的注视点的移动，注视区域也会发生变化，若用户的注视点不进行移动，则注视区域也较为固定。

可选地，上述步骤102中，所述注视点信息包括至少一个注视点位置以及与所述至少一个注视点位置对应的至少一个注视时长，所述根据所述注视点信息确定所述显示屏上的注视区域，可包括以下步骤：

21、确定注视时长大于预设时长的注视点位置；

22、确定所述注视点位置周围预设范围区域为注视区域；或者；确定所述注视点位置对应的注视对象的轮廓包围区域为注视区域。

具体实施中，可预先设定预设时长，在确定用户注视一个注视点位置的注视时长大于预设时长时，可确定该注视点位置周围第一范围区域为注视区域，具体地，第一范围区域可以为一个预设注视框或者一个预设注视圈，第一范围区域的形状、大小固定，预设注视框或者预设注视圈的尺寸大小可以由系统默认设定，也可由用户自行设定，此处不作限制，例如，当显示屏显示画面中的图像内容为一片天空，可将注视点位置周围处于预设注视框或预设注视圈范围内的第一范围区域确定为注视区域。

或者，在确定用户注视一个注视点位置的注视时长大于预设时长时，可确定该注视点位置对应的注视对象的轮廓包围区域为注视区域，具体地，若注视点位置对应的图像内容为特定的注视对象，注视区域的形状、大小随注视对象的形状、大小变化，例如人脸、人像，或者树木、山、动物等物体，又或者为聊天界面框、应用图标等，上述注视对象具有自身特定的轮廓，因此，可将注视对象的轮廓包围区域确定为注视区域。

103、分析所述注视区域的区域图像信息的变化趋势，得到注视区域变化趋势。

其中，注视区域变化趋势具体可包括区域图像信息的位置变化趋势和内容变化趋势，位置变化趋势是指，用户关注的区域图像信息的位置是否随时间变化；内容变化趋势是指，用户关注的区域图像信息的内容是否随时间变化。

具体实施中，可提取注视区域的图像信息，得到区域图像信息，然后分析注视区域的区域图像信息的变化趋势，得到注视区域变化趋势，例如，注视区域的区域图像信息较为稳定、平稳变化或者变化较快等，此处不做限制。

可选地，上述步骤103中，所述分析所述注视区域的区域图像信息的变化趋势，得到注视区域变化趋势，可包括以下步骤：

31、对所述区域图像信息进行特征提取，得到区域图像特征；

32、将所述区域图像特征输入特征训练模型进行训练，得到注视区域的特征信息；

33、根据所述注视区域的特征信息分析所述注视区域中的区域图像信息随时间的变化趋势，得到注视区域变化趋势。

其中，对所述区域图像信息进行图像特征提取的特征提取算法可包括以下至少一种：方向梯度直方图(Histogram of Oriented Gradients，HOG)算法、霍夫变换法或Haar特征级联分类器算法等等，此处不做限制。

其中，注视区域的特征信息可包括注视区域的位置特征信息以及注视区域包含图像内容的特征信息，注视区域的特征信息用于表征注视区域的图像内容，注视区域的图像内容可以视作用户的注视对象，例如，注视区域的特征信息可以为人脸的特征信息、人像的特征信息、山的特征信息、树木的特征信息等等，此处不作限制，通过注视区域的特征信息可确定注视区域的注视对象。

具体实施中，在不同时刻检测到不同的多个注视点对应的多个注视区域中，可包括不同的区域图像信息，可将每一注视点对应的区域图像信息进行特征提取，得到区域图像特征，得到不同注视区域对应的区域图像特征，将区域图像特征依次输入图像特征训练模型，通过图像特征训练模型将输入的区域图像特征进行训练，得到不同注视点所在注视区域的特征信息。可选地，若眼球追踪模块检测到的注视点信息中包括m个注视点，m为正整数，从m个注视点对应m个注视区域的区域图像信息中可提取到区域图像特征，将m个注视点分别对应的区域图像特征依次输入到图像特征训练模型，可得到m个注视区域的m个注视区域特征信息，例如，可得到注视区域的人脸特征信息，或者，注视区域中物体的特征信息。

其中，注视区域变化趋势具体是指用户关注的区域图像信息的位置和内容是否随时间变化的趋势，具体地，可根据m个注视区域的m个注视区域特征信息分析用户的注视图像内容是否变化，若m个注视区域的区域图像信息中，存在x次图像内容相同，x为小于或等于x的正整数，可计算该图像内容的出现概率，若该出现概率大于预设概率阈值，可判断该图像内容为用户重点关注的目标图像内容，表明注视区域的图像内容集中在所述目标对象上，无论注视点位置是否发生变化，注视点所在注视区域的图像内容为目标图像内容。从而，注视区域变化信息可表征注视点集中在目标图像内容，进而可将目标图像内容作为显示屏中被用户关注的目标对象。

可选地，所述注视区域的特征信息包括m个注视点对应的m个特征信息，m为大于1的整数，上述步骤33中，所述根据所述注视区域的特征信息分析所述注视区域中的区域图像信息随时间的变化趋势，得到注视区域变化趋势，可包括以下步骤：

3301、若所述m个特征信息中存在n个特征信息包括第一关注对象和第二关注对象，存在k个特征信息包括所述第一关注对象，n和k均为小于m的正整数，n和k之和小于或等于m；

3302、确定所述第一关注对象为目标对象，以及，确定所述注视区域变化信息表征所述注视区域的图像内容集中在目标对象上。

本申请实施例中，注视区域中的区域图像信息的变化趋势可能存在如下情况：注视区域中的区域图像信息中包括用户关注的对象，在部分时刻，注视区域中还包括与用户关注的对象相邻、相关的其他对象，此种情况下，会分析得到用户在部分时刻下除了关注第一关注对象，还关注第二关注对象的情况，例如，请参阅图1C所示，图1C为本申请实施例提供的一种分析注视区域变化趋势的演示示意图，其中，显示屏的画面中为球员踢球的球赛画面，8个特征信息中，前3帧画面对应的3个特征信息包括用户关注的球员和足球，后5帧画面的5个特征信息包括用户关注的球员，如此，可根据该8个特征信息分析确定用户关注的目标对象为球员，而非球员和足球，从而更加准确地分析用户关注的目标对象。

可选地，所述注视区域的特征信息包括多个注视点对应的多个特征信息，上述步骤33中，所述根据所述注视区域的特征信息分析所述注视区域中的区域图像信息随时间的变化趋势，得到注视区域变化趋势，可包括以下步骤：

3303、根据注视区域的特征信息确定注视变化指标参数，所述注视变化指标参数包括以下至少一种：所述特征信息的位置移动速率、移动频率和特征变化频率；

3304、根据所述注视变化指标参数确定所述注视区域的内容变化程度值，所述注视变化指标参数用于表征所述注视区域变化趋势。

其中，可根据多个注视点对应的注视点位置和注视时间确定特征信息的位置移动速率，具体地，可根据每相邻两个注视点的注视点位置和注视时间确定注视点的移动速率，得到多个移动速率，从而确定多个移动速率的速率平均值，将该速率平均值作为特征信息的位置移动速率。

其中，可根据多个注视点的数目确定在多个注视点对应的注视总时长内的移动频率。

其中，确定特征变化频率，具体可根据注视区域的特征信息分析特征变化次数，然后根据特征变化次数与多个注视点对应的注视总时长确定特征变化频率，例如，在15个注视点对应的注视总时长内，根据15帧画面的区域图像信息分析15个注视点对应的15个特征信息中，前面5帧画面的特征信息未变化，第6帧画面发生变化，第6-10帧画面的特征信息未变化，第11帧画面发生变化，第11-15帧画面的特征信息未变化，如此，可统计出特征变化次数为3次，进而可根据特征变化次数为和注视总时长确定特征变化频率。

其中，根据所述注视变化指标参数确定所述注视区域的内容变化程度值，可预设设置注视变化指标参数与变化程度值之间的映射关系，根据预设的注视变化指标参数与变化程度值之间的映射关系确定对应的内容变化程度值，可选地，若注视变化指标参数包括位置移动速率、移动频率和特征变化频率中的两种或三种，可根据每一注视变化指标参数与变化程度值之间的映射关系确定注视变化指标参数对应的参考变化程度值，以及，获取每一注视变化指标参数对应的权值，进而根据两种或三种注视变化指标参数对应的参考变化程度值和权值进行加权计算，得到注视区域的内容变化程度值，例如，可根据位置移动速率与变化程度值之间的映射关系确定位置移动速率对应的第一参考变化程度值，根据移动频率与变化程度值之间的映射关系确定移动频率对应的第二参考变化程度值，根据特征变化频率与变化程度值之间的映射关系确定特征变化频率对应的第三参考变化程度值，以及，获取位置移动速率、移动频率和特征变化频率分别对应的第一权值、第二权值和第三权值，进而根据第一参考变化程度值、第二参考变化程度值、第三参考变化程度值、第一权值、第二权值和第三权值进行加权计算，得到注视区域的内容变化程度值，计算公式如下：内容变化程度值＝第一参考变化程度值*第一权值+第二参考变化程度值*第二权值+第三参考变化程度值第三权值。

可选地，上述步骤3303中，所述根据所述注视区域的特征信息确定所述特征变化频率，可包括以下步骤：

3331、按照时间先后顺序将所述多个注视点中每两个相邻时间的两个注视点对应的两个特征信息依次进行匹配，得到多个匹配值；

3332、若所述多个匹配值中存在连续多个大于预设匹配阈值的目标匹配值，根据所述连续多个目标匹配值的第一数目和所述多个注视点对应的总注视时长确定所述特征变化频率。

本申请实施例中，可通过将特征信息进行匹配，确定特征信息是否变化，若匹配值大于与匹配阈值，表明特征信息未发生变化，其中，第一数目越大，表明特征越稳定，或者特征变化越平稳，第一数目越小，表明特征变化越快，进而，可根据连续多个目标匹配值的第一数目和多个注视点对应的总注视时长确定特征变化频率，具体地，可根据第一数目和多个注视点的总数目确定第二数目，进而根据第二数目和总注视时长确定特征变化频率，从而，可通过未发生变化的特征信息分析发生变化的特征信息的特征变化频率。

104、根据所述注视区域变化趋势调整图像帧率。

其中，本申请实施例中，确定是否调整图像帧率，主要取决于注视区域变化趋势，具体地，注视区域的区域图像信息越稳定或者平稳变化，则可降低图像帧率，注视区域的区域图像信息变化较快，则可维持当前的帧率，如此，可在区域图像信息较为稳定或者平稳变化情况下，通过降低图像帧率的方式动态调整图像数据处理压力，降低对系统资源的占用，在满足图像处理效果的基础上达到降低系统功耗的目的。

可选地，本申请实施例中，针对降低图像帧率之后的图像数据，在后续进行图像数据处理的过程中，由于区域图像信息在单位时间内较为稳定或者平稳变化，可通过插帧处理，补偿更多的图像细节，从而满足流畅度的需求。

可选地，上述步骤104中，所述根据所述注视区域变化趋势调整图像帧率，可包括以下步骤：

41、若所述注视区域变化信息表征所述注视区域的图像内容集中在目标对象上，则降低所述图像帧率；或者，

42、若所述注视区域图像信息的内容变化程度值小于或等于预设程度阈值，则降低所述图像帧率。

本申请实施例中，若所述注视区域变化信息表征所述注视区域的图像内容集中在目标对象上，用户关注的内容较为稳定，若注视区域图像信息的内容变化程度值小于或等于预设程度阈值，表明用户关注的内容变化平稳，如此，可降低图像帧率，降低图像数据处理压力，降低对系统资源的占用，在满足图像处理效果的基础上达到降低系统功耗的目的。

可选地，所述电子设备还包括图像传感器和图像缓存区，所述图像缓存区用于存储所述图像传感器采集的图像，上述步骤41或步骤42中，降低所述图像帧率，可包括以下步骤：

43、重新配置所述图像传感器的图像采集帧率，以降低所述图像帧率；或者，

44、通过所述图像传感器的旁路将所述图像传感器采集的图像部分输出至后端图像处理模块进行处理，以降低所述图像帧率；或者，

45、通过所述图像传感器的旁路将所述图像缓存区中所述图像传感器采集的部分图像进行丢弃，以降低所述图像帧率。

本申请实施例中，实现降低图像帧率的方式可包括：对图像传感器的图像采集帧率进行重新配置，使图像采集器以降低的图像采集帧率进行图像数据采集，例如，请参阅图1D，图1D为本申请实施例提供的一种重新配置图像传感器的图像采集帧率的演示示意图，原本图像传感器以60fps的帧率进行图像采集，可将图像采集帧率重新配置为30fps，使图像传感器以30fps的图像采集帧率进行图像采集，以降低图像帧率。

或者，也可以不改变图像传感器的配置，而是利用图像传感器的旁路bypass，具体地，通过图像传感器的bypass可将图像传感器采集的图像部分输出至后端图像处理模块进行处理，其中，后端图像处理模块可包括以下至少一种：图像数据处理器ISP、图像处理算法和图像应用程序，本申请实施例不作限制，图像应用程序是指将图像传感器采集的图像进行处理或者应用的应用程序，请参阅图1E，图1E为本申请实施例提供的一种bypass将图像传感器采集的图像部分输出至后端图像处理模块的演示示意图，其中，若图像传感器的图像采集帧率为60fps，则bypass可以单位时间30帧的速率向后端图像处理模块进行传输，使后端图像处理模块仅处理部分图像，例如，图像传感器以60fps的图像采集帧率采集图像，以60fps的帧率输出图像，在向ISP进行图像传输时，可仅输出偶数帧图像，奇数帧的图像不进行传输，可选地，上述bypass未传输的部分图像可存储至图像缓存区中，由图像应用程序进行调用，如此，IPS和图像处理算法仅处理部分图像，不需要对bypass未传输的部分图像进行处理，如此，可减少硬件层面(例如，ISP)和软件层面(例如，图像处理算法)对图像数据处理的时间和功耗，实现降低帧率的效果。

或者，还可在不改变图像传感器的配置的情况下，通过图像传感器的bypass将图像传感器输出的部分图像进行丢弃，具体实施中，图像缓存区存储图像传感器采集的图像，bypass可将图像缓存区的部分图像进行丢弃，请参阅图1F，图1F为本申请实施例提供的一种bypass丢弃部分图像的演示示意图，若图像传感器的图像采集帧率为60fps，以60fps的帧率将图像输出至图像缓存区，bypass可将图像缓存区中的部分图像进行丢弃，或者，bypass在将图像传感器采集的图像传输至后端图像处理模块进行图像数据处理时，可隔一帧处理一次，没有处理的图像数据帧直接丢弃，不传输至后端图像处理模块进行处理，例如，图像传感器以60fps的图像采集帧率采集图像，以60fps的帧率输出图像，在向ISP进行图像传输时，可仅传输偶数帧的图像至后端图像处理模块进行处理，奇数帧的图像不进行传输和处理，如此，可减少硬件层面(例如，ISP)和软件层面(例如，图像处理算法)对图像数据处理的时间和功耗，通过图像传感器的旁路bypass实现降低图像帧率的技术效果。

可以看出，本申请实施例中通过眼球追踪模块获取显示屏被注视的注视点信息；根据注视点信息确定显示屏上的注视区域；分析注视区域的区域图像信息的变化趋势，得到注视区域变化趋势，具体可分析注视区域的区域图像信息变化是否平稳，进而，根据注视区域变化趋势调整图像帧率，如此，能够通过眼球追踪技术确定用户对注视区域的注视区域变化趋势，通过调整帧率的方式动态调整图像数据处理压力，降低对系统资源的占用，在满足图像处理效果的基础上达到降低系统功耗的目的。

请参阅图2A，图2A为本申请实施例提供的一种帧率调整方法的流程示意图，应用于电子设备，所述电子设备包括眼球追踪模块和显示屏，所述方法包括：

201、通过眼球追踪模块获取显示屏被注视的注视点信息。

202、根据所述注视点信息确定所述显示屏上的注视区域。

203、对所述区域图像信息进行特征提取，得到区域图像特征。

204、将所述区域图像特征输入特征训练模型进行训练，得到注视区域的特征信息，所述注视区域的特征信息包括多个注视点对应的多个特征信息。

205、根据注视区域的特征信息确定注视变化指标参数，所述注视变化指标参数包括以下至少一种：所述特征信息的位置移动速率、移动频率和特征变化频率。

206、根据所述注视变化指标参数确定所述注视区域的内容变化程度值，所述注视变化指标参数用于表征所述注视区域中的区域图像信息随时间的注视区域变化趋势。

207、若所述注视区域变化信息表征所述注视区域的图像内容集中在目标对象上，或者，若所述注视区域图像信息的内容变化程度值小于或等于预设程度阈值，则降低图像帧率。

其中，上述步骤201-207的具体实现过程可参照步骤101-步骤104中相应的描述，在此不再赘述。

208、获取降低帧率后的图像数据流。

209、对所述图像数据流进行插帧，得到插帧后的图像数据流。

其中，通过对图像数据流进行插帧，可以针对降低帧率后采集的图像数据流包含更多的图像数据，提升画面流畅度。

举例说明，如图2B所示，为本申请实施例提供的一种对图像数据流进行插帧的演示示意图，其中，通过眼球追踪模块获取注视点信息，注视点信息中可包括多个时刻下检测到的不同的多个注视点，将注视点信息通过模型训练模块中的注视点运动趋势模型进行训练，可分析注视区域的位置移动速率、移动频率和特征变化频率，得到注视区域变化趋势，进而，根据注视区域变化趋势调整图像帧率，若将图像帧率从60fps降低到30fps，则可在后续进行图像数据处理的过程中，针对30帧图像进行插帧，插入10帧图像，最后得到40帧图像的图像数据流，如此，相比于未降低帧率的情况下，得到60帧图像的图像数据流，本申请实施例可降低图像数据处理压力，降低对系统资源的占用，在满足图像处理效果的基础上达到降低系统功耗的目的。

可以看出，本申请实施例中通过根据注视区域的特征信息确定包括特征信息的位置移动速率、移动频率和特征变化频率的注视变化指标参数，根据注视变化指标参数确定注视区域的内容变化程度值，注视变化指标参数用于表征注视区域中的区域图像信息随时间的注视区域变化趋势，若注视区域变化信息表征注视区域的图像内容集中在目标对象上，或者，若注视区域图像信息的内容变化程度值小于或等于预设程度阈值，则降低图像帧率，获取降低帧率后的图像数据流，对图像数据流进行插帧，得到插帧后的图像数据流，如此，可调整图像数据处理压力，降低对系统资源的占用，在满足图像处理效果的基础上达到降低系统功耗的目的。

以下是实施上述帧率调整方法的装置，具体如下：

与上述一致地，请参阅图3，图3是本申请实施例提供的一种电子设备的结构示意图，该电子设备包括：处理器310、通信接口330和存储器320；还包括眼球追踪模块340、显示屏350，以及一个或多个程序321，所述一个或多个程序321被存储在所述存储器320中，并且被配置成由所述处理器执行，所述程序321包括用于执行以下步骤的指令：

通过所述眼球追踪模块获取所述显示屏被注视的注视点信息；

根据所述注视点信息确定所述显示屏上的注视区域；

分析所述注视区域的区域图像信息的变化趋势，得到注视区域变化趋势；

根据所述注视区域变化趋势调整图像帧率。

在一个可能的示例中，所述注视点信息包括至少一个注视点位置以及与所述至少一个注视点位置对应的至少一个注视时长，在所述根据所述注视点信息确定所述显示屏上的注视区域方面，所述程序321包括用于执行以下步骤的指令：

确定注视时长大于预设时长的注视点位置；

确定所述注视点位置周围预设范围区域为注视区域；或者；确定所述注视点位置对应的注视对象的轮廓包围区域为注视区域。

在一个可能的示例中，在所述根据所述注视区域变化趋势调整图像帧率方面，所述程序321包括用于执行以下步骤的指令：

若所述注视区域变化信息表征所述注视区域的图像内容集中在目标对象上，或者，若所述注视区域图像信息的内容变化程度值小于或等于预设程度阈值，则降低图像帧率。

在一个可能的示例中，在所述分析所述注视区域的区域图像信息的变化趋势，得到注视区域变化趋势方面，所述程序321包括用于执行以下步骤的指令：

对所述区域图像信息进行特征提取，得到区域图像特征；

将所述区域图像特征输入特征训练模型进行训练，得到注视区域的特征信息；

根据所述注视区域的特征信息分析所述注视区域中的区域图像信息随时间的变化趋势，得到注视区域变化趋势。

在一个可能的示例中，所述注视区域的特征信息包括m个注视点对应的m个特征信息，m为大于1的整数，在所述根据所述注视区域的特征信息分析所述注视区域中的区域图像信息随时间的变化趋势，得到注视区域变化趋势方面，所述程序321包括用于执行以下步骤的指令：

若所述m个特征信息中存在n个特征信息包括第一关注对象和第二关注对象，存在k个特征信息包括所述第一关注对象，n和k均为小于m的正整数，n和k之和小于或等于m；

确定所述第一关注对象为目标对象，以及，确定所述注视区域变化信息表征所述注视区域的图像内容集中在目标对象上。

在一个可能的示例中，所述注视区域的特征信息包括多个注视点对应的多个特征信息，在所述根据所述注视区域的特征信息分析所述注视区域中的区域图像信息随时间的变化趋势，得到注视区域变化趋势方面，所述程序321包括用于执行以下步骤的指令：

根据注视区域的特征信息确定注视变化指标参数，所述注视变化指标参数包括以下至少一种：所述特征信息的位置移动速率、移动频率和特征变化频率；

根据所述注视变化指标参数确定所述注视区域的内容变化程度值，所述注视变化指标参数用于表征所述注视区域变化趋势。

在一个可能的示例中，在所述根据所述注视区域的特征信息确定所述特征变化频率方面，所述程序321包括用于执行以下步骤的指令：

按照时间先后顺序将所述多个注视点中每两个相邻时间的两个注视点对应的两个特征信息依次进行匹配，得到多个匹配值；

若所述多个匹配值中存在连续多个大于预设匹配阈值的目标匹配值，根据所述连续多个目标匹配值的第一数目和所述多个注视点对应的总注视时长确定所述特征变化频率。

在一个可能的示例中，所述电子设备还包括图像传感器和图像缓存区，所述图像缓存区用于存储所述图像传感器采集的图像，在所述降低所述图像帧率方面，所述程序321包括用于执行以下步骤的指令：

重新配置所述图像传感器的图像采集帧率，以降低所述图像帧率；或者，

通过所述图像传感器的旁路将所述图像传感器采集的图像部分输出至后端图像处理模块进行处理，以降低所述图像帧率；或者，

通过所述图像传感器的旁路将所述图像缓存区中所述图像传感器采集的部分图像进行丢弃，以降低所述图像帧率。

请参阅图4，图4是本实施例提供的一种帧率调整装置的结构示意图，所述帧率调整装置400应用于电子设备，所述电子设备包括眼球追踪模块和显示屏，该装置400包括获取单元401、确定单元402、分析单元403和调整单元404，其中，

所述获取单元401，用于通过所述眼球追踪模块获取所述显示屏被注视的注视点信息；

所述确定单元402，用于根据所述注视点信息确定所述显示屏上的注视区域；

所述分析单元403，用于分析所述注视区域的区域图像信息的变化趋势，得到注视区域变化趋势；

所述调整单元404，用于根据所述注视区域变化趋势调整图像帧率。

可选地，所述注视点信息包括至少一个注视点位置以及与所述至少一个注视点位置对应的至少一个注视时长，在所述根据所述注视点信息确定所述显示屏上的注视区域方面，所述确定单元402具体用于：

确定注视时长大于预设时长的注视点位置；

确定所述注视点位置周围预设范围区域为注视区域；或者；确定所述注视点位置对应的注视对象的轮廓包围区域为注视区域。

可选地，在所述根据所述注视区域变化趋势调整图像帧率方面，所述调整单元404具体用于：

若所述注视区域变化信息表征所述注视区域的图像内容集中在目标对象上，或者，若所述注视区域图像信息的内容变化程度值小于或等于预设程度阈值，则降低图像帧率。

可选地，在所述分析所述注视区域的区域图像信息的变化趋势，得到注视区域变化趋势方面，所述分析单元403具体用于：

对所述区域图像信息进行特征提取，得到区域图像特征；

将所述区域图像特征输入特征训练模型进行训练，得到注视区域的特征信息；

根据所述注视区域的特征信息分析所述注视区域中的区域图像信息随时间的变化趋势，得到注视区域变化趋势。

可选地，所述注视区域的特征信息包括m个注视点对应的m个特征信息，m为大于1的整数，在所述根据所述注视区域的特征信息分析所述注视区域中的区域图像信息随时间的变化趋势，得到注视区域变化趋势方面，所述分析单元403具体用于：

若所述m个特征信息中存在n个特征信息包括第一关注对象和第二关注对象，存在k个特征信息包括所述第一关注对象，n和k均为小于m的正整数，n和k之和小于或等于m；

确定所述第一关注对象为目标对象，以及，确定所述注视区域变化信息表征所述注视区域的图像内容集中在目标对象上。

可选地，所述注视区域的特征信息包括多个注视点对应的多个特征信息，在所述根据所述注视区域的特征信息分析所述注视区域中的区域图像信息随时间的变化趋势，得到注视区域变化趋势方面，所述分析单元403具体用于：

根据注视区域的特征信息确定注视变化指标参数，所述注视变化指标参数包括以下至少一种：所述特征信息的位置移动速率、移动频率和特征变化频率；

根据所述注视变化指标参数确定所述注视区域的内容变化程度值，所述注视变化指标参数用于表征所述注视区域变化趋势。

可选地，在所述根据所述注视区域的特征信息确定所述特征变化频率方面，所述分析单元403具体用于：

按照时间先后顺序将所述多个注视点中每两个相邻时间的两个注视点对应的两个特征信息依次进行匹配，得到多个匹配值；

若所述多个匹配值中存在连续多个大于预设匹配阈值的目标匹配值，根据所述连续多个目标匹配值的第一数目和所述多个注视点对应的总注视时长确定所述特征变化频率。

可选地，所述电子设备还包括图像传感器和图像缓存区，所述图像缓存区用于存储所述图像传感器采集的图像，在所述降低所述图像帧率方面，所述调整单元404具体用于：

重新配置所述图像传感器的图像采集帧率，以降低所述图像帧率；或者，

通过所述图像传感器的旁路将所述图像传感器采集的图像部分输出至后端图像处理模块进行处理，以降低所述图像帧率；或者，

通过所述图像传感器的旁路将所述图像缓存区中所述图像传感器采集的部分图像进行丢弃，以降低所述图像帧率。

可以看出，本申请实施例中所描述的帧率调整装置，通过眼球追踪模块获取显示屏被注视的注视点信息；根据注视点信息确定显示屏上的注视区域；分析注视区域的区域图像信息的变化趋势，得到注视区域变化趋势，具体可分析注视区域的区域图像信息变化是否平稳，进而，根据注视区域变化趋势调整图像帧率，如此，能够通过眼球追踪技术确定用户对注视区域的注视区域变化趋势，通过调整帧率的方式动态调整图像数据处理压力，降低对系统资源的占用，在满足图像处理效果的基础上达到降低系统功耗的目的。

可以理解的是，本实施例的帧率调整装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。

本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种帧率调整方法，其特征在于，应用于电子设备，所述电子设备包括眼球追踪模块和显示屏，所述方法包括：

通过所述眼球追踪模块获取所述显示屏被注视的注视点信息；

根据所述注视点信息确定所述显示屏上的注视区域；

分析所述注视区域的区域图像信息的变化趋势，得到注视区域变化趋势；

根据所述注视区域变化趋势调整图像帧率。

2.根据权利要求1所述的方法，其特征在于，所述注视点信息包括至少一个注视点位置以及与所述至少一个注视点位置对应的至少一个注视时长，所述根据所述注视点信息确定所述显示屏上的注视区域，包括：

确定注视时长大于预设时长的注视点位置；

确定所述注视点位置周围预设范围区域为注视区域；或者；确定所述注视点位置对应的注视对象的轮廓包围区域为注视区域。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述注视区域变化趋势调整图像帧率，包括：

若所述注视区域变化信息表征所述注视区域的图像内容集中在目标对象上，或者，若所述注视区域图像信息的内容变化程度值小于或等于预设程度阈值，则降低所述图像帧率。

4.根据权利要求3所述的方法，其特征在于，所述分析所述注视区域的区域图像信息的变化趋势，得到注视区域变化趋势，包括：

对所述区域图像信息进行特征提取，得到区域图像特征；

将所述区域图像特征输入特征训练模型进行训练，得到注视区域的特征信息；

根据所述注视区域的特征信息分析所述注视区域中的区域图像信息随时间的变化趋势，得到注视区域变化趋势。

5.根据权利要求4所述的方法，其特征在于，所述注视区域的特征信息包括m个注视点对应的m个特征信息，m为大于1的整数，所述根据所述注视区域的特征信息分析所述注视区域中的区域图像信息随时间的变化趋势，得到注视区域变化趋势，包括：

若所述m个特征信息中存在n个特征信息包括第一关注对象和第二关注对象，存在k个特征信息包括所述第一关注对象，n和k均为小于m的正整数，n和k之和小于或等于m；

确定所述第一关注对象为目标对象，以及，确定所述注视区域变化信息表征所述注视区域的图像内容集中在目标对象上。

6.根据权利要求4所述的方法，其特征在于，所述注视区域的特征信息包括多个注视点对应的多个特征信息，所述根据所述注视区域的特征信息分析所述注视区域中的区域图像信息随时间的变化趋势，得到注视区域变化趋势，包括：

根据注视区域的特征信息确定注视变化指标参数，所述注视变化指标参数包括以下至少一种：所述特征信息的位置移动速率、移动频率和特征变化频率；

根据所述注视变化指标参数确定所述注视区域的内容变化程度值，所述注视变化指标参数用于表征所述注视区域变化趋势。

7.根据权利要求6所述的方法，其特征在于，所述根据所述注视区域的特征信息确定所述特征变化频率，包括：

按照时间先后顺序将所述多个注视点中每两个相邻时间的两个注视点对应的两个特征信息依次进行匹配，得到多个匹配值；

若所述多个匹配值中存在连续多个大于预设匹配阈值的目标匹配值，根据所述连续多个目标匹配值的第一数目和所述多个注视点对应的总注视时长确定所述特征变化频率。

8.根据权利要求3-7任一项所述的方法，其特征在于，所述电子设备还包括图像传感器和图像缓存区，所述图像缓存区用于存储所述图像传感器采集的图像，所述降低所述图像帧率，包括：

重新配置所述图像传感器的图像采集帧率，以降低所述图像帧率；或者，

通过所述图像传感器的旁路将所述图像传感器采集的图像部分输出至后端图像处理模块进行处理，以降低所述图像帧率；或者，

通过所述图像传感器的旁路将所述图像缓存区中所述图像传感器采集的部分图像进行丢弃，以降低所述图像帧率。

9.一种帧率调整装置，其特征在于，应用于电子设备，所述电子设备包括眼球追踪模块和显示屏，所述装置包括：

获取单元，用于通过所述眼球追踪模块获取所述显示屏被注视的注视点信息；

确定单元，用于根据所述注视点信息确定所述显示屏上的注视区域；

分析单元，用于分析所述注视区域的区域图像信息的变化趋势，得到注视区域变化趋势；

调整单元，用于根据所述注视区域变化趋势调整图像帧率。

10.一种电子设备，其特征在于，包括眼球追踪模块、显示屏、处理器、存储器、通信接口，以及一个或多个程序，所述存储器用于存储一个或多个程序，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-8任一项所述的方法中的步骤的指令。

11.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-8任一项所述的方法。

Images