CN103217897A - 用于触屏智能移动终端的优化刷新率优化方法及系统 - Google Patents

Abstract

一种移动终端显示技术领域的用于触屏智能移动终端的优化刷新率优化方法及系统，利用用户对屏幕刷新率的需求与划屏速率建立用户需求模型并计算模型参数，进而通过实时追踪触屏操作并动态调整屏幕刷新率，实现能量开销的减少。本发明在保证用户体验的前提下，大幅减少屏幕刷新能耗并显著降低了整机能耗。本发明易于实现，对用户体验度的影响较小，对智能移动终端的能源效率提升明显。

Description

用于触屏智能移动终端的优化刷新率优化方法及系统

技术领域

本发明涉及的是一种用于减少触屏移动终端显示刷新能量消耗的技术，该技术在减少能耗的同时，并未对用户体验度产生较大影响，具体涉及学习用户的需求模型并根据用户实时的划屏速率动态调整显示刷新率的优化方法及系统。

背景技术

触屏智能移动终端凭借着强大的功能、丰富的应用和极高的便携性在全世界范围内得到了广泛的应用。它的出现，使得更多的应用(如网页浏览、电子书阅读、社交网络等)能够流畅地运行在各种移动终端上，极大地丰富了用户的体验。与此同时，移动终端的待机时间却成为了瓶颈，越来越多的研究工作围绕终端能耗问题而展开。

在如今的智能移动终端能耗中占据主要部分的，大致可分为处理器、屏幕和通信三部分。而与本方法涉及了处理器与屏幕能耗。

有关智能终端的处理器节能的研究方案主要集中于选取更优化的方案来动态调整处理器频率，以实现在低负载时使用低主频处理运算任务，降低处理器能耗。

有关移动设备屏幕能耗的研究主要集中在LCD与OLED的发光能耗上：

1)对于LCD显示屏幕：现有工作表明，通过配合调节LCD屏幕的背光亮度与Gamma值可以显著减少背光能耗。

2)对于OLED显示屏幕：由于OLED显示技术拥有自发光、可视角度大、高亮度、低面板厚度及成本低廉等优势，近些年来逐渐取代LCD显示屏，成为移动终端的主流显示技术。由于其发光特性，导致其发出不同颜色的光时能耗也有所不同。而近来的研究则集中在调整OLED显示的配色方案，使用低能耗的颜色来替换高能耗颜色以达到节能的效果。

通过研究发现，整机能耗与屏幕的刷新率紧密相关，如图1。此外还发现，用户对刷新率的需求与屏幕内容的移动速度有关，如图2,3。而在触屏移动终端上，屏幕内容移动大都与划屏操作紧密相关。因此，可以选择基于用户的需求调节，从而避免不必要的高刷新率以达到节能的效果。现有移动终端在屏幕显示内容有变化时，操作系统需要进行一系列的刷新动作以在屏幕上显示流畅的动画。而每一次刷新都意味着重新计算要显示的画面，进而带来了极大的能耗。现有的刷新率调整方法总是保证以最高的频率进行屏幕刷新（一般为60fps，即达到屏幕硬件的刷新率上限），而没有考虑到屏幕刷新带来的能耗。

经过对现有技术的检索发现，中国专利文献号CN102930852A，公开日2013-02-13，公开了一种“通过动态调节屏幕刷新率来提高移动终端系统性能的方法”该技术通过动态调节屏幕刷新率来提高移动终端系统性能的方法，属于信息处理技术领域。该技术针对于移动终端，如触屏手机，在移动终端中处理器的处理能力是有限的，处理器通过自动检测其处理各种功能（如屏幕刷新是否平滑、有无触控延迟）的能力来评估系统整体性能，进而来动态调整屏幕刷新率。该技术主要从两个方面进行动态调节。一方面，从整体上，通过动态调节屏幕刷新率来保持屏幕刷新平滑，避免由于处理器来不及处理屏幕刷新而导致的刷新不平滑；另一方面，针对于具体应用，通过对某一应用来具体分析其在多大的刷新率下才不会导致产生触控延迟。但该技术没有考虑到显示帧率与用户体验之间的关系，单纯通过牺牲用户体验以换取能耗降低，导致实际用户体验收到影响较大。

发明内容

本发明针对现有技术存在的上述不足，提出一种用于触屏智能移动终端的优化刷新率优化方法及系统，通过收集用户对屏幕刷新频率的需求，建立用户需求模型，并跟踪触屏操作以动态、实时的调整屏幕的刷新频率，在保证用户体验的前提下，大幅减少屏幕刷新能耗并显著降低了整机能耗。本发明易于实现，对用户体验度的影响较小，对智能移动终端的能源效率提升明显。

本发明是通过以下技术方案实现的：

本发明涉及一种用于触屏智能移动终端的优化刷新率优化方法，利用用户对屏幕刷新率的需求与划屏速率建立用户需求模型并计算模型参数，进而通过实时追踪触屏操作并动态调整屏幕刷新率，实现能量开销的减少。

所述的用户需求模型是指：线性模型、反比例模型、平方根模型或Log模型，其中：

所述的动态调整屏幕刷新率是指：在划屏速率speed小于当前用户所需的最低显示刷新率r_min(speed)时，只需一个小于60帧/秒（fps）的刷新率即可实现节约移动终端能耗的同时保证体验。

所述的计算模型参数是指：当任一用户使用时，通过重要性采样，在用户需求模型上采点，并通过最小二乘法拟合得到对应该用户的模型参数，从而为每个用户训练其单独的需求模型。

所述的实时追踪触屏操作是指：当为每个用户建立需求模型后，根据模型的输入要求，优化方法需要实时捕捉用户对触屏的操作以计算划屏速率。通过移动终端系统的接口，触屏操作中触点的实时位置可知，通过计算Δt的时隙内触点的位移，即对比与t_i与t_i+Δt的时隙内触点位置的变化可获得该时隙内划屏的速率。

本发明涉及一种用于触屏智能移动终端的优化刷新率优化系统，包括：刷新率采集模块和刷新率调节模块，其中：刷新率采集模块与移动终端的触屏相连接并周期性采集触点的位置信息以计算该周期内触点的位移，即划屏速率并发送至刷新率调节模块；刷新率调节模块设置于移动终端的显示控制服务中，且实时地将模型输出的值应用到移动终端，以实现在保证用户体验的同时实现能耗的降低。

技术效果

与现有技术相比，本发明主要应用于触屏智能移动终端节能，优势在于能够在保证用户体验度的前提下，显著的减少使用过程中的能量消耗。本发明通过分析用户对刷新率的需求与划屏速率之间的相关性，建立需求模型。利用实时获取的触屏操作，计算划屏速率并动态地调整显示刷新率，从而减少不必要的能量的消耗，同时在用户体验度和能源效率之间做出了较好的权衡。

附图说明

图1为显示刷新率与能耗之间关系图。

图2为不同划屏速率下用户满意帧率的CDF图。

图3为用户‘SS-FR满意曲线’采点统和图。

图4为4个数学模型与用户数据拟合的平均RSS分布图。

图5为针对特定用户的需求模型拟合图。

图6为划屏速率的概率密度分布图。

图7为实施例原型系统和功率采集器照片。

图8为实施例与原有方法划屏时能耗对比图。

图9为实施例在浏览器应用中节能效果图。

图10为实施例在电子书阅读中节能效果图。

图11为实施例节能效果及对用户体验评估图。

图12为实施例采用的四种移动终端的实验效果比对。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

应用场景：选取Nexus One(Android2.3)、Nexus S(Android2.3)、Galaxy Nexus(Android4.0)和Galaxy Tablet(Android3.2)作为实现高能效刷新率调节优化方法的原型机。主要考察网页浏览、阅读电子书和社交网络这三类主要的移动应用。采集的数据量为327个用户，30天的使用时间。

本实施例利用用户对屏幕刷新率的需求与划屏速率建立用户需求模型并计算模型参数，进而通过实时追踪触屏操作并动态调整屏幕刷新率，实现能量开销的减少。

所述的用户需求模型是指：线性模型、反比例模型、平方根模型或Log模型，其中：

线性模型是指：最低显示刷新率r_min(speed)=k(speed)+b，其中：speed为划屏速率，单位为：pixels/second，k为斜率参数，取值范围为(0,+∞)，b为偏置参数，取值范围为(0,+∞)；

反比例模型是指：

k为缩放参数，取值范围为(-∞,0)，b为偏置参数，取值范围为(0,+∞),c为平移参数，取值范围为(0,+∞)；

平方根模型是指：

k为缩放参数，取值范围为(0,+∞)，b为偏置参数，取值范围为(-∞,+∞),c为平移参数，取值范围为(0,+∞)；

Log模型是指：最低显示刷新率r_min(speed)=kLog(speed+c)+b；k为缩放参数，取值范围为(0,+∞)，b为偏置参数，取值范围为(-∞,+∞),c为平移参数，取值范围为(0,+∞)。

通过对比大量用户数据（如图3）与四个模型的匹配程度（如图4），所述的用户需求模型优选为Log模型。

所述的动态调整屏幕刷新率是指：在划屏速率speed小于当前用户所需的最低显示刷新率r_min(speed)时，只需一个小于60帧/秒（fps）的刷新率即可实现节约移动终端能耗的同时保证体验。

所述的计算模型参数是指：当任一用户使用时，通过重要性采样，在用户需求模型上采点，并通过最小二乘法拟合得到对应该用户的模型参数，从而为每个用户训练其单独的需求模型，具体步骤包括：

1）在一个优化时间周期内采集用户操作信息，计算划屏速率的概率密度分布；

2）根据划屏速率分布，依重要性采样原则选取采样点集{speed_i}；

3）使用自动化程序，依次探测用户在每个采样点对应的满意帧率{r_min(speed_i)}，具体步骤包括：

3.1）欲确定用户在划屏速率speed_i下是否可接受帧率r，程序自动以speed_i的速率模拟划屏操作，引发动画并调节显示帧率至r，待动画完毕后询问用户是否可接受。

3.2）对待采样点集中每一个划屏速率，使用二分搜索的方法在(0,60)fps的范围内确定该速率对应的最小满意帧率。

3.2）重复步骤3.2即可获得{speed_i}对应的{r_min(speed_i)}。

4）计算参数组合，使得

值最小，其中：r_i=r_min(speed_i)-(kLog(speed)+b)。图5显示了4个不同用户的采样点集及拟合曲线，可见Log模型可以很好的描述特定用户在不同划屏速率之间对帧率的需求。

所述的实时追踪触屏操作是指：当为每个用户建立需求模型后，根据模型的输入要求，优化方法需要实时捕捉用户对触屏的操作以计算划屏速率。通过移动终端系统的接口，触屏操作中触点的实时位置可知，通过计算Δt的时隙内触点的位移，即对比与t_i与t_i+Δt的时隙内触点位置的变化可获得该时隙内划屏的速率。

所述的动态调整屏幕刷新率是指：对触电数据采用标准的一维卡尔曼滤波。

本实施例涉及一种实现上述方法的系统，包括：刷新率采集模块和带有自动化模型学习单元的刷新率调节模块，其中：刷新率采集模块与移动终端的触屏相连接并周期性采集触点的位置信息以计算该周期内触点的位移，即划屏速率并发送至刷新率调节模块；刷新率调节模块设置于移动终端的显示控制服务中，且实时地将模型输出的值应用到移动终端，以实现在保证用户体验的同时实现能耗的降低。

该系统通过以下方式进行工作：

步骤一、使用加载了线性模型、反比例模型、平方根模型或Log模型的刷新率调节模块在4种原装系统的移动设备上进行比对。

步骤二、在移动设备的原型系统中，进行以下两部分修改：

2.1）在应用层面：在原型系统中设置带有自动化模型学习单元的刷新率调节模块，以学习特定用户的需求模型；

2.2）在内核层面：在原型系统中增加刷新率采集模块，负责计算实时划屏速率，同时修改原型系统的显示控制模块，添加实时帧率调节组件以结合划屏速率和需求模型使得刷新率调节模块能够动态调节帧率。

步骤三、将原型设备与对比设备发放给用户，使用能耗测量板(如图7所示)测量使用多种应用时的能耗差异。具体来说，当每个用户拿到原型设备后，要首先进行模型参数的学习才能使优化生效。需求模型建立后，对于每次划屏操作，其划屏触点的每一次位移都会被捕捉，并依此计算实时的划屏速率。将实时的划屏速率输入需求模型，即获得该时刻最适宜的显示刷新率。最后，刷新率调节模块将显示刷新率调整到模型的输出值。的一般来讲，在浏览网页与阅读电子书的过程中，由于划屏速率偏低，模型输出的适宜显示刷新率都显著低于硬件刷新率上限（多为60fps），从而有效减少显示刷新次数并相应的降低能耗。

本实施例通过能耗的降低及对用户体验的影响作为评估指标：

如图8所示，为在同样一次时长为一分钟的网页浏览过程中，使用本方案与使用系统默认方案的整机能耗差别，其中：前10秒钟为网页的加载阶段，两种方案能耗并无显著差别，由此可以看出在原型机上启用优化方法后引入的额外开销基本可以忽略。而在随后的50秒则为有划屏操作的翻阅过程，在此过程中，可以明显的看到启用了本方法的原型机，能耗较使用默认系统方案的对比机有了显著地降低。进一步的数据分析表明，在此过程中，本方法可以减少63.2%的处理器能耗并降低36.1%的整机能耗，节能效果十分可观。

如图9所示，为327名测试用户，在浏览Google、Yahoo、Sina、Wikipedia、Amazon等流行站点时，本方法的节能表现。首先注意到本方法的普适性较强，对于诸多不同风格的站点都取得了可观的节能效果。从柱状图可以看出，在浏览这些站点时本方法可以有效地减少约55%的处理器能耗。从图中折现可以看出，本方案可以显著地降低约32%的整机能耗。同时，还注意到，本方法对于个别的站点的节能效果不尽人意。通过调查发现，这是由于该站点的页面消耗了过多的处理器资源以致在默认系统方案下，显示的刷新率就偏低，因此留给本方案的优化空间略小。总的来看，本方案对浏览网页的应用访问各大流行站点时适用性强，节能效果显著。

如图10所示，为在参数估计时使用不同的估计子，对数据集中327个用户在使用电子书阅读软件时节能效果的影响。图中4条曲线分别代表了使用RSS、E²RSS为估计子时本优化方案对处理器及整机节能效果的互补累积分布函数。从图中可以看出，不论使用何种估计子，本优化方案对电子书阅读类软件的能耗降低效果显著，对80%以上的用户，本方案可以节约超过45%的处理器能耗及25%的整机能耗。此外，考虑不同估计子的差异，发现使用E²RSS时可以获取更理想的节能效果。

如图11所示，为使用不同模型函数和在参数估计时使用不同的估计子，对数据集中327个用户在使用社交网络类软件时节能效果及用户体验的影响。发现，在使用线性函数描述用户需求曲线时难以取得能耗和用户体验的平衡，这是由于线性函数与用户需求曲线形态相差甚远导致的。相对的在使用Log模型及E²RSS为估计子时，可以获取最佳的节能效果及用户体验的平衡。由此又可以看出，Log模型时描述用户需求曲线的优选模型，而改进后的估计子可以进一步提升能效和用户体验。

图12显示了原型系统和对比系统的在不同机型下的能耗差异。从图中可见，对于不同的机型（包括手机与平板），本方法都可以很好的发挥功效，有效的降低整体能耗。这进一步论证了本系统的实用性以及可行性。

Claims (9)

1.一种用于触屏智能移动终端的优化刷新率优化方法，其特征在于，利用用户对屏幕刷新率的需求与划屏速率建立用户需求模型并计算模型参数，进而通过实时追踪触屏操作并动态调整屏幕刷新率，实现能量开销的减少。

2.根据权利要求1所述的方法，其特征是，所述的用户需求模型是指：线性模型、反比例模型、平方根模型或Log模型中的任意一种，其中：

所述的线性模型是指：最低显示刷新率r_min(speed)=k(speed)+b，其中：speed为划屏速率，单位为：pixels/second，k为斜率参数，取值范围为(0,+∞)，b为偏置参数，取值范围为(0,+∞)；

所述的反比例模型是指：

k为缩放参数，取值范围为(-∞,0)，b为偏置参数，取值范围为(0,+∞),c为平移参数，取值范围为(0,+∞)；

所述的平方根模型是指：

k为缩放参数，取值范围为(0,+∞)，b为偏置参数，取值范围为(-∞,+∞),c为平移参数，取值范围为(0,+∞)；

所述的Log模型是指：最低显示刷新率r_min(speed)=kLog(speed+c)+b；k为缩放参数，取值范围为(0,+∞)，b为偏置参数，取值范围为(-∞,+∞),c为平移参数，取值范围为(0,+∞)。

3.根据权利要求1所述的方法，其特征是，所述的动态调整屏幕刷新率是指：在划屏速率speed小于当前用户所需的最低显示刷新率r_min(speed)时，只需一个小于60帧/秒（fps）的刷新率即可实现节约移动终端能耗的同时保证体验。

4.根据权利要求1所述的方法，其特征是，所述的计算模型参数是指：当任一用户使用时，通过重要性采样，在用户需求模型上采点，并通过最小二乘法拟合得到对应该用户的模型参数，从而为每个用户训练其单独的需求模型。

5.根据权利要求1或4所述的方法，其特征是，所述的计算模型参数具体包括以下步骤：

1)在一个优化时间周期内采集用户操作信息，计算划屏速率的概率密度分布；

2)根据划屏速率分布，依重要性采样原则选取采样点集{speed_i}；

3)使用自动化程序，依次探测用户在每个采样点对应的满意帧率{r_min(speed_i)}；

4）计算参数组合，使得值最小，其中：r_i=r_min(speed_i)-(kLog(speed)+b)。

6.根据权利要求1所述的方法，其特征是，所述的实时追踪触屏操作是指：当为每个用户建立需求模型后，根据模型的输入要求，优化方法需要实时捕捉用户对触屏的操作以计算划屏速率。通过移动终端系统的接口，触屏操作中触点的实时位置可知，通过计算Δt的时隙内触点的位移，即对比与t_i与t_i+Δt的时隙内触点位置的变化可获得该时隙内划屏的速率。

7.根据权利要求1所述的方法，其特征是，所述的动态调整屏幕刷新率是指：对触电数据采用标准的一维卡尔曼滤波。

8.一种实现权利要求1-7中任一所述方法的优化刷新率优化系统，其特征在于，包括：刷新率采集模块和刷新率调节模块，其中：刷新率采集模块与移动终端的触屏相连接并周期性采集触点的位置信息以计算该周期内触点的位移，即划屏速率并发送至刷新率调节模块；刷新率调节模块设置于移动终端的显示控制服务中，且实时地将模型输出的值应用到移动终端，以实现在保证用户体验的同时实现能耗的降低。

9.根据权利要求8所述的系统，其特征是，所述的刷新率调节模块内设有自动化模型学习单元，用于学习特定用户的需求模型。

Images