CN115002542B - 帧率调整方法及装置，计算机可读存储介质、终端 - Google Patents

帧率调整方法及装置，计算机可读存储介质、终端 Download PDF

Info

Publication number
CN115002542B
CN115002542B CN202210583143.4A CN202210583143A CN115002542B CN 115002542 B CN115002542 B CN 115002542B CN 202210583143 A CN202210583143 A CN 202210583143A CN 115002542 B CN115002542 B CN 115002542B
Authority
CN
China
Prior art keywords
frame rate
image
frame
determining
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210583143.4A
Other languages
English (en)
Other versions
CN115002542A (zh
Inventor
阳深
高卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Semiconductor Nanjing Co Ltd
Original Assignee
Spreadtrum Semiconductor Nanjing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Semiconductor Nanjing Co Ltd filed Critical Spreadtrum Semiconductor Nanjing Co Ltd
Priority to CN202210583143.4A priority Critical patent/CN115002542B/zh
Publication of CN115002542A publication Critical patent/CN115002542A/zh
Application granted granted Critical
Publication of CN115002542B publication Critical patent/CN115002542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

一种帧率调整方法及装置，计算机可读存储介质、终端，所述方法包括：对待进行显示合成处理的当前帧图像的图层信息与前一帧图像的图层信息进行比较，并确定当前帧图像的图层信息产生变化；确定N帧图像的显示合成处理的数据处理时长；如果所述N帧图像的数据处理时长的偏差极值差大于屏幕刷新周期的预设百分比，和/或，如果所述N帧图像的数据处理时长的平均值大于屏幕刷新周期，则计算合成帧率；根据计算得到的所述合成帧率，确定自当前帧图像起的图像帧率。本发明可以在场景负载发生浮动变化时，有效提高视觉流畅度。

Description

帧率调整方法及装置，计算机可读存储介质、终端
技术领域
本发明涉及图像处理领域，尤其涉及一种帧率调整方法及装置，计算机可读存储介质、终端。
背景技术
帧率稳定性与视觉流畅度强相关，稳定的帧率能够使用户获得良好的观感体验。
在现有技术中，帧率主要受限于硬件，在硬件性能较低或软件优化不足的情况下，不同场景的帧的绘制渲染、合成时长受到场景负载影响出现上下浮动现象，导致用户观感不佳。
在安卓(Android)4.1中，引入了架构软件(FrameWork)模拟垂直同步硬件(Vsync)的概念，使得架构软件不再受限于固定周期性的垂直同步硬件信号的影响来渲染数据，从而能够实现在软件模型中改变屏幕刷新率。
然而，软件模型中的屏幕刷新率(又可以称为系统帧率)是依赖于硬件的屏幕刷新率而更改的，软件模型中的屏幕刷新率需要小于等于硬件的屏幕刷新率上限。
在现有技术中，通常会采用屏幕刷新率的预设比例作为固定的帧率，导致在场景负载发生浮动变化时，容易降低视觉流畅度，进而降低用户体验度。
亟需一种帧率调整方法，能够在场景负载发生浮动变化时，有效提高视觉流畅度。
发明内容
本发明解决的技术问题是提供一种帧率调整方法及装置，计算机可读存储介质、终端，可以在场景负载发生浮动变化时，有效提高视觉流畅度。
为解决上述技术问题，本发明实施例提供一种帧率调整方法，包括：对待进行显示合成处理的当前帧图像的图层信息与前一帧图像的图层信息进行比较，并确定当前帧图像的图层信息产生变化；确定N帧图像的显示合成处理的数据处理时长；如果所述N帧图像的数据处理时长的偏差极值差大于屏幕刷新周期的预设百分比，和/或，如果所述N帧图像的数据处理时长的平均值大于屏幕刷新周期，则计算合成帧率；根据计算得到的所述合成帧率，确定自所述当前帧图像起的图像帧率；其中，N为预设的正整数。
可选的，所述图层信息选自：图像包含的各层图层的ID信息以及属性信息；其中，所述ID信息选自以下一项或多项：图层名称、图层序号；所述属性信息选自以下一项或多项：图层格式、图层大小。
可选的，所述计算合成帧率包括：采用所述N帧图像的数据处理时长的平均值以及所述N帧图像的数据处理时长的偏差极值差之和的倒数作为所述合成帧率。
可选的，根据计算得到的所述合成帧率，确定自所述当前帧图像起的图像帧率包括：在预设帧率下限值与所述屏幕刷新率之间，采用预设帧率间隔确定多个帧率等级；如果所述合成帧率大于等于所述预设帧率下限值且小于等于所述屏幕刷新率，则确定所述合成帧率对应的帧率等级，并采用该帧率等级的上限值或下限值作为所述自所述当前帧图像起的图像帧率。
可选的，根据计算得到的所述合成帧率，确定自所述当前帧图像起的图像帧率还包括：如果所述合成帧率小于所述预设帧率下限值，则采用所述预设帧率下限值作为所述自所述当前帧图像起的图像帧率。
可选的，根据计算得到的所述合成帧率，确定自所述当前帧图像起的图像帧率还包括：如果所述合成帧率大于所述屏幕刷新率，则重新确定一帧或多帧图像的显示合成处理的数据处理时长，并计算合成帧率。
可选的，在确定自所述当前帧图像起的图像帧率之后，所述方法还包括：记录所述变化后的图层信息以及所述自所述当前帧图像起的图像帧率。
可选的，在确定N帧图像的显示合成处理的数据处理时长之前，所述方法还包括：查找预设历史时长内的记录，确定是否有与所述变化后的图层信息一致的历史图层信息对应的帧率；如果有，则采用该历史图层信息对应的帧率作为所述自所述当前帧图像起的图像帧率。
可选的，所述确定N帧图像的显示合成处理的数据处理时长包括：自第M帧图像起，确定N帧图像的显示合成处理的数据处理时长；其中，M为预设的正整数。
可选的，前M+N-1帧图像采用屏幕刷新周期作为显示合成处理的数据处理时长。
可选的，所述屏幕刷新周期的预设百分比选自：5％～40％。
可选的，所述帧率调整方法用于安卓系统，且在所述安卓系统中，采用软件模型模拟硬件调整屏幕刷新率；在确定自所述当前帧图像起的图像帧率之后，所述方法还包括：触发所述硬件开启同步；触发所述软件模型中的屏幕刷新率被重置为所述自所述当前帧图像起的图像帧率。
为解决上述技术问题，本发明实施例提供一种帧率调整装置，包括：变化确定模块，用于对待进行显示合成处理的当前帧图像的图层信息与前一帧图像的图层信息进行比较，并确定当前帧图像的图层信息产生变化；处理时长确定模块，用于确定N帧图像的显示合成处理的数据处理时长；合成帧率计算模块，用于当所述N帧图像的数据处理时长的偏差极值差大于屏幕刷新周期的预设百分比，和/或，如果所述N帧图像的数据处理时长的平均值大于屏幕刷新周期时，计算合成帧率；帧率确定模块，用于根据计算得到的所述合成帧率，确定自所述当前帧图像起的图像帧率；其中，N为预设的正整数。
为解决上述技术问题，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述帧率调整方法的步骤。
为解决上述技术问题，本发明实施例提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述帧率调整方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
在本发明实施例中，首先通过判断当前帧图像的图层信息是否产生变化，确定场景及其负载改变，然后在N帧图像的数据处理时长满足预设条件的情况下，确定自所述当前帧图像起的图像帧率。采用上述方案，可以在场景及其负载改变后，显示合成处理的数据处理时长波动较大，或者显示合成处理的数据处理时长大于屏幕刷新周期时，及时确定自所述当前帧图像起的图像帧率，相比于采用固定的屏幕刷新率，在场景负载发生浮动变化时导致降低视觉流畅度，采用本发明实施例的方案，可以在场景负载发生浮动变化时，有效提高视觉流畅度。
进一步，由于图层信息初变时的数帧图像受到加载过程的影响可能存在帧率不稳定的情况，或者图层信息初变时的数帧图像可能具有不可变更的、默认的屏幕刷新率，通过设置自第M帧图像起才确定自所述当前帧图像起的图像帧率，可以有效减轻图层信息初变时的数帧图像对帧率计算的影响。
进一步，所述图层信息可以选自：图像包含的各层图层的标识(ID)信息以及属性信息，由于在图层保持一致，且图层的格式或大小未变化的情况下，可以认为图层信息未改变，此时可以继续采用帧率，而在图层信息变化后，则需要对帧率还是否适用进行判断，因此通过设置合适的图层信息，可以提高判断时机的有效性。
进一步，在预设帧率下限值与所述屏幕刷新率之间，采用预设帧率间隔确定多个帧率等级，对于帧率多变导致帧率调整多变，进而提高帧率维护复杂度的情况，可以预先确定几种恰当的帧率等级配置，并根据计算得到的合成帧率对应的帧率等级，选择合适的帧率，从而在降低帧率维护复杂度和帧率选择的准确性之间达到平衡。
进一步，在记录所述变化后的图层信息以及所述自所述当前帧图像起的图像帧率之后，还可以查找预设历史时长内的记录，并在有与所述变化后的图层信息一致的历史图层信息对应的帧率时，采用该历史图层信息对应的帧率作为所述自所述当前帧图像起的图像帧率，从而在图层信息变化后，通过遍历配置信息，确定变化后的图层信息是否已经具有适当的对应帧率，从而减少重复计算。
进一步，所述M+N-1帧图像采用屏幕刷新周期作为显示合成处理的数据处理时长，从而对图层信息初变后的数帧图像均恢复为屏幕刷新周期，在合适的数据处理时长未知的情况下，基于硬件的屏幕刷新率尽可能提高较好的视觉清晰度。
附图说明
图1是本发明实施例中一种帧率调整方法的流程图；
图2是本发明实施例中一种用于帧率调整的基本架构示意图；
图3是本发明实施例中另一种帧率调整方法的流程图；
图4是本发明实施例中又一种帧率调整方法的流程图；
图5是本发明实施例中再一种帧率调整方法的部分流程图；
图6是本发明实施例中一种帧率调整装置的结构示意图。
具体实施方式
在现有技术中，通常会采用屏幕刷新率的预设比例作为固定的帧率，导致在场景负载发生浮动变化时，容易降低视觉流畅度，进而降低用户体验度。
本发明的发明人经过研究发现，在现有技术中，采用固定的屏幕刷新率，面对场景负载浮动变化的情况，容易发生当前帧图像的帧率与实际情况不匹配的情况，容易导致卡顿(Jank)现象而降低视觉流畅度。
在本发明实施例中，首先通过判断当前帧图像的图层信息是否产生变化，确定场景及其负载改变，然后在N帧图像的数据处理时长满足预设条件的情况下，确定自所述当前帧图像起的图像帧率。采用上述方案，可以在场景及其负载改变后，显示合成处理的数据处理时长波动较大，或者显示合成处理的数据处理时长大于屏幕刷新周期时，及时确定自所述当前帧图像起的图像帧率，相比于采用固定的屏幕刷新率，在场景负载发生浮动变化时导致降低视觉流畅度，采用本发明实施例的方案，可以在场景负载发生浮动变化时，有效提高视觉流畅度。
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
参照图1，图1是本发明实施例中一种帧率调整方法的流程图。所述帧率调整方法可以包括步骤S11至步骤S14：
步骤S11：对待进行显示合成处理的当前帧图像的图层信息与前一帧图像的图层信息进行比较，并确定当前帧图像的图层信息产生变化；
步骤S12：确定N帧图像的显示合成处理的数据处理时长；
步骤S13：如果所述N帧图像的数据处理时长的偏差极值差大于屏幕刷新周期的预设百分比，和/或，如果所述N帧图像的数据处理时长的平均值大于屏幕刷新周期，则计算合成帧率；
步骤S14：根据计算得到的所述合成帧率，确定自所述当前帧图像起的图像帧率。
其中，N为预设的正整数。
可以理解的是，在具体实施中，所述方法可以采用软件程序的方式实现，该软件程序运行于芯片或芯片模组内部集成的处理器中。
在步骤S11的具体实施中，当前帧图像为待进行显示合成处理的，且每帧图像具有图层信息。
参照图2，图2是本发明实施例中一种用于帧率调整的基本架构示意图。
如图所示，垂直同步信号生成模块21可以生成应用程序(APP)的垂直同步信号，将APP的垂直同步信号发送至APP 22以触发显示流程，经过绘制渲染模块23对该帧图像进行界面线程(UI Thread)处理以及渲染线程(Render Thread)处理后，发送同步图层至显示合成(Surface Flinger)模块24以进行显示合成处理。
由于垂直同步信号生成模块21还可以生成显示合成模块24的垂直同步信号，并将显示合成模块24的垂直同步信号发送至显示合成模块24，以触发显示合成功能，因此绘制渲染模块23处理数据的速度与显示合成模块24处理数据的速度需要保持一致。
具体地，如果界面线程与渲染线程处理数据过慢，可能会导致显示合成线程不能及时获取需要更新的数据，严重时导致卡顿或丢帧；如果显示合成线程处理数据过慢，也可能会导致界面线程与渲染线程送过来的数据等待超时。
换言之，绘制渲染模块23与显示合成模块24的数据处理时长彼此影响，相互作用。某一APP是否卡顿或丢帧可以结合界面线程与渲染线程的数据处理时长是否超出垂直同步信号间隔确定，或者结合显示合成线程的数据处理时长是否超出垂直同步信号间隔确定。
在图2示出的基本架构中，可以在显示合成模块24中新增帧率自适应(FpsConfigs)模块241，图1中示出的各个步骤可以由帧率自适应模块241实施，并且由窗口管理模块26检测用户是否开启功能来触发帧率自适应模块241。
当确定自所述当前帧图像起的图像帧率后，可以由帧率自适应模块241反馈更新信号给垂直同步信号生成模块21，以使得在下一次申请显示合成模块的垂直同步信号时，垂直同步信号生成模块21可以按照更改后的周期发出信号。
帧率自适应模块241还可以对变化后的图层信息以及所述自所述当前帧图像起的图像帧率进行记录，例如存入配置文件模块25，从而防止重复计算帧率。在一个非限制性的具体实施方式中，垂直同步信号生成模块21也可以与配置文件模块25耦接，以存储数据。
继续参照图1，在步骤S11的具体实施中，每帧图像具有的图层信息可以选自：图像包含的各层图层的ID信息以及属性信息。
其中，所述ID信息可以用于唯一标识图层，所述属性信息可以用于指示能够影响帧率的那些信息。
进一步地，所述ID信息选自以下一项或多项：图层名称、图层序号；
所述属性信息选自以下一项或多项：图层格式、图层大小。
需要指出的是，在对待进行显示合成处理的当前帧图像的图层信息与前一帧图像的图层信息进行比较的过程中，无论是ID信息不同，还是属性信息不同，均可以判断为图层信息发生改变。
可以理解的是，图层信息相同的图像可以采用相同的帧率，图层信息不同的图像可以采用各自的帧率，图层信息与帧率之间可以具有一对一的对应关系或多对一的对应关系。
在本发明实施例中，所述图层信息可以选自：图像包含的各层图层的ID信息以及属性信息，由于在图层保持一致，且图层的格式或大小未变化的情况下，可以认为图层信息未改变，此时可以继续采用帧率，而在图层信息变化后，则需要对帧率还是否适用进行判断，因此通过设置合适的图层信息，可以提高判断时机的有效性。
在步骤S12的具体实施中，确定N帧图像的显示合成处理的数据处理时长，其中，N为预设的正整数。
在一种非限制性的具体实施例中，可以自第1帧图像起，确定N帧图像的显示合成处理的数据处理时长。
进一步地，所述确定N帧图像的显示合成处理的数据处理时长包括：自第M帧图像起，确定N帧图像的显示合成处理的数据处理时长；其中，M为预设的正整数。
具体地，可以连续确定N帧图像的每一帧图像在显示合成处理过程中的真实的数据处理时长，也即从第M帧至第M+N-1帧。
在一个非限制性的具体实施例中，以与屏幕交互的应用组启动时占用前6帧为例，可以设置M＝7，从而跳过前6帧，然后自第7帧开始，确定每帧图像在显示合成处理过程中的起始时刻和结束时刻，以N＝6为例，则确定第7帧至第12帧的起始时刻和结束时刻，从而确定该6帧图像的数据处理总时长以及各自的数据处理时长。
在本发明实施例中，由于图层信息初变时的数帧图像受到加载过程的影响可能存在帧率不稳定的情况，或者图层信息初变时的数帧图像可能具有不可变更的、默认的屏幕刷新率，通过设置自第M帧图像起才确定自所述当前帧图像起的图像帧率，可以有效减轻图层信息初变时的数帧图像对帧率计算的影响。
进一步地，前M+N-1帧图像可以采用屏幕刷新周期作为显示合成处理的数据处理时长。
在本发明实施例中，是基于前M+N-1帧图像确定是否需要计算合成帧率的，通过所述M+N-1帧图像采用屏幕刷新周期作为显示合成处理的数据处理时长，可以对图层信息初变后的数帧图像均恢复为屏幕刷新周期，在合适的数据处理时长未知的情况下，基于硬件的屏幕刷新率尽可能提高较好的视觉清晰度。
在步骤S13的具体实施中，如果所述N帧图像的数据处理时长的偏差极值差大于屏幕刷新周期的预设百分比，和/或，如果所述N帧图像的数据处理时长的平均值大于屏幕刷新周期，则计算合成帧率。
其中，N帧图像的数据处理时长的偏差极值差可以是先确定N帧图像中各帧图像的数据处理时长，以及每帧图像的数据处理时长与屏幕刷新周期的偏差，然后确定各帧图像的偏差的最大值和最小值，并将最大值与最小值之差作为偏差极值差。
在一个非限制性的例子中，屏幕刷新率＝60Hz，屏幕刷新周期可以为1000/60＝16(ms)，以M＝7，N＝6，第7帧至第12帧的数据处理时长分别为18、20、15、17、16、19，则每帧图像的数据处理时长与屏幕刷新周期的偏差分别为2、4、-1、1、0、3，然后确定各帧图像的偏差的最大值4和最小值-1，并将最大值与最小值之差5作为偏差极值差。
具体地，可以根据N帧图像的数据处理时长的平均值以及偏差极值差，判断帧率是否稳定，从而判断是否需要更改帧率。
进一步地，所述屏幕刷新周期的预设百分比可以选自：5％～40％。
需要指出的是，所述屏幕刷新周期的预设百分比不应当设置过高，否则N帧图像的数据处理时长的偏差极值差不容易满足大于屏幕刷新周期的预设百分比的条件，导致在帧率波动过大时没有重新确定帧率；所述屏幕刷新周期的预设百分比不应当设置过低，否则会导致在帧率波动很小、帧率满足需求时也会重新确定帧率。
作为一个非限制性的例子，所述预设百分比可以选自10％至20％，例如15％。
进一步地，所述计算合成帧率的步骤可以包括：采用所述N帧图像的数据处理时长的平均值以及所述N帧图像的数据处理时长的偏差极值差之和的倒数作为所述合成帧率。
具体地，可以采用下述公式计算所述合成帧率：
fps＝1/(At+Vt)
其中，fps用于表示合成帧率，At用于表示所述N帧图像的数据处理时长的平均值，Vt用于表示所述N帧图像的数据处理时长的偏差极值差。
在步骤S14的具体实施中，计算得到合成帧率后，可以对合成帧率与预设帧率进行比较，并且确定自所述当前帧图像起的图像帧率。
进一步，根据计算得到的所述合成帧率，确定自所述当前帧图像起的图像帧率的步骤可以包括：在预设帧率下限值与所述屏幕刷新率之间，采用预设帧率间隔确定多个帧率等级；如果所述合成帧率大于等于所述预设帧率下限值且小于等于所述屏幕刷新率，则确定所述合成帧率对应的帧率等级，并采用该帧率等级的上限值或下限值作为所述自所述当前帧图像起的图像帧率。
其中，合成帧率对应的帧率等级可以是在对合成帧率与各个帧率等级的上限值和下限值进行判断，并确定合成帧率落入哪个帧率等级后得到的。
作为一个非限制性的例子，可以设置屏幕刷新率＝60Hz，预设帧率下限值为20Hz，在其中设置每个等级为10Hz，从而得到等级1为50～60Hz，等级2为40～50Hz，等级3为30～40Hz，等级4为20～30Hz。如果合成帧率为45Hz，则可以采用40Hz或50Hz作为自所述当前帧图像起的图像帧率。
在本发明实施例中，在预设帧率下限值与所述屏幕刷新率之间，采用预设帧率间隔确定多个帧率等级，对于帧率多变导致帧率调整多变，进而提高帧率维护复杂度的情况，可以预先确定几种恰当的帧率等级配置，并根据计算得到的合成帧率对应的帧率等级，选择合适的帧率，从而在降低帧率维护复杂度和帧率选择的准确性之间达到平衡。
进一步，根据计算得到的所述合成帧率，确定自所述当前帧图像起的图像帧率的步骤还可以包括：如果所述合成帧率小于所述预设帧率下限值，则采用所述预设帧率下限值作为所述自所述当前帧图像起的图像帧率。
在上述非限制性的例子中，可以设置预设帧率下限值为20Hz，如果合成帧率为18Hz，则可以采用20Hz作为自所述当前帧图像起的图像帧率。
进一步，根据计算得到的所述合成帧率，确定自所述当前帧图像起的图像帧率还包括：如果所述合成帧率大于所述屏幕刷新率，则重新确定一帧或多帧图像的显示合成处理的数据处理时长，并计算合成帧率。
在上述非限制性的例子中，可以设置屏幕刷新率＝60Hz，如果合成帧率为62Hz，则可以采用60Hz作为自所述当前帧图像起的图像帧率。
在本发明实施例中，可以根据合成帧率与预设帧率的比较结果，确定自所述当前帧图像起的图像帧率，提高后续图像的显示合成处理中采用的帧率的适用性。
在本发明实施例中，首先通过判断当前帧图像的图层信息是否产生变化，确定场景及其负载改变，然后在N帧图像的数据处理时长满足预设条件的情况下，确定自所述当前帧图像起的图像帧率。采用上述方案，可以在场景及其负载改变后，显示合成处理的数据处理时长波动较大，或者显示合成处理的数据处理时长大于屏幕刷新周期时，及时确定自所述当前帧图像起的图像帧率，相比于采用固定的屏幕刷新率，在场景负载发生浮动变化时导致降低视觉流畅度，采用本发明实施例的方案，可以在场景负载发生浮动变化时，有效提高视觉流畅度较。进一步地，由于图层信息初变时的数帧图像受到加载过程的影响可能存在帧率不稳定的情况，或者图层信息初变时的数帧图像可能具有不可变更的、默认的屏幕刷新率，通过设置自第M帧图像起才确定自所述当前帧图像起的图像帧率，可以有效减轻图层信息初变时的数帧图像对帧率计算的影响。
参照图3，图3是本发明实施例中另一种帧率调整方法的流程图。所述另一种帧率调整方法可以包括步骤S301至步骤S310，以下对各个步骤进行说明。
在步骤S301中，确定帧率调整功能已开启。
具体地，例如可以采用图2中示出的窗口管理模块26检测用户是否开启功能，并在用户有意愿进行帧率调整的情况下进行后续操作。
在步骤S302中，判断图层信息是否产生变化，如果判断结果为是，则继续执行步骤S303。
具体地，如果图层信息未产生变化，则可以判断为无需对帧率进行调整。
在步骤S303中，采用屏幕刷新周期作为显示合成处理的数据处理时长。
在步骤S304中，跳过前M-1帧图像。
在步骤S305中，记录第M帧图像的起始时刻。
具体地，通过记录第M帧图像的起始时刻，可以根据第M帧图像的结束时刻确定第M帧图像的显示合成处理的数据处理时长，还可以根据第M+N-1帧图像的结束时刻确定N帧图像的显示合成处理的数据处理时长的总时长，进而计算N帧图像的数据处理时长的平均值。
在步骤S306中，确定N帧图像的显示合成处理的数据处理时长。
在步骤S307中，记录第M+N-1帧图像的结束时刻。
在步骤S308中，可以判断偏差极值差是否＞屏幕刷新周期的第一预设百分比，还可以判断数据处理时长的平均值是否＞屏幕刷新周期，如果判断结果为是，则继续执行步骤S309。
具体地，如果上述判断结果为否，则可以判断为无需对帧率进行调整。
在步骤S309中，计算合成帧率。
在步骤S310中，确定自当前帧图像起的图像帧率。
其中，自所述当前帧图像起的图像帧率可以用于后续图像的显示合成处理。
需要指出的是，后续图像可以是自当前帧图像至下一次调整图像帧率之前的各帧图像，自当前帧图像起的图像帧率可以是当前帧图像的帧率以及当前帧图像之后的后续图像的帧率。
在具体实施中，有关步骤S301至步骤S310的更多详细内容请参照图1中的步骤的描述进行执行，此处不再赘述。
在本发明实施例的一种具体实施方式中，在确定自所述当前帧图像起的图像帧率之后，所述帧率调整方法还可以包括：记录所述变化后的图层信息以及所述自所述当前帧图像起的图像帧率。
更进一步地，在确定N帧图像的显示合成处理的数据处理时长之前，所述帧率调整方法还可以包括：查找预设历史时长内的记录，确定是否有与所述变化后的图层信息一致的历史图层信息对应的帧率；如果有，则采用该历史图层信息对应的帧率作为所述自所述当前帧图像起的图像帧率。
参照图4，图4是本发明实施例中又一种帧率调整方法的流程图。所述又一种帧率调整方法可以包括步骤S41至步骤S46，以下对各个步骤进行说明。
在步骤S41中，确定帧率调整功能已开启。
在步骤S42中，判断图层信息是否产生变化，如果判断结果为是，则继续执行步骤S43。
在具体实施中，有关步骤S41至步骤S42的更多详细内容请参照图3中的步骤的描述进行执行，此处不再赘述。
在步骤S43中，判断是否有与所述变化后的图层信息一致的历史图层信息对应的帧率，如果判断结果为是，则继续执行步骤S44，如果判断结果为否，则继续执行步骤S45。
在具体实施中，可以记录图层信息以及图层信息对应的帧率，并建立图层信息对应的帧率之间的映射关系，从而可以在确定图层信息后，查找历史记录确定是否已经存在合适的帧率。
在步骤S44中，采用该历史图层信息对应的帧率作为自所述当前帧图像起的图像帧率。
在步骤S45中，确定自所述当前帧图像起的图像帧率。
需要特别指出的是，在步骤S45的具体实施中，可以参照图1中的步骤S12至步骤S14的描述进行执行，此处不再赘述。
在步骤S46中，记录所述变化后的图层信息以及自所述当前帧图像起的图像帧率。
在本发明实施例中，在记录所述变化后的图层信息以及所述自所述当前帧图像起的图像帧率之后，还可以查找预设历史时长内的记录，并在有与所述变化后的图层信息一致的历史图层信息对应的帧率时，采用该历史图层信息对应的帧率作为所述自所述当前帧图像起的图像帧率，从而在图层信息变化后，通过遍历配置信息，确定变化后的图层信息是否已经具有适当的对应帧率，从而减少重复计算。
进一步地，所述帧率调整方法可以用于安卓系统，且在所述安卓系统中，采用软件模型模拟硬件调整屏幕刷新率；在确定自所述当前帧图像起的图像帧率之后，所述方法还可以包括：触发所述硬件开启同步；触发所述软件模型中的屏幕刷新率被重置为所述自所述当前帧图像起的图像帧率。
参照图5，图5是本发明实施例中再一种帧率调整方法的部分流程图，所述再一种帧率调整方法可以包括步骤S51至步骤S54，以下对各个步骤进行说明。
在步骤S51中，可以确定自所述当前帧图像起的图像帧率。
具体地，可以参照图1、图3、图4中的步骤的描述进行执行，此处不再赘述。
在步骤S52中，触发硬件开启同步。
在步骤S53中，触发所述软件模型中的屏幕刷新率被重置为所述自所述当前帧图像起的图像帧率。
具体地，在硬件开启同步后，再触发重置软件模型中的屏幕刷新率，可以提高帧率调整的准确性。
在步骤S54中，同步给事件处理模块。
需要指出的是，所述事件处理模块可以用于实现对软件模型中的屏幕刷新率的更新，在具体实施中，对模块的具体名称可以不做限制。
在本发明实施例中，通过硬件开启同步，以及重置软件模型中的屏幕刷新率，可以实现在后续图像的显示合成处理中采用自所述当前帧图像起的图像帧率。
参照图6，图6是本发明实施例中一种帧率调整装置的结构示意图。所述帧率调整装置可以包括：
变化确定模块61，用于对待进行显示合成处理的当前帧图像的图层信息与前一帧图像的图层信息进行比较，并确定当前帧图像的图层信息产生变化；
处理时长确定模块62，用于确定N帧图像的显示合成处理的数据处理时长；
合成帧率计算模块63，用于当所述N帧图像的数据处理时长的偏差极值差大于屏幕刷新周期的预设百分比，和/或，如果所述N帧图像的数据处理时长的平均值大于屏幕刷新周期时，计算合成帧率；
帧率确定模块64，用于根据计算得到的所述合成帧率，确定自所述当前帧图像起的图像帧率。
其中，N为预设的正整数。
在具体实施中，上述装置可以对应于终端中具有数据处理功能的芯片；或者对应于终端中包括具有数据处理功能芯片的芯片模组，或者对应于终端。
作为一个非限制性的例子，上述帧率调整装置可以采用图2中示出的帧率自适应模块241。
关于该帧率调整装置的原理、具体实现和有益效果请参照前文所述的关于帧率调整方法的相关描述，此处不再赘述。
在具体实施中，关于上述实施例中描述的各个装置、产品包含的各个模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。
例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述图1至图5所示实施例提供的方法的步骤。
具体地，在本发明实施例中，所述处理器可以为中央处理单元(centralprocessing unit，简称CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，简称DSP)、专用集成电路(application specificintegrated circuit，简称ASIC)、现成可编程门阵列(field programmable gate array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，简称ROM)、可编程只读存储器(programmable ROM，简称PROM)、可擦除可编程只读存储器(erasable PROM，简称EPROM)、电可擦除可编程只读存储器(electricallyEPROM，简称EEPROM)或闪存。易失性存储器可以是随机存取存储器(random accessmemory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，简称RAM)可用，例如静态随机存取存储器(staticRAM，简称SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronousDRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，简称DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，简称ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，简称DR RAM)。
本发明实施例还提供了一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述方法的步骤。所述终端包括但不限于手机、计算机、平板电脑、服务器、云平台等终端设备。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。
本申请实施例中出现的“多个”是指两个或两个以上。本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (13)

1.一种帧率调整方法，其特征在于，包括：
对待进行显示合成处理的当前帧图像的图层信息与前一帧图像的图层信息进行比较，并确定当前帧图像的图层信息产生变化；
确定N帧图像的显示合成处理的数据处理时长；
如果所述N帧图像的数据处理时长的偏差极值差大于屏幕刷新周期的预设百分比，和/或，如果所述N帧图像的数据处理时长的平均值大于屏幕刷新周期，则计算合成帧率；
根据计算得到的所述合成帧率，确定自所述当前帧图像起的图像帧率；
其中，所述计算合成帧率包括：采用所述N帧图像的数据处理时长的平均值以及所述N帧图像的数据处理时长的偏差极值差之和的倒数作为所述合成帧率；
所述确定N帧图像的显示合成处理的数据处理时长包括：前M+N-1帧图像采用屏幕刷新周期作为显示合成处理的数据处理时长；
N为预设的正整数，M为预设的正整数。
2.根据权利要求1所述的帧率调整方法，其特征在于，所述图层信息选自：图像包含的各层图层的ID信息以及属性信息；
其中，所述ID信息选自以下一项或多项：图层名称、图层序号；
所述属性信息选自以下一项或多项：图层格式、图层大小。
3.根据权利要求1所述的帧率调整方法，其特征在于，根据计算得到的所述合成帧率，确定自所述当前帧图像起的图像帧率包括：
在预设帧率下限值与屏幕刷新率之间，采用预设帧率间隔确定多个帧率等级；
如果所述合成帧率大于等于所述预设帧率下限值且小于等于所述屏幕刷新率，则确定所述合成帧率对应的帧率等级，并采用该帧率等级的上限值或下限值作为自所述当前帧图像起的图像帧率。
4.根据权利要求3所述的帧率调整方法，其特征在于，根据计算得到的所述合成帧率，确定自所述当前帧图像起的图像帧率还包括：
如果所述合成帧率小于所述预设帧率下限值，则采用所述预设帧率下限值作为自所述当前帧图像起的图像帧率。
5.根据权利要求3所述的帧率调整方法，其特征在于，根据计算得到的所述合成帧率，确定自所述当前帧图像起的图像帧率还包括：
如果所述合成帧率大于所述屏幕刷新率，则重新确定一帧或多帧图像的显示合成处理的数据处理时长，并计算合成帧率。
6.根据权利要求1所述的帧率调整方法，其特征在于，在确定自所述当前帧图像起的图像帧率之后，还包括：
记录所述变化后的图层信息以及自所述当前帧图像起的图像帧率。
7.根据权利要求6所述的帧率调整方法，其特征在于，在确定N帧图像的显示合成处理的数据处理时长之前，还包括：
查找预设历史时长内的记录，确定是否有与所述变化后的图层信息一致的历史图层信息对应的帧率；
如果有，则采用该历史图层信息对应的帧率作为所述自所述当前帧图像起的图像帧率。
8.根据权利要求1所述的帧率调整方法，其特征在于，所述确定N帧图像的显示合成处理的数据处理时长包括：
自第M帧图像起，确定N帧图像的显示合成处理的数据处理时长。
9.根据权利要求1所述的帧率调整方法，其特征在于，
所述屏幕刷新周期的预设百分比选自：5％～40％。
10.根据权利要求1所述的帧率调整方法，其特征在于，所述帧率调整方法用于安卓系统，且在所述安卓系统中，采用软件模型模拟硬件调整屏幕刷新率；
在确定自所述当前帧图像起的图像帧率之后，所述方法还包括：
触发所述硬件开启同步；
触发所述软件模型中的屏幕刷新率被重置为所述自所述当前帧图像起的图像帧率。
11.一种帧率调整装置，其特征在于，包括：
变化确定模块，用于对待进行显示合成处理的当前帧图像的图层信息与前一帧图像的图层信息进行比较，并确定当前帧图像的图层信息产生变化；
处理时长确定模块，用于确定N帧图像的显示合成处理的数据处理时长；合成帧率计算模块，用于当所述N帧图像的数据处理时长的偏差极值差大于屏幕刷新周期的预设百分比，和/或，如果所述N帧图像的数据处理时长的平均值大于屏幕刷新周期时，计算合成帧率；
帧率确定模块，用于根据计算得到的所述合成帧率，确定自所述当前帧图像起的图像帧率；
其中，所述合成帧率计算模块还用于执行：采用所述N帧图像的数据处理时长的平均值以及所述N帧图像的数据处理时长的偏差极值差之和的倒数作为所述合成帧率；
所述处理时长确定模块用于执行：前M+N-1帧图像采用屏幕刷新周期作为显示合成处理的数据处理时长；
N为预设的正整数，M为预设的正整数。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至10任一项所述帧率调整方法的步骤。
13.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至10任一项所述帧率调整方法的步骤。
CN202210583143.4A 2022-05-26 2022-05-26 帧率调整方法及装置，计算机可读存储介质、终端 Active CN115002542B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210583143.4A CN115002542B (zh) 2022-05-26 2022-05-26 帧率调整方法及装置，计算机可读存储介质、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210583143.4A CN115002542B (zh) 2022-05-26 2022-05-26 帧率调整方法及装置，计算机可读存储介质、终端

Publications (2)

Publication Number Publication Date
CN115002542A CN115002542A (zh) 2022-09-02
CN115002542B true CN115002542B (zh) 2024-09-17

Family

ID=83028718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210583143.4A Active CN115002542B (zh) 2022-05-26 2022-05-26 帧率调整方法及装置，计算机可读存储介质、终端

Country Status (1)

Country Link
CN (1) CN115002542B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116737357A (zh) * 2022-09-28 2023-09-12 荣耀终端有限公司 一种调整处理器频率的方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106933361A (zh) * 2017-03-10 2017-07-07 广东欧珀移动通信有限公司 一种移动终端的显示控制方法、装置及移动终端
CN108519808A (zh) * 2018-03-27 2018-09-11 广东欧珀移动通信有限公司 帧率调整方法、装置、终端设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091579B (zh) * 2014-05-30 2017-01-04 西安中兴新软件有限责任公司 一种调整屏幕刷新率的方法及终端
CN108600783B (zh) * 2018-04-23 2021-03-30 深圳齐心好视通云计算有限公司 一种帧率调节方法、装置及终端设备
CN109992232B (zh) * 2019-04-09 2022-02-01 Oppo广东移动通信有限公司 图像更新方法、装置、终端及存储介质
CN114205485B (zh) * 2020-09-18 2023-03-10 华为技术有限公司 发送图像数据的方法及装置
CN114040252B (zh) * 2021-11-03 2024-07-02 Oppo广东移动通信有限公司 显示帧率控制方法及装置、计算机可读介质和电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106933361A (zh) * 2017-03-10 2017-07-07 广东欧珀移动通信有限公司 一种移动终端的显示控制方法、装置及移动终端
CN108519808A (zh) * 2018-03-27 2018-09-11 广东欧珀移动通信有限公司 帧率调整方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
CN115002542A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
US10210845B2 (en) Method and apparatus for compensating for variable refresh rate display range limitations
US10657862B2 (en) Driving method for display device, timing controller and display device
KR102641891B1 (ko) 가변 프레임 모드를 지원하는 유기 발광 표시 장치, 및 유기 발광 표시 장치의 구동 방법
CN115002542B (zh) 帧率调整方法及装置，计算机可读存储介质、终端
CN112802432B (zh) 显示设备及其控制方法
WO2021129415A1 (zh) 显示屏的帧率调整方法、装置、终端和存储介质
US8471859B2 (en) Device and method for controlling frame input and output
TWI749756B (zh) 借助於合成器生成一系列訊框方法和裝置
CN112468875B (zh) 视频解码帧的显示输出控制方法及装置、存储介质、终端
US20180330656A1 (en) Display apparatus and method of driving the same
US20080150920A1 (en) Multi-display system and method for displaying video frames thereon
US20240221245A1 (en) Display apparatus and image processing method thereof for applying random patches to pixel block
CN111752520A (zh) 图像显示方法、装置、电子设备和计算机可读存储介质
CN114783355A (zh) Led显示方法、装置、电子设备及可读存储介质
CN114387914A (zh) 用于高动态范围后处理的系统和显示装置
US10212316B2 (en) Video processing apparatus
US20120287133A1 (en) Image processing apparatus and image processing method
CN115119532B (zh) 信号处理方法及装置、显示装置
US11244647B2 (en) Image processing device, image processing method, and image display system
US20170039676A1 (en) Graphics system and associated method for generating dirtiness information in image having multiple frames
CN115273740A (zh) 显示装置和显示装置的驱动方法
US20200213601A1 (en) Multi-stream image processing apparatus and method of the same
CN111752514B (zh) 显示控制方法、装置、电子设备和计算机可读存储介质
CN112884659A (zh) 图像对比度增强方法、装置和显示设备
TWI597688B (zh) 圖層處理方法及裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant