CN110270092A - 用于电子设备的帧率提升的方法及装置以及电子设备 - Google Patents

用于电子设备的帧率提升的方法及装置以及电子设备 Download PDF

Info

Publication number
CN110270092A
CN110270092A CN201910565337.XA CN201910565337A CN110270092A CN 110270092 A CN110270092 A CN 110270092A CN 201910565337 A CN201910565337 A CN 201910565337A CN 110270092 A CN110270092 A CN 110270092A
Authority
CN
China
Prior art keywords
frame
cache unit
present
present frame
per
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910565337.XA
Other languages
English (en)
Inventor
王睿
郭宇晖
鞠怀伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN201910565337.XA priority Critical patent/CN110270092A/zh
Publication of CN110270092A publication Critical patent/CN110270092A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种用于电子设备的帧率提升的方法及装置以及电子设备，所述方法包括：将应用程序输出的当前帧存储在第一缓存单元中；当启用帧率提升模式时，将所述应用程序输出的所述当前帧和所述当前帧的前一帧存储在第二缓存单元中；当启用帧率提升模式时，基于人工智能算法预测第二缓存单元中的所述当前帧和所述当前帧的前一帧之间的中间关键帧，并将预测出的中间关键帧输出到第二缓存单元；当启用帧率提升模式时，先后显示第二缓存单元中的中间关键帧和第一缓存单元中的所述当前帧。本发明通过人工智能算法来预测缓存的连续两帧之间的中间关键帧，不仅提升了电子设备屏幕的显示帧率，还解决了屏幕显示时出现的丢帧、卡顿问题。

Description

用于电子设备的帧率提升的方法及装置以及电子设备
技术领域
本发明涉及图像处理技术领域，更具体地讲，涉及一种用于电子设备的帧率提升的方法及装置以及电子设备。
背景技术
由于智能终端上游戏本身的限制以及优化方面的不足，使一些游戏往往不能发挥出智能终端硬件的最大功能，且游戏过程中发生的卡顿现象也会造成用户的体验感不佳。因此，需要打破游戏本身固有的帧率限制壁垒，提升和平滑游戏的显示帧率，使用户在智能终端游戏的体验感得到大幅度提高。
现有技术中，提升帧率的方法主要包括采用运动探测技术对前后两帧进行合成、利用硬件直接将两帧叠加合成、采用线性插帧法拟合并预测中间帧等，其中，采用运动探测技术的方法多数情况下用于提升电视帧率，利用硬件直接合成的方法对硬件要求较高，需要有高性能硬件的支持才能够成功的进行合成，且利用硬件直接合成和采用线性插帧法得到的帧会有严重的拖影及虚影，效果都不甚理想。
发明内容
本发明针对现有技术的不足，提供了一种用于电子设备的帧率提升的方法及装置以及电子设备，通过卷积神经网络模型来预测缓存的连续两帧之间的中间关键帧，使电子设备的屏幕显示帧率提升，还解决了屏幕显示时出现的丢帧、卡顿问题。
根据本发明的一方面，提供了一种用于电子设备的帧率提升的方法，所述方法包括：将应用程序输出的当前帧存储在第一缓存单元中；当启用帧率提升模式时，将所述应用程序输出的所述当前帧和所述当前帧的前一帧存储在第二缓存单元中；当启用帧率提升模式时，基于人工智能算法预测第二缓存单元中的所述当前帧和所述当前帧的前一帧之间的中间关键帧，并将预测出的中间关键帧输出到第二缓存单元；当启用帧率提升模式时，先后显示第二缓存单元中的中间关键帧和第一缓存单元中的所述当前帧。
优选地，所述方法还包括：当停用帧率提升模式时，显示第一缓存单元中的所述当前帧。
优选地，所述第二缓存单元包括第一子缓存单元和第二子缓存单元，将所述应用程序输出的所述当前帧和所述当前帧的前一帧存储在第二缓存单元中的步骤包括：将所述当前帧和所述当前帧的前一帧存储在第一子缓存单元中，将预测出的中间关键帧输出到第二缓存单元的步骤包括：将预测出的中间关键帧输出到第二子缓存单元。
优选地，所述人工智能算法包括训练卷积神经网络模型的算法，其中，卷积神经网络模型通过针对预先设置的训练数据进行训练而获得，并且用于基于连续的两帧之间的运动轨迹来预测运动轨迹介于所述两帧之间的帧。
根据本发明的另一方面，提供了一种用于电子设备的帧率提升的装置，所述装置包括：第一缓存单元，被配置为存储应用程序输出的当前帧；第二缓存单元，被配置为当启用帧率提升模式时，存储所述应用程序输出的所述当前帧和所述当前帧的前一帧、以及计算单元预测出的中间关键帧；计算单元，被配置为当启用帧率提升模式时，基于人工智能算法预测第二缓存单元中的所述当前帧和所述当前帧的前一帧之间的中间关键帧，并将预测出的中间关键帧输出到第二缓存单元；显示单元，被配置为当启用帧率提升模式时，先后显示第二缓存单元中的中间关键帧和第一缓存单元中的所述当前帧。
优选地，所述显示单元还被配置为当停用帧率提升模式时，显示第一缓存单元中的所述当前帧。
优选地，所述第二缓存单元包括：第一子缓存单元，被配置为存储所述当前帧和所述当前帧的前一帧；第二子缓存单元，被配置为存储所述中间关键帧。
优选地，所述人工智能算法包括训练卷积神经网络模型的算法，其中，卷积神经网络模型通过针对预先设置的训练数据进行训练而获得，并且用于基于连续的两帧之间的运动轨迹来预测运动轨迹介于所述两帧之间的帧。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：显示器；存储器，包括第一缓存单元和第二缓存单元；处理器，被配置为进行控制以执行以下操作：运行应用程序；将所述应用程序输出的当前帧存储在第一缓存单元中；当启用帧率提升模式时，将所述应用程序输出的所述当前帧和所述当前帧的前一帧存储在第二缓存单元中；当启用帧率提升模式时，基于人工智能算法预测第二缓存单元中的所述当前帧和所述当前帧的前一帧之间的中间关键帧，并将预测出的中间关键帧输出到第二缓存单元；当启用帧率提升模式时，先后显示第二缓存单元中的中间关键帧和第一缓存单元中的所述当前帧。
根据本发明的另一方面，还提供了一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行以上所述的用于电子设备的帧率提升的方法。
附图说明
下面将结合附图进行本发明的详细描述，本发明的上述特征和其它目的、特点和优点将会变得更加清楚，其中：
图1示出根据本发明的实施例的用于电子设备的帧率提升的方法的流程图；
图2示出根据本发明的示例性实施例的原始帧率显示和帧率提升的对比图；
图3示出根据本发明的示例性实施例的游戏限制帧率的示意图；
图4示出根据本发明的示例性实施例的游戏丢帧的示意图；
图5示出根据本发明的实施例的用于电子设备的帧率提升装置的框图；
图6示出根据本发明的实施例的第二缓存单元的框图；
图7示出根据本发明的示例性实施例的不启用帧率提升模式的示意图；
图8示出根据本发明的示例性实施例的启用帧率提升模式后的示意图；
图9示出根据本发明的实施例的第一缓存单元和第二缓存单元并行运行的流程图。
在附图中，相同的标号将被理解为表示相同的元件、特征和/或结构。
具体实施方式
以下，参照附图来详细说明本发明的实施例。其中，相同的标号始终表示相同的部件。
图1是示出根据本发明的实施例的用于电子设备的帧率提升的方法的流程图。
如图1所示，在步骤S100，将应用程序输出的当前帧存储在第一缓存单元中。根据本发明的实施例，具体地，应用程序以一定的时间间隔输出当前帧，输出的当前帧被存储在第一缓存单元中，并在经过T秒延时后输出至屏幕进行显示。根据本发明的实施例，例如，用户在玩游戏的过程中，游戏应用程序输出的当前帧和屏幕中显示的当前帧(游戏显示画面)之间是有T秒延时的。这里，假设延时时间T为1秒，则在第t秒游戏输出的当前帧将会在第t+1秒输出至屏幕进行显示，而在第t秒游戏输出的当前帧被存储在第一缓存单元中进行缓存。应理解，上述对于游戏应用程序和延时时间的举例仅是示例性举例，本发明可采用的应用程序和延时时间不限于此。如图2(a)和(b)中所示，当前帧f0在T0至T1时间段内被游戏应用程序输出后存储在第一缓存单元中，并在T秒延时后，在T1至T2时间段内才被输出至屏幕显示。以此类推，当前帧f1、当前帧f2、当前帧f3和当前帧f4，均在被作为应用程序的游戏输出后被存储在第一缓存单元中，并在T秒延时后输出至屏幕进行显示。应理解，上述对于当前帧的举例仅是示例性举例，本发明可采用的当前帧不限于此。
接下来，在步骤S200，当启用帧率提升模式时，将应用程序输出的当前帧和当前帧的前一帧存储在第二缓存单元中。具体地，在用户启用帧率提升模式时，应用程序输出的当前帧同时也被存储至第二缓存单元中，且当前帧的前一帧也将被存储在第二缓存单元中，存储在第二缓存单元中的当前帧和当前帧的前一帧经过处理后才被输出至屏幕进行显示。根据上述举例，假设用户在玩游戏的过程中启用帧率提升模式，那么，游戏输出的当前帧f1将会被同时存储在第一缓存单元和第二缓存单元中，且当前帧的前一帧f0也会被存储在第二缓存单元中。
在步骤S300，当启用帧率提升模式时，基于人工智能算法预测第二缓存单元中的当前帧和当前帧的前一帧之间的中间关键帧，并将预测出的中间关键帧输出到第二缓存单元。根据本发明的实施例，人工智能算法包括训练卷积神经网络模型的算法，其中，卷积神经网络模型可通过针对预先设置的训练数据进行训练而获得，用于基于连续的两帧之间的运动轨迹来预测运动轨迹介于这两帧之间的帧。具体地，在用户启用帧率提升模式时，将存储在第二缓存单元中的当前帧和当前帧的前一帧输入至预先训练的卷积神经网络模型中，卷积神经网络模型基于连续的两帧之间的运动轨迹来预测运动轨迹介于当前帧和当前帧的前一帧之间的中间关键帧。然后，将预测得出的中间关键帧存储在第二缓存单元中。根据本发明的实施例，卷积神经网络模型是一种人工智能算法中使用的模型，包括输入层、卷积层、池化层、Inception层和输出层。卷积神经网络模型的训练数据为实时获取的应用程序输出的每一帧图像数据，训练卷积神经网络模型的步骤为：先将获取的每一帧图像数据中的连续的三帧分别定义为前帧、中间帧、后帧，然后，将前帧和后帧作为初始卷积神经网络的输入，中间帧为初始卷积神经网络的目标输出，并通过损失函数对初始卷积神经网络进行优化。最后，通过训练数据对初始卷积神经网络进行迭代训练，以得到训练后的卷积神经网络模型。根据本发明的实施例，损失函数是模型对数据拟合程度的反映，拟合的越差，损失函数的值就应该越大，通常根据不同的问题选择不同的损失函数，并通过计算损失函数的值(包括计算正确率、准确率、召回率或F值等)来实现评判。假设选择Charbonnier损失函数对初始卷积神经网络进行优化，其中，Charbonnier损失函数一般定义为：
其中，α代表前帧图像和后帧图像的差值，∈为一个附加的参数，∈可以在损失函数ρ(x)不断下降趋近于0的时候控制损失函数，使损失函数的下降快速且平稳。
根据上述举例，在用户启用帧率提升模式时，第二缓存单元中存储的当前帧f1和当前帧的前一帧f0各会被输入至预训练的卷积神经网络模型中，预训练的卷积神经网络模型对当前帧f1和当前帧的前一帧f0进行冗余信息处理和图像特征提取以获取图像运动轨迹，并根据得到的图像运动轨迹来预测出当前帧f1和当前帧的前一帧f0之间的中间关键帧f0.5，且预测的中间关键帧f0.5将被存储至第二缓存单元。这里，将第二缓存单元中存储的不同时刻的当前帧和当前帧的前一帧实时输入至卷积神经网络模型，得到相对应的中间关键帧，具体如图2(c)中所示，分别得出中间关键帧f0.5、f1.5、f2.5和f3.5，并存储中间关键帧f0.5、f1.5、f2.5和f3.5至第二缓存单元。应理解，上述对于不同时刻的当前帧和中间关键帧的举例仅是示例性举例，本发明可采用的不同时刻的当前帧和中间关键帧不限于此。
在步骤S400，当启用帧率提升模式时，先后显示第二缓存单元中的中间关键帧和第一缓存单元中的当前帧。具体地，在用户启用帧率提升模式时，将存储在第二缓存单元中的中间关键帧先于存储在第一缓存单元中的对应的当前帧输出至屏幕显示。根据上述举例，如图2(c)所示，存储在第二缓存单元中的中间关键帧f0.5先于存储在第一缓存单元中的对应的当前帧f1输出至屏幕显示，中间关键帧f1.5先于对应的当前帧f2输出至屏幕显示，中间关键帧f2.5先于对应的当前帧f3输出至屏幕显示，中间关键帧f3.5先于对应的当前帧f4输出至屏幕显示。由如图2可知，在原始游戏中没有启用帧率提升模式的选项，屏幕显示输出的数据为f0、f1、f2、f3和f4，而利用本发明的启用帧率提升模式后，屏幕显示输出的数据为f0、f0.5、f1、f1.5、f2、f2.5、f3、f3.5和f4，由此可以看出，游戏的屏幕显示帧率的输出提高了两倍。
根据本发明的实施例，现有技术中提升帧率的方法都是针对所有帧均为已知的视频进行处理的，而对于游戏而言，并非每一帧都是已知的，屏幕显示是随着帧的产生而进行实时处理来完成显示的，因此，现有技术中提升帧率的方法对于游戏的适用性并不高。此外，现有技术中大多没有考虑成本问题，例如在电子设备有限的硬件条件下需要考虑功耗问题等。而本发明中基于卷积神经网络模型对当前帧和当前帧的前一帧进行计算以预测出中间关键帧，并优先显示预测得到的中间关键帧的方法解决了上述问题。根据本发明的实施例，假设安装某款游戏的电子设备为手机，则在用户玩此款手机游戏时，用户可以在是否启用帧率提升模式的选项下点击“是”来启用帧率提升模式，也可以点击“否”选择不启用帧率提升模式。若用户启用帧率提升模式，则游戏应用程序输出的当前帧同时被存储在第一缓存单元和第二缓存单元中。其中，存储在第二缓存单元中的当前帧通过卷积神经网络模型计算得出中间关键帧，并存储中间关键帧至第二缓存单元，在经过T秒延时后，由手机系统读取存储在第二缓存单元中的中间关键帧和存储在第一缓存单元中的对应的当前帧，并先后将两帧数据输出至手机屏幕进行显示。若用户选择不启用帧率提升模式，则应用程序输出的当前帧直接被存储在第一缓存单元中，并在经过T秒延时后由手机系统读取并输出至手机屏幕。这里，安装某款游戏的设备除了手机之外还包括有PSP、ipad、平板游戏机等电子设备。应理解，上述对于电子设备的举例仅是示例性举例，本发明可采用的电子设备不限于此。以下是对在游戏中应用本发明的优势进行举例说明。
根据本发明的实施例，现在市面上相当多的游戏的帧率低于智能终端屏幕的刷新率，即在高端的智能终端上玩低帧率的游戏时往往不能完全发挥智能终端的硬件性能，因此，采用本发明的帧率提升的方法可以将低帧率的游戏提高至两倍帧率以显示。例如，对在高端智能手机中某款手机游戏的机器人在一定时间内行走的画面进行分析。假设原始游戏中手机屏幕在一定时间内总共显示三帧数据，分别称其为第一帧、第二帧和第三帧，那么，这三帧数据是在一定时间间隔内被游戏输出并存储在第一缓存单元中，然后，经过一定时间延时之后由手机系统直接绘制并输出至手机屏幕以显示画面，具体如图3(a)中所示。应理解，上述对于游戏中机器人行走动画的举例仅是示例性举例，本发明可采用的游戏动画不限于此。若采用本发明并启用帧率提升模式后，手机屏幕在一定时间内显示的数据将包括第一帧、A帧、第二帧、B帧和第三帧，其中，手机屏幕显示的A帧是第一帧和第二帧之间的中间关键帧，B帧是第二帧和第三帧之间的中间关键帧，具体如图3(b)中所示。具体地，当手机屏幕显示第一帧之后，按照原本的逻辑将会绘制出第二帧，但当启用帧率提升模式之后，手机将会把第一帧和第二帧的图像数据储存至第二缓存单元，并在一帧的时间间隔内，对这两帧图像数据进行卷积神经网络模型的处理以得出A帧并存储。手机从第二缓存单元中读取A帧并输出至屏幕显示，然后，再读取原有的第一缓存单元中缓存的第二帧图像数据进行输出显示。由图3可知，在启用帧率提升模式后，游戏的帧率得到了提升，且可以更加清晰的看到机器人在走路过程中的动作，使游戏画面更加平滑和流畅，以此更好的发挥了该手机的硬件性能，给用户带来了更好的游戏体验。应理解，上述对于屏幕显示的帧的数量和中间关键帧举例仅是示例性举例，本发明可采用的帧数量和中间关键帧不限于此。
根据本发明的实施例，现阶段的市场上的很多游戏都存在优化不良的情况，在玩游戏过程中出现卡顿、丢帧的现象是常见事。例如，游戏的最大帧是60，那么在其优化不良的情况下，极有可能在重负载的场景下帧率会大幅下降至30，这无疑是对游戏体验的一种巨大破坏。因此，采用本发明的帧率提升的方法可以自动生成中间关键帧以大幅提高游戏帧率，达到一个较好的游戏体验。根据上述举例，对在一定时间内某手机游戏中机器人行走的动画进行分析，假设原始游戏中手机在一定时间内应该显示五帧数据，分别为第一帧、第二帧、第三帧、第四帧和第五帧。若出现丢帧现象时，例如，第四帧数据丢失，则手机屏幕的显示变为第一帧、第二帧、第三帧和第五帧总四帧数据组成的动画，具体如图4(a)中所示。若采用本发明中的方法并启用帧率提升模式后，手机可以根据保存在第二缓存单元内的第五帧和第三帧合成第四帧，并将合成的第四帧在第五帧之前输出至手机屏幕。由图4可知，该发明可以对丢失的帧进行补偿以平滑帧率，解决游戏中丢帧、卡顿的现象，给用户带来了更好的游戏体验。应理解，上述对于游戏中机器人行走动画卡顿的举例仅是示例性举例，本发明可采用的游戏卡顿的现象不限于此。
图5是示出根据本发明的实施例的用于电子设备的帧率提升的装置的框图。
如图5所示，用于电子设备的帧率提升的装置500包括第一缓存单元501、第二缓存单元502、计算单元503和显示单元504。其中，第一缓存单元501被配置为存储应用程序输出的当前帧。第二缓存单元502被配置为当启用帧率提升模式时，存储应用程序输出的当前帧和当前帧的前一帧、以及计算单元预测出的中间关键帧。计算单元503被配置为当启用帧率提升模式时，基于人工智能算法预测第二缓存单元502中的当前帧和当前帧的前一帧之间的中间关键帧，并将预测出的中间关键帧输出到第二缓存单元502。显示单元504被配置为当启用帧率提升模式时，先后显示第二缓存单元502中的中间关键帧和第一缓存单元501中的当前帧。
根据本发明的实施例，第一缓存单元501存储应用程序输出的当前帧。具体地，应用程序以一定的时间间隔输出当前帧图像，将输出的当前帧图像存储在第一缓存单元501中，并在经过T秒延时后将存储在第一缓存单元501中的当前帧图像输出至屏幕进行显示。
下面将参照图6来详细说明根据本发明实施例的第二缓存单元502。
如图6所示，第二缓存单元502包括第一子缓存单元601和第二子缓存单元602，其中，第一子缓存单元601被配置为存储当前帧和当前帧的前一帧。第二子缓存单元602被配置为存储中间关键帧。具体地，当启用帧率提升模式时，应用程序输出的当前帧和当前帧的前一帧储存在第一子缓存单元601中，并通过计算单元503对存储的当前帧和当前帧的前一帧进行算法处理以预测得出中间关键帧。具体地，当启用帧率提升模式时，计算单元503从第一子缓存单元601中提取当前帧和当前帧的前一帧，并将提取的当前帧和当前帧的前一帧作为人工智能算法的输入，通过人工智能算法来预测输出当前帧和当前帧的前一帧之间的中间关键帧。这里，人工智能算法可选择训练卷积神经网络模型的算法，例如，将提取的当前帧和当前帧的前一帧作为卷积神经网络模型的输入，通过对两帧图像数据进行余信息处理和图像特征提取以获取图像运动轨迹，并根据得到的图像运动轨迹来预测出当前帧和当前帧的前一帧之间的中间关键帧。应理解，上述对于人工智能算法的举例仅是示例性举例，本发明可采用的人工智能算法不限于此。计算单元503还将预测得出的中间关键帧存储至第二子缓存单元602中。根据本发明的实施例，在原始玩游戏中，没有启用帧率提升模式的选项，因此，游戏输出的数据是直接存入缓存并在T秒延时后直接智能终端进行显示，具体如图7中所示。而采用本发明中的装置后，游戏输出的数据是先被存储至第一子缓存单元601中，并经过计算单元503进行数据处理后，再存储至第二子缓存单元602中，而后将处理结果在智能终端进行显示，具体如图8中所示。
根据本发明的实施例，显示单元504在启用帧率提升模式时先后对第二缓存单元502中的中间关键帧和第一缓存单元501中的当前帧进行显示。具体地，显示单元504先从第二子缓存单元602中提取中间关键帧并将提取的中间关键帧输出至屏幕进行显示，然后，显示单元504再从第一缓存单元501中获取对应的当前帧并将获取的当前帧输出至屏幕进行显示。
根据本发明的实施例，第二缓存单元502和第一缓存单元501之间是并行运行的。具体地，若不启用帧率提升模式，则应用程序以一定的时间间隔输出当前帧图像仅被存储在第一缓存单元501中，并在经过T秒延时后将存储在第一缓存单元501中的当前帧图像由显示单元504直接输出至屏幕显示。此时，第二缓存单元502和计算单元503均处于停止工作的状态。第二缓存单元502和第一缓存单元501之间是并行的，或者说，第二缓存单元502中存储的当前帧和当前帧的前一帧是从第一缓存单元501中拷贝出来的缓存数据。若用户启用帧率提升模式时，则应用程序输出的当前帧和当前帧的前一帧将被存储至第一子缓存单元601中，且经过计算单元503处理后预测出中间关键帧并存储中间关键帧至第二子缓存单元602中。此时，应用程序输出的当前帧图像还被存储在第一缓存单元501中，并在显示单元504对第二子缓存单元602中的中间关键帧进行显示后进行第一缓存单元501中的当前帧的显示，具体如图9中流程图所示。
根据本发明的实施例的一种电子设备，该电子设备包括显示器、存储器和处理器。其中，存储器被配置为存储程序，处理器被配置为运行存储在存储器中的程序。具体地，处理器将应用程序输出的当前帧存储在第一缓存单元中，并当启用帧率提升模式时，将应用程序输出的当前帧和当前帧的前一帧存储在第二缓存单元中，以及基于人工智能算法预测第二缓存单元中的当前帧和当前帧的前一帧之间的中间关键帧。处理器将预测出的中间关键帧输出到第二缓存单元，并先后显示第二缓存单元中的中间关键帧和第一缓存单元中的当前帧。
根据本发明的实施例的用于电子设备的帧率提升的方法及装置能够基于人工智能算法求取应用程序输出的当前帧和当前帧的前一帧图像之间的中间关键帧，并插入到智能终端的显示中，从而实现对电子设备帧率显示的大幅提高和平滑显示，且该发明可以实时计算出所需要的帧，有着低延迟，低负载，合成帧效果好，对智能终端硬件要求低等特点。
尽管已经参照本发明的特定示例性实施例显示和描述了本发明，但是本领域技术人员将理解，在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可进行各种形式和细节上的各种改变。

Claims (10)

1.一种用于电子设备的帧率提升的方法，其特征在于，所述方法包括：
将应用程序输出的当前帧存储在第一缓存单元中；
当启用帧率提升模式时，将所述应用程序输出的所述当前帧和所述当前帧的前一帧存储在第二缓存单元中；
当启用帧率提升模式时，基于人工智能算法预测第二缓存单元中的所述当前帧和所述当前帧的前一帧之间的中间关键帧，并将预测出的中间关键帧输出到第二缓存单元；
当启用帧率提升模式时，先后显示第二缓存单元中的中间关键帧和第一缓存单元中的所述当前帧。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：当停用帧率提升模式时，显示第一缓存单元中的所述当前帧。
3.如权利要求1所述的方法，其特征在于，所述第二缓存单元包括第一子缓存单元和第二子缓存单元，
将所述应用程序输出的所述当前帧和所述当前帧的前一帧存储在第二缓存单元中的步骤包括：将所述当前帧和所述当前帧的前一帧存储在第一子缓存单元中，
将预测出的中间关键帧输出到第二缓存单元的步骤包括：将预测出的中间关键帧输出到第二子缓存单元。
4.如权利要求1所述的方法，其特征在于，所述人工智能算法包括训练卷积神经网络模型的算法，其中，卷积神经网络模型通过针对预先设置的训练数据进行训练而获得，并且用于基于连续的两帧之间的运动轨迹来预测运动轨迹介于所述两帧之间的帧。
5.一种用于电子设备的帧率提升的装置，其特征在于，所述装置包括：
第一缓存单元，被配置为存储应用程序输出的当前帧；
第二缓存单元，被配置为当启用帧率提升模式时，存储所述应用程序输出的所述当前帧和所述当前帧的前一帧、以及计算单元预测出的中间关键帧；
计算单元，被配置为当启用帧率提升模式时，基于人工智能算法预测第二缓存单元中的所述当前帧和所述当前帧的前一帧之间的中间关键帧，并将预测出的中间关键帧输出到第二缓存单元；
显示单元，被配置为当启用帧率提升模式时，先后显示第二缓存单元中的中间关键帧和第一缓存单元中的所述当前帧。
6.如权利要求5所述的电子设备，其特征在于，所述显示单元还被配置为当停用帧率提升模式时，显示第一缓存单元中的所述当前帧。
7.如权利要求5所述的电子设备，其特征在于，所述第二缓存单元包括：
第一子缓存单元，被配置为存储所述当前帧和所述当前帧的前一帧；
第二子缓存单元，被配置为存储所述中间关键帧。
8.如权利要求5所述的电子设备，其特征在于，所述人工智能算法包括训练卷积神经网络模型的算法，其中，卷积神经网络模型通过针对预先设置的训练数据进行训练而获得，并且用于基于连续的两帧之间的运动轨迹来预测运动轨迹介于所述两帧之间的帧。
9.一种电子设备，其特征在于，所述电子设备包括：
显示器；
存储器，包括第一缓存单元和第二缓存单元；
处理器，被配置为进行控制以执行以下操作：
运行应用程序；
将所述应用程序输出的当前帧存储在第一缓存单元中；
当启用帧率提升模式时，将所述应用程序输出的所述当前帧和所述当前帧的前一帧存储在第二缓存单元中；
当启用帧率提升模式时，基于人工智能算法预测第二缓存单元中的所述当前帧和所述当前帧的前一帧之间的中间关键帧，并将预测出的中间关键帧输出到第二缓存单元；
当启用帧率提升模式时，先后显示第二缓存单元中的中间关键帧和第一缓存单元中的所述当前帧。
10.一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1到4中的任一权利要求所述的方法。
CN201910565337.XA 2019-06-27 2019-06-27 用于电子设备的帧率提升的方法及装置以及电子设备 Pending CN110270092A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910565337.XA CN110270092A (zh) 2019-06-27 2019-06-27 用于电子设备的帧率提升的方法及装置以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910565337.XA CN110270092A (zh) 2019-06-27 2019-06-27 用于电子设备的帧率提升的方法及装置以及电子设备

Publications (1)

Publication Number Publication Date
CN110270092A true CN110270092A (zh) 2019-09-24

Family

ID=67963462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910565337.XA Pending CN110270092A (zh) 2019-06-27 2019-06-27 用于电子设备的帧率提升的方法及装置以及电子设备

Country Status (1)

Country Link
CN (1) CN110270092A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111541940A (zh) * 2020-04-30 2020-08-14 深圳创维－Rgb电子有限公司 显示设备的运动补偿方法、装置、电视机及存储介质
CN112218119A (zh) * 2020-09-30 2021-01-12 深圳创维－Rgb电子有限公司 视频流帧率转换方法、装置、终端设备以及存储介质
CN112546620A (zh) * 2019-09-26 2021-03-26 伊姆西Ip控股有限责任公司 游戏控制的方法、设备和计算机程序产品
CN112839241A (zh) * 2020-12-31 2021-05-25 贵阳动视云科技有限公司 一种云游戏图像丢帧补偿方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108322685A (zh) * 2018-01-12 2018-07-24 广州华多网络科技有限公司 视频插帧方法、存储介质以及终端
CN108594982A (zh) * 2018-03-27 2018-09-28 广东欧珀移动通信有限公司 帧率调整方法、装置、终端设备及存储介质
CN108810281A (zh) * 2018-06-22 2018-11-13 Oppo广东移动通信有限公司 丢帧补偿方法、装置、存储介质及终端
CN108876700A (zh) * 2018-06-01 2018-11-23 福州瑞芯微电子股份有限公司 一种提升vr显示效果的方法和电路
US20190104311A1 (en) * 2017-09-29 2019-04-04 Ati Technologies Ulc Server-based encoding of adjustable frame rate content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190104311A1 (en) * 2017-09-29 2019-04-04 Ati Technologies Ulc Server-based encoding of adjustable frame rate content
CN108322685A (zh) * 2018-01-12 2018-07-24 广州华多网络科技有限公司 视频插帧方法、存储介质以及终端
CN108594982A (zh) * 2018-03-27 2018-09-28 广东欧珀移动通信有限公司 帧率调整方法、装置、终端设备及存储介质
CN108876700A (zh) * 2018-06-01 2018-11-23 福州瑞芯微电子股份有限公司 一种提升vr显示效果的方法和电路
CN108810281A (zh) * 2018-06-22 2018-11-13 Oppo广东移动通信有限公司 丢帧补偿方法、装置、存储介质及终端

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112546620A (zh) * 2019-09-26 2021-03-26 伊姆西Ip控股有限责任公司 游戏控制的方法、设备和计算机程序产品
CN111541940A (zh) * 2020-04-30 2020-08-14 深圳创维－Rgb电子有限公司 显示设备的运动补偿方法、装置、电视机及存储介质
CN111541940B (zh) * 2020-04-30 2022-04-08 深圳创维－Rgb电子有限公司 显示设备的运动补偿方法、装置、电视机及存储介质
CN112218119A (zh) * 2020-09-30 2021-01-12 深圳创维－Rgb电子有限公司 视频流帧率转换方法、装置、终端设备以及存储介质
CN112839241A (zh) * 2020-12-31 2021-05-25 贵阳动视云科技有限公司 一种云游戏图像丢帧补偿方法及装置

Similar Documents

Publication Publication Date Title
CN110270092A (zh) 用于电子设备的帧率提升的方法及装置以及电子设备
CN111260764B (zh) 一种制作动画的方法、装置及存储介质
CN109063823B (zh) 一种智能体探索3d迷宫的批a3c强化学习方法
CN108810554A (zh) 虚拟场景的场景图像传输方法、计算机设备及存储介质
CN109224442A (zh) 虚拟场景的数据处理方法、装置及存储介质
CN107066239A (zh) 一种实现卷积神经网络前向计算的硬件结构
CN109409513A (zh) 一种基于神经网络的任务处理方法及相关设备
CN107911491A (zh) 信息推荐方法、装置及存储介质、服务器和移动终端
CN107678858B (zh) 应用处理方法、装置、存储介质及电子设备
CN113284142B (zh) 图像检测方法、装置、计算机可读存储介质及计算机设备
CN109685797A (zh) 骨骼点检测方法、装置、处理设备及存储介质
CN111985597B (zh) 模型压缩方法及装置
CN110035236A (zh) 图像处理方法、装置和电子设备
CN109992726A (zh) 位置预测方法、装置及可读存储介质
US20220172322A1 (en) High resolution real-time artistic style transfer pipeline
CN109190654A (zh) 人脸识别模型的训练方法和装置
CN106201624A (zh) 一种应用程序的推荐方法及终端
CN109710330A (zh) 应用程序的运行参数确定方法、装置、终端及存储介质
CN104980518A (zh) 多学习主体并行训练模型的方法、装置和系统
CN109872362A (zh) 一种目标检测方法及装置
CN109690534A (zh) 使用动态用户模型进行预取以减少等待时间
Li et al. A full-process optimization-based background subtraction for moving object detection on general-purpose embedded devices
CN106951089A (zh) 手势交互方法及系统
CN113064907B (zh) 一种基于深度强化学习的内容更新方法
CN102682461B (zh) 一种动画渲染方法、系统及动画播放器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190924