CN112199140B - 应用插帧方法及相关装置 - Google Patents
应用插帧方法及相关装置 Download PDFInfo
- Publication number
- CN112199140B CN112199140B CN202010944534.5A CN202010944534A CN112199140B CN 112199140 B CN112199140 B CN 112199140B CN 202010944534 A CN202010944534 A CN 202010944534A CN 112199140 B CN112199140 B CN 112199140B
- Authority
- CN
- China
- Prior art keywords
- frame
- frame inserting
- image
- images
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000012545 processing Methods 0.000 claims abstract description 93
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 230000033001 locomotion Effects 0.000 claims description 89
- 238000005070 sampling Methods 0.000 claims description 61
- 239000013598 vector Substances 0.000 claims description 42
- 238000006073 displacement reaction Methods 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000009432 framing Methods 0.000 claims description 4
- 238000003780 insertion Methods 0.000 claims description 3
- 230000037431 insertion Effects 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 19
- 230000000694 effects Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 210000001508 eye Anatomy 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000272496 Galliformes Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例公开了一种应用插帧方法及相关装置，应用于电子设备，包括：截取目标应用界面在两个不同时刻的图像，得到两帧图像；获取所述两帧图像关联的插帧参数信息，并根据所述插帧参数信息和预设的插帧算法计算插帧等级指数；根据所述插帧等级指数确定所述目标应用界面的插帧等级，并按照所述插帧等级对所述目标应用界面所显示的图像做插帧处理。本申请实施例有利于精准地实现对应用的插帧处理。
Description
技术领域
本申请涉及页面显示处理技术领域，具体涉及一种应用插帧方法及相关装置。
背景技术
随着手机等智能终端的快速发展，用户使用智能终端的时间也越来越多，智能终端的出现改变了人们的生活方式以及对传统通讯工具的需求，人们不再满足于手机的外观和基本功能的使用，而开始追求手机能够给人们带来更多、更强、更具个性化的功能服务，具有插帧功能的智能手机，在某些使用场景下可以改变应用界面的帧率，从而提高用户的使用体验。现有的技术方案中进行插帧处理一般是打开和关闭插帧功能，且打开插帧功能时只有固定的插帧强度等级，存在浪费手机功耗的情况。
发明内容
本申请实施例提供一种应用插帧方法及相关装置，有利于更精准地实现对应用的插帧处理。
第一方面，本申请实施例提供一种应用插帧方法，应用于电子设备，所述方法包括：
截取目标应用界面在两个不同时刻的图像，得到两帧图像；
获取所述两帧图像关联的插帧参数信息，并根据所述插帧参数信息和预设的插帧算法计算插帧等级指数；
根据所述插帧等级指数确定所述目标应用界面的插帧等级，并按照所述插帧等级对所述目标应用界面所显示的图像做插帧处理。
第二方面，本申请实施例提供一种应用插帧装置，应用于电子设备，所述应用插帧装置包括
截取单元、处理单元和插帧单元，
所述截取单元，用于截取目标应用界面在两个不同时刻的图像，得到两帧图像；
所述处理单元，用于获取所述两帧图像关联的插帧参数信息，并根据所述插帧参数信息和预设的插帧算法计算插帧等级指数；
所述插帧单元，用于根据所述插帧等级指数确定所述目标应用界面的插帧等级，并按照所述插帧等级对所述目标应用界面所显示的图像做插帧处理。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面，本申请实施例提供了一种芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第六方面，本申请实施例提供了一种计算机程序，其中，所述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序可以为一个软件安装包。
可见，本示例中，电子设备首先截取目标应用界面在两个不同时刻的图像，得到两帧图像，其次，获取所述两帧图像关联的插帧参数信息，并根据所述插帧参数信息和预设的插帧算法计算插帧等级指数，最后，根据所述插帧等级指数确定所述目标应用界面的插帧等级，并按照所述插帧等级对所述目标应用界面所显示的图像做插帧处理。由于插帧等级是根据目标应用界面不同时刻的两帧图像的插帧参数信息确定的，不同插帧等级对应有不同强度的插帧处理，从而使得目标应用界面的插帧强度自适应目标应用界面所显示的图像，有利于提升目标应用界面整体的插帧效果，同时降低插帧功耗和避免插帧副作用。
附图说明
下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1A是本申请实施例提供的一种电子设备10的结构方框图；
图1B是本申请实施例提供的一种设置有Android系统的软硬件系统的架构示意图；
图1C是本申请实施例提供的一种应用插帧方法的应用场景示意图；
图2A是本申请实施例提供的一种应用插帧方法的流程示意图；
图2B是本申请实施例提供的一种确定插帧等级的参考示意图；
图2C是本申请实施例提供的另一种确定插帧等级的参考示意图；
图2D是本申请实施例提供的另一种确定插帧等级的参考示意图；
图3是本申请实施例提供的一种应用插帧装置的功能单元组成框图；
图4是本申请实施例提供的另一种应用插帧装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
请参考图1A，其示出了本申请一个示例性实施例提供的电子设备10的结构方框图。该电子设备10可以是具备通信能力的电子设备，该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，电子设备(terminal device)等等。本申请中的电子设备10可以包括一个或多个如下部件：处理器110、存储器120和输入输出装置130。
处理器110可以包括一个或者多个处理核心。处理器110利用各种接口和线路连接整个电子设备10内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备10的各种功能和处理数据。处理器110可以包括一个或多个处理单元，例如：处理器110可以包括中央处理器(CentralProcessing Unit，CPU)、应用处理器(application processor，AP)、调制解调处理器、图形处理器(graphics processing unit，GPU)、图像信号处理器(image signal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，控制器可以是电子设备10的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备10的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。处理器110中可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免重复存取，减少处理器110的等待时间，提高系统效率。
可以理解的是，上述处理器110在实际产品中可以映射为系统级芯片(System ona Chip，SOC)，上述处理单元和/或接口也可以不集成到处理器110中，单独通过一块通信芯片或者电子元器件实现对应的功能。上述各模块间的接口连接关系，只是示意性说明，并不构成对电子设备10的结构的唯一限定。
存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选地，该存储器120包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等，该操作系统可以是安卓(Android)系统(包括基于Android系统深度开发的系统)、苹果公司开发的IOS系统(包括基于IOS系统深度开发的系统)或其它系统。存储数据区还可以存储电子设备10在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
电子设备10的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统和IOS系统为例，示例性说明电子设备10的软件架构。
如图1B所示的设置有Android系统的软硬件系统的架构示意图，存储器120中可存储有Linux内核层220、系统运行库层240、应用框架层260和应用层280，其中，层与层之间通过软件接口通信，Linux内核层220、系统运行库层240和应用框架层260属于操作系统空间。
应用层280属于用户空间，应用层280中运行有至少一个应用程序，这些应用程序可以是操作系统自带的原生应用程序，也可以是第三方开发者所开发的第三方应用程序，具体可以包括密码、眼球追踪、相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。
应用框架层260提供了构建应用层的应用程序可能用到的各种API，开发者也可以通过使用这些API来构建自己的应用程序，比如窗口管理器、内容提供器、视图系统、电话管理器、资源管理器、通知管理器、消息管理器、活动管理器、包管理器、定位管理。窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。电话管理器用于提供电子设备10的通信功能。例如通话状态的管理(包括接通，挂断等)。资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。消息管理器可用于存储各个APP上报的消息的数据，并对各个APP上报的数据进行处理。
系统运行库层240通过一些C/C++库来为Android系统提供了主要的特性支持。如SQLite库提供了数据库的支持，OpenGL/ES库提供了3D绘图的支持，Webkit库提供了浏览器内核的支持等。在系统运行库层240中还提供有安卓运行时库(Android Runtime)，它主要提供了一些核心库，能够允许开发者使用Java语言来编写Android应用。
Linux内核层220为电子设备10的各种硬件提供了底层的驱动，如显示驱动、音频驱动、摄像头驱动、蓝牙驱动、Wi-Fi驱动、电源管理等。
应理解，本申请实施例所述的界面显示方法既可以应用于安卓系统，也可以应用于其他操作系统，如IOS系统等，此处仅以安卓系统为例进行说明，但不构成限定。
可以理解的是，本申请实施例示意的结构并不构成对电子设备10的具体限定。在本申请另一些实施例中，电子设备10可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
目前电视剧和电影的拍摄基本都是采用的24帧每秒或30帧每秒的视频录制格式，也就是每秒24帧的画面或者30帧的画面，因此曝光的时间会比较久，一般在40毫秒以上，这也是人眼能接受的最低极限，再慢人眼就会识别出是连贯的照片而不是一段动态视频。由于24帧每秒的存在，画面细微的卡顿感，以及胶片带来的色彩效果，已经成为对所谓“电影感”的一种感官，当画面暂停时就很容易出现画面模糊的现象，因为24帧每秒的视频的流畅度是最低的。目前市面上的很多视频源仍然是以24fps/30fps为主，智能终端也没有对视频的帧率进行提升，在对视频源进行帧率提升的处理上，现有技术方案存在很多缺点，导致无法提升用户的使用体验。
通过插帧的方式可以提升视频画面的帧率，现有技术方案中进行插帧采用的是整个画面帧率打开模式和关闭模式，且打开模式时只有固定的插帧强度等级，强度等级是在系统端提前预设好，没有考虑到画面的运动矢量大小情况，只要有进行运动的物体超过预设的开启插帧的阈值时，就会按照预先设定好的插帧等级进行插帧，这样在整体运动幅度中小的视频场景下也会使用最强的插帧等级，会导致功耗的浪费。此外，这种插帧方式还有很多副作用，例如画面撕裂、清晰度轻微下降、拖影等，这些副作用会导致用户观看视频时有不适的感知，同时插帧等级越大，副作用效果就会越大。例如在用户开启游戏的高帧率模式时，帧率会在60fps或以上，由于系统端GPU的绘图提升一倍以上，所以在游戏场景下，首先功耗会非常高，一般游戏会增加200mA以上的功耗，而且由于整个系统的功耗大幅增加，也会导致系统的内存被占用严重，导致AP的运行不流畅而出现丢帧，即使AP运行在60fps，由于丢帧的缘故帧率有可能会概率性跳到55fps甚至更差。所以插帧强度等级的应用会直接影响到电子设备的功耗以及产生的副作用的效果强弱。
本申请提出一种插帧方法，如图1C所示，在检测到电子设备开启插帧功能过后，截取目标应用界面在不同时刻的两帧图像，该两帧图像例如可以是当前应用界面图像和下一帧的应用界面图像，再计算两帧图像的插帧等级指数，从而，将插帧等级指数依次和第一插帧阈值T1、第二插帧阈值T2进行比对，实现对目标应用界面的插帧处理，生成新帧画面并进行显示。第一插帧等级例如可以是不做插帧处理，第二插帧例如可以是做50％新帧处理，50％重复帧处理，第三插帧等级例如可以是100％新帧处理，此处不做任何限定。
可见，该插帧等级是根据目标应用界面两帧图像的插帧等级指数进行划分的，在插帧前需要判断插帧等级指数的数值大小，再分别调用不同插帧强度的算法进行插帧，由于定义了不同强度的算法来生成新帧，从而达到更加精准的插帧处理，使插帧时产生的功耗和副作用减小，此外，还可以利用插帧芯片和根据手指触控点(TouchPoint，TP)位移的轨迹情况，按照TP位移的快慢来辅助判断需要插帧等级，从而提供流畅性的同时又能节省功耗，大大地提升了用户在游戏等场景下的体验，由于不同场景对插帧强度的需求不同，结合游戏场景进行插帧等级的选择，如画面移动较快时实施高插帧帧率，而画面运动较慢时则降低插帧帧率甚至不插帧，根据游戏场景选择不同的插帧等级，提升游戏体验的同时，避免了不必要的功耗浪费，使整体插帧的效果、功耗、副作用达到最佳的平衡状态。
针对上述问题，本申请实施例提出一种应用插帧方法，下面结合附图进行详细说明。
请参阅图2A，图2A是本申请实施例提供的一种应用插帧方法的流程示意图，如图所示，该方法包括：
步骤201、电子设备截取目标应用界面在两个不同时刻的图像，得到两帧图像。
其中，目标应用可以是视频类应用、游戏类应用等在使用时对帧率要求较高的应用，可由用户需先进行设定。电子设备具有插帧模式，用户可以手动开启插帧模式，从而提高目标应用界面的帧率，或者，预先设定自动启动插帧模式的应用场景，在检测到目标应用的处于该预设的场景时，自行启动插帧模式，此时，在开启插帧模式后，会截取目标应用界面在两个不同时刻的两帧图像，两帧图像可以是连续的两帧图像，也可以是相隔预设时长的两帧图像，且两帧图像可能是显示内容相似的两帧图像，也可能是显示内容不相似的两帧图像。
步骤202、电子设备获取所述两帧图像关联的插帧参数信息，并根据所述插帧参数信息和预设的插帧算法计算插帧等级指数。
其中，获取两帧图像的插帧参数信息，并根据插帧参数信息和预设的插帧算法来计算两帧图像的插帧等级指数，从而可以根据插帧等级来确定对目标应用界面做何种程度的插帧处理。
本可能的示例中，所述插帧参数信息包括每帧图像中的多个图像元素的运动位置信息。
其中，每帧图像的插帧参数信息包括图像中多个图像元素的运动位置信息，两帧图像包括第一图像和第二图像，第一图像中的多个图像元素的运动位置可能在第二图像中发生了位移，因此产生了运动矢量，根据多个图像元素在第一图像和第二图像中的运动矢量，进行均值计算即可得到第一图像和第二图像的插帧等级指数。
可见，本示例中，插帧参数信息包括每帧图像中的多个图像元素的运动位置信息，从而可以计算同一图像元素在两帧图像中的运动矢量，计算多个图像元素的运动矢量加权平均值作为插帧等级指数，实现根据图像元素的运动矢量确定插帧等级。
本可能的示例中，所述获取所述两帧图像关联的插帧参数信息，并根据所述插帧参数信息和预设的插帧算法计算插帧等级指数，包括：对所述两帧图像的图像元素进行采样得到多个采样点，所述多个采样点为所述两帧图像中相同的图像元素；获取所述多个采样点在第一图像中的第一运动位置信息，以及在第二图像中的第二运动位置信息；根据所述第一运动位置信息和所述第二运动位置信息，计算所述多个采样点的运动矢量；对所述多个采样点的运动矢量做均值计算，得到所述两帧图像的运动矢量加权平均值；确定所述运动矢量加权平均值为所述插帧等级指数。
其中，插帧参数信息包括两帧图像中多个图像元素的位置信息，计算两帧图像的插帧等级指数，插帧等级指数为运动矢量加权平均值，此时，相当于计算第一图像和第二图像中，相同的多个图像元素在第一图像和第二图像中变化的运动矢量的平均值，由于两帧图像可能是连续的两帧图像或者时间间隔很小的两帧图像，因此一般情况下组成两帧图像的图像元素大部分相同，先对两帧图像的图像元素进行采样，得到多个采样点，此时，获取多个采样点在第一图像中的第一运动位置信息，以及在第二图像中的第二运动位置信息，再根据第一运动位置信息和第二运动位置信息计算多个采样点的为运动矢量，对多个采样点的运动矢量做均值计算，即可得到两帧图像的运动矢量的加权平均值，从而确定插帧等级指数。
其中，多个采样点为同时在第一图像和第二图像中的图像元素，在对两帧图像的图像元素进行采样时，可以是以区域平均采样的方式，即将每帧图像划分为均匀的多个区域，在每个区域依次采样，或者，可以是局部采样的方式，在图像的某个区域进行图像元素的采样，或者，可以是多区域不同比例采样的方式，即在某些区域高密度采样，在某些区域低密度采样，具体可由用户进行设定，此时不作任何限定。
可见，本示例中，在计算两帧图像的插帧等级指数时，通过对两帧图像的图像元素进行采样得到多个采样点，从而根据多个采样点在两帧图像中的运动矢量计算得到两帧图像的运动矢量的加权平均值，通过运动矢量加权平均值的大小可以体现出两帧图像的运动变化情况，从而确定插帧等级指数对目标应用界面进行插帧处理。
本可能的示例中，所述对所述两帧图像的图像元素进行采样得到多个采样点，包括：获取用户针对所述两帧图像的注视点信息；根据所述注视点信息确定用户针对所述第一图像的第一注释区域，以及针对所述第二图像的第二注释区域；对所述第一图像和所述第二图像进行采样得到所述多个采样点，所述多个采样点同时位于所述第一注释区域和所述第二注释区域。
其中，电子设备包括眼球追踪模块，眼球追踪模块例如可以是前置摄像头或者图像传感器，可以获取用户的人眼图像，并对人眼图像进行分析得到用户针对目标应用界面的注视点信息。在截取到目标应用界面中的两帧图像后，获取用户针对两帧图像的注视点信息，并根据注视点信息确定用户针对第一图像的第一注释区域，以及针对第二图像的第二注释区域，从而，在对第一图像和第二图像进行采样时，可以选择既在第一注释区域中，又在第二注释区域中的图像元素作为采样点。
可见，本示例中，通过对用户眼球追踪获取用户针对第一图像的第一注释区域，以及针对第二图像的第二注释区域，从而在选择采样点时，可以选择既在第一注释区域又在第二注释区域的采样点，根据用户的注释区域确定采样点，从而在对目标应用界面进行帧率调整后，可以更好的提高用户的视觉观看体验。
本可能的示例中，所述获取所述两帧图像关联的插帧参数信息，并根据所述插帧参数信息和预设的插帧算法计算插帧等级指数，包括：在检测到所述目标应用为游戏应用时，根据所述两帧图像对所述游戏应用进行场景识别；在识别出所述游戏应用的场景为预设的需要进行插帧处理的场景时，确定所述场景中的运动速度最快的运动目标；获取所述运动目标在第一图像中的运动位置信息，以及在第二图像中的运动位置信息；根据所述运动目标在所述第一图像中的运动位置信息和在所述第二图像中的运动位置信息，确定所述运动目标的运动矢量；确定所述运动目标的运动矢量为所述插帧等级指数。
其中，在检测到目标应用为游戏应用时，根据两帧图像对游戏应用进行场景识别，检测游戏应用的场景是否为预设的需要进行插帧处理的场景，预设场景可由用户预先进行设定，不同游戏场景对插帧强度的需求不同，根据应用界面识别游戏场景，结合游戏场景进行插帧等级的选择，实现画面移动较快时实施高插帧帧率，而画面运动较慢时则降低插帧帧率甚至不插帧。针对游戏场景可以做归类划分，再加上运动矢量的判断进行判定，游戏场景按功能划分可以分为操作场景：前进后退、加速、场景镜头切换等，静态场景：如道具店、装备店，聊天界面，玩家憩息地等，按物体划分可以标识好游戏中需要运动的物体，可以单独针对该物体进行插帧，此方案需要结合运动矢量的判断，优势是可以精准对小物体进行插帧，提升插帧的效果。
其中，可以只对目标运动物体做插帧处理，目标运动物体为当前的游戏场景中运动速度最快的运动目标，例如用户的游戏角色，此时需要获取运动目标在第一图像中的运动位置信息，以及在第二图像中的运动位置信息，从而确定运动目标的运动矢量，进而将运动目标的运动矢量作为插帧等级指数。
可见，本示例中，在检测到目标应用的场景为预设场景时，可以只对识别出的场景中的运动目标的显示图像做插帧处理，而不是对整个目标应用的应用界面做插帧处理，从而可以提高用户的在某些游戏场景下的使用体验。
本可能的示例中，所述插帧参数信息包括采集到的至少一个手指触控点在每帧图像中的坐标信息。
其中，插帧参数信息包括采集到的至少一个手指触控点在每帧图像中的坐标信息，每个手指触控点对应用户的一根手指，用户在使用目标应用的过程中，至少会使用一根手指来触控显示屏，手指触控点为用户触控目标应用界面的位置，且该触控为滑动触控。
可见，本示例中，插帧参数信息包采集到的至少一个手指触控点在每帧图像中的坐标信息，从而可以根据两帧图像计算至少一个手指触控点在单位时间内的，将位移作为插帧等级指数，实现根据用户的触控操作情况确定插帧等级。
本可能的示例中，所述获取所述两帧图像关联的插帧参数信息，并根据所述插帧参数信息和预设的插帧算法计算插帧等级指数，包括：获取所述至少一个手指触控点在第一图像中的第一坐标信息，以及在第二图像中的第二坐标信息；根据所述第一坐标信息和所述第二坐标信息确定所述至少一个手指触控点在单位时间内的位移；根据所述至少一个手指触控点在单位时间内的位移，确定所述插帧等级指数。
其中，根据至少一个手指触控点在第一图像中的第一坐标信息，以及在第二图像中的第二坐标信息，可以计算至少一个手指触控点在单位时间内的位移，具体是根据第一坐标信息和第二坐标信息计算每个手指触控点的位移，再根据截取到第一图像的时刻t1和截取到第二图像的时刻t2，计算每个手指在单位时间内的位移，从而确定插帧等级指数。插帧等级指数由至少一个手指触控点的数目决定，当至少一个手指触控点为一个手指触控点时，可直接将该手指触控点在单位时间内的位移作为插帧等级指数，当至少一个手指触控点为多个手指触控点时，可选取多个手指触控点在单位时间内的位移中最大的位移作为插帧等级指数，或者计算多个手指触控点在单位时间内的位移的加权平均值作为插帧等级指数。
举例说明，在一种可能的情形下，至少一个手指触控点为一个手指触控点，即同一时刻下只有一个手指在触控屏幕，在t1时刻截取到第一图像时，获取该手指触控点在第一图像中对应的第一坐标信息s1，在t2时刻截取到第二图像时，获取该手指触控点在第二图像中对应的第二坐标信息s2，即可计算得到该手指触控点在单位时间内的位移为(s2-s1)/(t2-t1)，从而确定插帧等级指数为(s2-s1)/(t2-t1)。
在另一种可能的情形下，至少一个手指触控点为多个手指触控点，即在同一时刻下有多个手指在触控屏幕，以多个手指触控点为3个手指触控点为例，在t1时刻采集到3个手指触控点的第一坐标信息分别为s11、s12、s13，在t2时刻采集到3个手指触控点的第二坐标信息分别为s21、s22、s23，因此可计算得到每个手指触控点在单位时间内的位移为Tp1＝(s21-s11)/(t2-t1)、Tp2＝(s22-s12)/(t2-t1)、Tp3＝(s23-s13)/(t2-t1)，可选取Tp1、Tp2和Tp3中数值最大的位移作为插帧等级指数，或者计算Tp1、Tp2和Tp3的加权平均值(Tp1+Tp2+Tp3)/3，将加权平均值(Tp1+Tp2+Tp3)/3作为插帧等级指数。
可见，本示例中，根据至少一个手指触控点在第一图像第一坐标信息和在第二图像中的第二坐标信息，可以计算得到至少一个手指触控点在单位时间内的位移，从而根据至少一个手指触控点在单位时间内的位移确定插帧等级指数，在根据插帧等级指数确定插帧等级，实现了根据用户手指触控屏幕的情况对目标应用界面进行插帧处理。
本可能的示例中，所述获取所述两帧图像关联的插帧参数信息，并根据所述插帧参数信息和预设的插帧算法计算插帧等级指数，包括：在检测到所述目标应用为游戏应用时，获取至少一个手指触控点在游戏场景下的两次触控位置，所述两次触控位置包括所述至少一个手指触控点在所述第一图像中对应的触控位置，以及在所述第二图像中对应的触控位置；根据所述两次触控位置，计算所述至少一个手指触控点在单位时间内的触控位移；对所述至少一个手指触控点中每个手指触控点在单位时间内的触控位移做均值计算，得到所述游戏场景的插帧等级指数。
其中，在检测到目标应用为游戏应用时，获取至少一个手指触控点在游戏场景下的两次触控位置，相当于获取至少一个手指触控点在第一图像中对应的触控位置，在第二图像中对应的触控位置，根据两次触控的位置可计算出至少一个手指触控点在单位时间内的触控位移，对至少一个手指触控点中每个手指触控点在单位时间内的触控位移，进行均值计算，即可得到游戏场景下的插帧等级指数。
其中，手指触控点TP为用户在游戏场景下针对显示屏的触控位置点，电子设备可以获取TP报点数据，通过结合TP报点位置的位移量，确定插帧等级，类似于通过在一段时间内，采集目标应用当前图像和下一帧图像TP报点位置的变化情况，同时结合游戏画面的物体移动程度，设定不同的插帧阈值和插帧等级，使得当游戏场景中的物体移动速度快时，提高插帧强度的等级，以获得更流畅的游戏体验，移动速度慢时，降低插帧强度的等级，以降低功耗。
举例说明，在游戏场景下启动插帧功能后，获取两帧图像中2次报点位置的位移量，对不同位移量大小适配不同的插帧等级，从而在游戏低帧率的情况下可以通过插帧，将原本低帧率的30fps插帧到60fps或者更高的帧率，提高游戏的画面显示流畅程度，同时游戏的高帧率是由插帧芯片插帧提升得到，而非平台系统的GPU绘图得到，功耗增加的只有系统直接高帧率方案的1/3及以下，从而达到相同的帧率流畅程度下功耗非常低，且功耗低的情况下系统的负荷也小，丢帧的概率也会比较低。
可见，本示例中，通过TP报点位移确定插帧等级，从而可以在游戏场景下做出适配该游戏场景的插帧处理，采集两帧图像TP报点位置的变化情况，同时结合游戏画面的物体移动程度，设定不同的TP插帧阈值，当移动速度快时，提高插帧强度的等级，以获得更流畅的游戏体验；当移动速度慢时，降低插帧强度的等级，以降低功耗。
步骤203、电子设备根据所述插帧等级指数确定所述目标应用界面的插帧等级，并按照所述插帧等级对所述目标应用界面所显示的图像做插帧处理。
其中，根据两帧图像的插帧参数信息计算得到的插帧等级指数，可以确定目标应用界面的插帧等级，从而根据插帧等级来对目标应用界面进行插帧处理。通过对目标应用的两帧图像进行分析，可以识别出目标应用当前的场景，不同的场景可以对应有不同强度的插帧处理，具体需要根据在该场景下计算得到的插帧等级指数来确定插帧的等级，下面，对一些用户在使用应用的过程中场景的一些场景进行说明:
场景一，在一些几乎静止的应用界面下，例如用视频应用观看新闻发布会、新闻联播、家庭聚餐等人物身体不怎么大幅度运动的视频，由于是在只有手、头或嘴巴等局部器官在运动的场景下，整个视频画面中只有局部的小幅度运动，计算到的两帧图像的运动矢量的插帧等级指数可能非常小的，如果小于第一插帧阈值，此时可不做插帧处理。
场景二，在一些物体有小范围移动的应用界面下，如用视频应用观看乒乓球比赛、人流量小的街道环境的场景、舞蹈节目等物体小范围运动，只有物体或人物小范围移动时，由于整个视频画面中只有局部的整体移动，计算到的两帧图像的运动矢量的插帧等级指数高于第一插帧阈值且小于等于第二插帧阈值，此时可做小幅度插帧强度等级处理。
场景三，若应用界面中有较多的物体在一定范围内移动且画面场景比较远的情况下，如远处拍摄马路车流量、远处拍摄动物奔跑的场景等较多物体一定范围运动，只有物体或人物较多移动且拍摄场景较远时，由于整个视频画面中只有小物体的整体移动，计算到的两帧图像的运动矢量的插帧等级指数高于第二插帧阈值且小于等于第三插帧阈值，此时可做中幅度插帧强度等级处理。
场景四，若应用界面中有大物体在一定范围内较快速度移动的情况下，如足球运动员持球快速突破，或篮球运动员持球快速上篮场景等近景大物体一定范围快速运动时，由于整个视频画面中大部分被大物体占据，且运动是整体较快的移动，计算到的两帧图像的运动矢量的插帧等级指数高于第三插帧阈值且小于等于第四插帧阈值，此时可做大幅度插帧强度等级处理。
在本可能的示例中，所述根据所述插帧等级指数确定所述目标应用界面的插帧等级，包括：在检测到所述插帧等级指数小于等于第一插帧阈值时，确定所述目标应用界面的插帧等级为第一插帧等级；在检测到所述插帧等级指数大于所述第一插帧阈值，且小于等于第二插帧阈值时，确定所述目标应用界面的插帧等级为第二插帧等级；在检测到所述插帧等级指数大于所述第二插帧阈值，确定所述目标应用界面的插帧等级为第三插帧等级。
其中，为保证上述示例中的场景可以有对应的插帧等级，可以通过设置插帧门限值来确定不同场景的插帧等级，通过设置第一插帧阈值、第二插帧阈值得到三个插帧等级，在检测到插帧等级指数小于第一插帧阈值时，对应第一插帧等级；在检测到插帧等级指数大于第一插帧阈值，且小于等于第二插帧阈值时，对应第二插帧等级；在检测到插帧等级指数大于第二插帧阈值时，对应第三插帧等级。
其中，第一插帧等级为不做插帧处理，第二插帧等级为小幅度插帧处理，第三等级为大幅度插帧处理，如图2B所示，第一插帧阈值为T1，第二插帧阈值为T2，在检测到插帧等级指数T小于等于T1时，对应第一插帧等级，此时不做插帧处理，在检测到插帧等级指数T大于T1小于等于T2时，对应第二插帧等级，此时做小幅度插帧处理，在检测到插帧等级指数T大于T2L时，对应第三插帧等级，此时做大幅度插帧处理。
举例说明，小幅度插帧处理的实现方式可以是将目标应用界面的50％做重复帧直接输出，另外50％做插帧的新帧输出，或者，为将目标应用界面的30％做重复帧直接输出，另外70％做插帧的新帧输出；大幅度插帧处理的实现方式为将目标应用界面的100％做插帧的新帧输出。可见，当新帧输出的比例越高时，对应应用界面的帧率也越高。
可见，本示例中，根据插帧等级指数确定目标应用界面对应的插帧等级，从而按照插帧等级对目标应用界面做插帧处理，实现将插帧等级根据插帧的矢量运动阈值进行划分，分别调用不同插帧强度的算法进行插帧，并且定义不同强度的算法对应生成新帧的占比，从而达到更加精准的插帧强度应用，使功耗和副作用达到最优的效果。
在本可能的示例中，所述按照所述插帧等级对所述目标应用界面所显示的图像做插帧处理，包括：在检测到所述插帧等级为所述第一插帧等级时，不对所述目标应用界面所显示的图像进行插帧处理；在检测到所述插帧等级为所述第二插帧等级时，按照第一比例对所述目标应用界面所显示的图像做重复帧插帧处理和新帧插帧处理；在检测到所述插帧等级为所述第三插帧等级时，按照第二比例对所述目标应用界面所显示的图像做重复帧插帧处理和新帧插帧处理；所述第一比例小于所述第二比例。
其中，现有技术中的插帧方式，只有一个开启和关闭插帧的阈值，本申请可以根据目标应用界面的运动变化幅度大小，增设不同强度门限的阈值，分别为第一插帧阈值和第二插帧阈值，从而对应第一插帧等级、第二插帧等级和第三插帧等级，通过计算两帧图像的插帧等级指数，将插帧等级指数与预先设定好的插帧阈值进行一一比对，确定对应的插帧等级，当插帧等级为第一插帧等级时，就不进行插帧；当插帧等级为第二插帧等级时，则插帧幅度为小幅度插帧，此时按照第一比例关系，对目标应用界面做重复帧输出和新帧输出，第一比例关系例如可以是0.5，此时对目标应用界面的50％做重复帧直接输出，另外50％做插帧的新帧输出，又或者第一比例关系为3:7，此时对目标应用界面的30％做重复帧直接输出，另外70％做插帧的新帧输出；当插帧等级为第三插帧等级时，则插帧幅度为大幅度插帧，插帧做100％的新帧全力输出。
举例说明，如图2C所示，为插帧阈值与TP报点位移距离N的对应关系情况，第一插帧阈值为N1个像素pixel，第二插帧阈值为N2个pixel，若TP报点位移N每秒平均小于等于N1个pixel时，则对应第一插帧等级，此时不进行插帧处理；当TP报点位移N每秒平均大于N1个pixel且小于等于N2个pixel时，则对应第二插帧等级，此时做50％新帧处理和50％重复帧处理；当报点位移N每秒平均大于N2个pixel时，则对应第三插帧等级，此时做100％插帧处理。
再举例说明，如图2D所示，为插帧阈值与TP报点位移距离N的对应关系情况，第一插帧阈值为N1个像素pixel，第二插帧阈值为N2个pixel，若TP报点位移N每秒平均小于等于N1个pixel时，则对应第一插帧等级，此时不进行插帧处理；当TP报点位移N每秒平均大于N1个pixel且小于等于N2个pixel时，则对应第二插帧等级，此时做70％新帧处理和30％重复帧处理；当报点位移N每秒平均大于N2个pixel时，则对应第三插帧等级，此时做100％插帧处理。
可见，本示例中，不同的插帧等级，对应有不同的插帧处理方式，从而可以实现对目标应用界面的小幅度插帧，中幅度插帧和大幅度插帧，由于结合了应用的运动矢量，从而在插帧处理之后有利于提高用户的视觉体验。
可见，本示例中，电子设备首先截取目标应用界面在两个不同时刻的图像，得到两帧图像，其次，获取所述两帧图像关联的插帧参数信息，并根据所述插帧参数信息和预设的插帧算法计算插帧等级指数，最后，根据所述插帧等级指数确定所述目标应用界面的插帧等级，并按照所述插帧等级对所述目标应用界面所显示的图像做插帧处理。由于插帧等级是根据目标应用界面不同时刻的两帧图像的插帧参数信息确定的，不同插帧等级对应有不同强度的插帧处理，从而使得目标应用界面的插帧强度自适应目标应用界面所显示的图像，有利于提升目标应用界面整体的插帧效果，同时降低插帧功耗和避免插帧副作用。
本申请实施例提供一种应用插帧装置，该应用插帧装置可以为电子设备。具体的，应用插帧装置用于执行以上应用插帧方法中电子设备所执行的步骤。本申请实施例提供的应用插帧装置可以包括相应步骤所对应的模块。
本申请实施例可以根据上述方法示例对应用插帧装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，图3示出上述实施例中所涉及的应用插帧装置的一种可能的结构示意图。如图3所示，应用插帧装置包括截取单元30、处理单元31和插帧单元32，
所述截取单元30，用于截取目标应用界面在两个不同时刻的图像，得到两帧图像；
所述处理单元31，用于获取所述两帧图像关联的插帧参数信息，并根据所述插帧参数信息和预设的插帧算法计算插帧等级指数；
所述插帧单元32，用于根据所述插帧等级指数确定所述目标应用界面的插帧等级，并按照所述插帧等级对所述目标应用界面所显示的图像做插帧处理。
可见，本示例中，电子设备首先截取目标应用界面在两个不同时刻的图像，得到两帧图像，其次，获取所述两帧图像关联的插帧参数信息，并根据所述插帧参数信息和预设的插帧算法计算插帧等级指数，最后，根据所述插帧等级指数确定所述目标应用界面的插帧等级，并按照所述插帧等级对所述目标应用界面所显示的图像做插帧处理。由于插帧等级是根据目标应用界面不同时刻的两帧图像的插帧参数信息确定的，不同插帧等级对应有不同强度的插帧处理，从而使得目标应用界面的插帧强度自适应目标应用界面所显示的图像，有利于提升目标应用界面整体的插帧效果，同时降低插帧功耗和避免插帧副作用。
在一个可能的示例中，所述插帧参数信息包括每帧图像中的多个图像元素的运动位置信息。
在一个可能的示例中，在所述获取所述两帧图像关联的插帧参数信息，并根据所述插帧参数信息和预设的插帧算法计算插帧等级指数面，所述处理单元31具体用于：对所述两帧图像的图像元素进行采样得到多个采样点，所述多个采样点为所述两帧图像中相同的图像元素；以及用于获取所述多个采样点在第一图像中的第一运动位置信息，以及在第二图像中的第二运动位置信息；以及用于根据所述第一运动位置信息和所述第二运动位置信息，计算所述多个采样点的运动矢量；以及用于对所述多个采样点的运动矢量做均值计算，得到所述两帧图像的运动矢量加权平均值；以及用于确定所述运动矢量加权平均值为所述插帧等级指数。
在一个可能的示例中，在所述获取所述两帧图像关联的插帧参数信息，并根据所述插帧参数信息和预设的插帧算法计算插帧等级指数面，所述处理单元31具体用于：在检测到所述目标应用为游戏应用时，根据所述两帧图像对所述游戏应用进行场景识别；以及用于在识别出所述游戏应用的场景为预设的需要进行插帧处理的场景时，确定所述场景中的运动速度最快的运动目标；以及用于获取所述运动目标在第一图像中的运动位置信息，以及在第二图像中的运动位置信息；以及用于根据所述运动目标在所述第一图像中的运动位置信息和在所述第二图像中的运动位置信息，确定所述运动目标的运动矢量；以及用于确定所述运动目标的运动矢量为所述插帧等级指数。
在一个可能的示例中，在面，所述处理单元31具体用于：所述插帧参数信息包括采集到的至少一个手指触控点在每帧图像中的坐标信息。
在一个可能的示例中，在所述获取所述两帧图像关联的插帧参数信息，并根据所述插帧参数信息和预设的插帧算法计算插帧等级指数面，所述处理单元31具体用于：获取所述至少一个手指触控点在第一图像中的第一坐标信息，以及在第二图像中的第二坐标信息；以及用于根据所述第一坐标信息和所述第二坐标信息确定所述至少一个手指触控点在单位时间内的位移；以及用于根据所述至少一个手指触控点在单位时间内的位移，确定所述插帧等级指数。
在一个可能的示例中，在所述获取所述两帧图像关联的插帧参数信息，并根据所述插帧参数信息和预设的插帧算法计算插帧等级指数面，所述处理单元31具体用于：在检测到所述目标应用为游戏应用时，获取至少一个手指触控点在游戏场景下的两次触控位置，所述两次触控位置包括所述至少一个手指触控点在所述第一图像中对应的触控位置，以及在所述第二图像中对应的触控位置；以及用于根据所述两次触控位置，计算所述至少一个手指触控点在单位时间内的触控位移；以及用于对所述至少一个手指触控点中每个手指触控点在单位时间内的触控位移做均值计算，得到所述游戏场景的插帧等级指数。
在一个可能的示例中，在所述根据所述插帧等级指数确定所述目标应用界面的插帧等级面，所述插帧单元32具体用于：在检测到所述插帧等级指数小于等于第一插帧阈值时，确定所述目标应用界面的插帧等级为第一插帧等级；以及用于在检测到所述插帧等级指数大于所述第一插帧阈值，且小于等于第二插帧阈值时，确定所述目标应用界面的插帧等级为第二插帧等级；以及用于在检测到所述插帧等级指数大于所述第二插帧阈值，确定所述目标应用界面的插帧等级为第三插帧等级。
在一个可能的示例中，在所述按照所述插帧等级对所述目标应用界面所显示的图像做插帧处理面，所述插帧单元32具体用于：在检测到所述插帧等级为所述第一插帧等级时，不对所述目标应用界面所显示的图像进行插帧处理；以及用于在检测到所述插帧等级为所述第二插帧等级时，按照第一比例对所述目标应用界面所显示的图像做重复帧插帧处理和新帧插帧处理；以及用于在检测到所述插帧等级为所述第三插帧等级时，按照第二比例对所述目标应用界面所显示的图像做重复帧插帧处理和新帧插帧处理；以及用于所述第一比例小于所述第二比例。
其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
在采用集成的单元的情况下，本申请实施例提供的应用插帧装置的结构示意图如图4所示。在图4中，应用插帧装置4包括：处理模块40和通信模块41。处理模块40用于对应用插帧装置的动作进行控制管理，例如，截取单元30、处理单元31和插帧单元32所执行的步骤，和/或用于执行本文所描述的技术的其它过程。通信模块41用于支持应用插帧装置与其他设备之间的交互。如图4所示，应用插帧装置还可以包括存储模块42，存储模块42用于存储应用插帧装置的程序代码和数据，例如存储上述处理单元31获取到的插帧参数信息以及计算出的插帧等级指数。
其中，处理模块40可以是处理器或控制器，例如可以是中央处理器(CentralProcessing Unit，CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块41可以是收发器、RF电路或通信接口等。存储模块42可以是存储器。
其中，上述方法实施例涉及的各场景的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。上述应用插帧装置3和应用插帧装置4均可执行上述图2A所示的应用插帧方法中电子设备所执行的步骤。
本申请实施例还提供了一种芯片，其中，该芯片包括处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如上述方法实施例中电子设备所描述的部分或全部步骤。
本申请实施例还提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如上述方法实施例中电子设备所描述的部分或全部步骤。
本申请实施例还提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如上述方法实施例中网络侧设备所描述的部分或全部步骤。
本申请实施例还提供了一种计算机程序产品，其中，所述计算机程序产品包括计算机程序，所述计算机程序可操作来使计算机执行如上述方法实施例中电子设备所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
本申请实施例所描述的方法或者算法的步骤可以以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(Random Access Memory，RAM)、闪存、只读存储器(Read OnlyMemory，ROM)、可擦除可编程只读存储器(Erasable Programmable ROM，EPROM)、电可擦可编程只读存储器(Electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于接入网设备、目标网络设备或核心网设备中。当然，处理器和存储介质也可以作为分立组件存在于接入网设备、目标网络设备或核心网设备中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DigitalSubscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，数字视频光盘(DigitalVideo Disc，DVD))、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。
以上所述的具体实施方式，对本申请实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请实施例的具体实施方式而已，并不用于限定本申请实施例的保护范围，凡在本申请实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请实施例的保护范围之内。
Claims (12)
1.一种应用插帧方法，其特征在于，应用于电子设备，所述方法包括：
截取目标应用界面在两个不同时刻的图像，得到两帧图像；
获取所述两帧图像关联的插帧参数信息，并根据所述插帧参数信息和预设的插帧算法计算插帧等级指数，具体包括：对所述两帧图像的图像元素进行采样得到多个采样点，根据所述采样点的信息确定所述插帧参数信息，多个所述采样点为同时在第一图像和第二图像中的图像元素，在所述两帧图像中不同区域对所述图像元素的采样点比例不同，其中，所述对所述两帧图像的图像元素进行采样得到多个采样点包括：获取用户针对所述两帧图像的注视点信息；根据所述注视点信息确定用户针对所述第一图像的第一注视区域，以及针对所述第二图像的第二注视区域；对所述第一图像和所述第二图像进行采样得到所述多个采样点，所述多个采样点同时位于所述第一注视区域和所述第二注视区域；
根据所述插帧等级指数确定所述目标应用界面的插帧等级，并按照所述插帧等级对所述目标应用界面所显示的图像做插帧处理。
2.根据权利要求1所述的方法，其特征在于，所述插帧参数信息包括每帧图像中的多个图像元素的运动位置信息。
3.根据权利要求1或2所述的方法，其特征在于，所述获取所述两帧图像关联的插帧参数信息，并根据所述插帧参数信息和预设的插帧算法计算插帧等级指数，包括：
对所述两帧图像的图像元素进行采样得到多个采样点，所述多个采样点为所述两帧图像中相同的图像元素；
获取所述多个采样点在第一图像中的第一运动位置信息，以及在第二图像中的第二运动位置信息；
根据所述第一运动位置信息和所述第二运动位置信息，计算所述多个采样点的运动矢量；
对所述多个采样点的运动矢量做均值计算，得到所述两帧图像的运动矢量加权平均值；
确定所述运动矢量加权平均值为所述插帧等级指数。
4.根据权利要求1或2所述的方法，其特征在于，所述获取所述两帧图像关联的插帧参数信息，并根据所述插帧参数信息和预设的插帧算法计算插帧等级指数，包括：
在检测到所述目标应用为游戏应用时，根据所述两帧图像对所述游戏应用进行场景识别；
在识别出所述游戏应用的场景为预设的需要进行插帧处理的场景时，确定所述场景中的运动速度最快的运动目标；
获取所述运动目标在第一图像中的运动位置信息，以及在第二图像中的运动位置信息；
根据所述运动目标在所述第一图像中的运动位置信息和在所述第二图像中的运动位置信息，确定所述运动目标的运动矢量；
确定所述运动目标的运动矢量为所述插帧等级指数。
5.根据权利要求1所述的方法，其特征在于，所述插帧参数信息包括采集到的至少一个手指触控点在每帧图像中的坐标信息。
6.根据权利要求1或5所述的方法，其特征在于，所述获取所述两帧图像关联的插帧参数信息，并根据所述插帧参数信息和预设的插帧算法计算插帧等级指数，包括：
获取所述至少一个手指触控点在第一图像中的第一坐标信息，以及在第二图像中的第二坐标信息；
根据所述第一坐标信息和所述第二坐标信息确定所述至少一个手指触控点在单位时间内的位移；
根据所述至少一个手指触控点在单位时间内的位移，确定所述插帧等级指数。
7.根据权利要求1或5所述的方法，其特征在于，所述获取所述两帧图像关联的插帧参数信息，并根据所述插帧参数信息和预设的插帧算法计算插帧等级指数，包括：
在检测到所述目标应用为游戏应用时，获取至少一个手指触控点在游戏场景下的两次触控位置，所述两次触控位置包括所述至少一个手指触控点在所述第一图像中对应的触控位置，以及在所述第二图像中对应的触控位置；
根据所述两次触控位置，计算所述至少一个手指触控点在单位时间内的触控位移；
对所述至少一个手指触控点中每个手指触控点在单位时间内的触控位移做均值计算，得到所述游戏场景的插帧等级指数。
8.根据权利要求7所述的方法，其特征在于，所述根据所述插帧等级指数确定所述目标应用界面的插帧等级，包括：
在检测到所述插帧等级指数小于等于第一插帧阈值时，确定所述目标应用界面的插帧等级为第一插帧等级；
在检测到所述插帧等级指数大于所述第一插帧阈值，且小于等于第二插帧阈值时，确定所述目标应用界面的插帧等级为第二插帧等级；
在检测到所述插帧等级指数大于所述第二插帧阈值，确定所述目标应用界面的插帧等级为第三插帧等级。
9.根据权利要求8所述的方法，其特征在于，所述按照所述插帧等级对所述目标应用界面所显示的图像做插帧处理，包括：
在检测到所述插帧等级为所述第一插帧等级时，不对所述目标应用界面所显示的图像进行插帧处理；
在检测到所述插帧等级为所述第二插帧等级时，按照第一比例对所述目标应用界面所显示的图像做重复帧插帧处理和新帧插帧处理；
在检测到所述插帧等级为所述第三插帧等级时，按照第二比例对所述目标应用界面所显示的图像做重复帧插帧处理和新帧插帧处理；
所述第一比例小于所述第二比例。
10.一种应用插帧装置，其特征在于，应用于电子设备，所述应用插帧装置包括截取单元、处理单元和插帧单元，
所述截取单元，用于截取目标应用界面在两个不同时刻的图像，得到两帧图像；
所述处理单元，用于获取所述两帧图像关联的插帧参数信息，并根据所述插帧参数信息和预设的插帧算法计算插帧等级指数，具体包括：对所述两帧图像的图像元素进行采样得到多个采样点，根据所述采样点的信息确定所述插帧参数信息，多个所述采样点为同时在第一图像和第二图像中的图像元素，在所述两帧图像中不同区域对所述图像元素的采样点比例不同，其中，所述对所述两帧图像的图像元素进行采样得到多个采样点包括：获取用户针对所述两帧图像的注视点信息；根据所述注视点信息确定用户针对所述第一图像的第一注视区域，以及针对所述第二图像的第二注视区域；对所述第一图像和所述第二图像进行采样得到所述多个采样点，所述多个采样点同时位于所述第一注视区域和所述第二注视区域；
所述插帧单元，用于根据所述插帧等级指数确定所述目标应用界面的插帧等级，并按照所述插帧等级对所述目标应用界面所显示的图像做插帧处理。
11.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-9任一项所述的方法中的步骤的指令。
12.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-9任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010944534.5A CN112199140B (zh) | 2020-09-09 | 2020-09-09 | 应用插帧方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010944534.5A CN112199140B (zh) | 2020-09-09 | 2020-09-09 | 应用插帧方法及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112199140A CN112199140A (zh) | 2021-01-08 |
| CN112199140B true CN112199140B (zh) | 2024-06-14 |
Family
ID=74014472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010944534.5A Active CN112199140B (zh) | 2020-09-09 | 2020-09-09 | 应用插帧方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112199140B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114764357B (zh) * | 2021-01-13 | 2024-05-03 | 华为技术有限公司 | 界面显示过程中的插帧方法及终端设备 |
| CN112866612B (zh) * | 2021-03-10 | 2023-02-21 | 北京小米移动软件有限公司 | 插帧方法、装置、终端及计算机可读存储介质 |
| CN113411668B (zh) * | 2021-06-16 | 2023-03-21 | 亿咖通(湖北)技术有限公司 | 一种视频播放系统及方法 |
| CN114470750B (zh) * | 2021-07-06 | 2022-12-30 | 荣耀终端有限公司 | 图像帧流的显示方法、电子设备和存储介质 |
| CN113691758A (zh) * | 2021-08-23 | 2021-11-23 | 深圳市慧鲤科技有限公司 | 插帧方法和装置、设备、介质 |
| CN114049384A (zh) * | 2021-11-09 | 2022-02-15 | 北京字节跳动网络技术有限公司 | 图像生成视频的方法、装置及电子设备 |
| CN115035238B (zh) * | 2022-04-25 | 2024-06-11 | Oppo广东移动通信有限公司 | 人体重建插帧方法及相关产品 |
| CN118057456A (zh) * | 2022-11-18 | 2024-05-21 | 荣耀终端有限公司 | 图像处理方法及电子设备 |
| CN116672707B (zh) * | 2023-08-04 | 2023-10-20 | 荣耀终端有限公司 | 生成游戏预测帧的方法和电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110933497A (zh) * | 2019-12-10 | 2020-03-27 | Oppo广东移动通信有限公司 | 视频图像数据插帧处理方法及相关设备 |
| CN111083417A (zh) * | 2019-12-10 | 2020-04-28 | Oppo广东移动通信有限公司 | 图像处理方法及相关产品 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2907301A1 (fr) * | 2006-10-12 | 2008-04-18 | Thomson Licensing Sas | Procede d'interpolation d'une image compensee en mouvement et dispositif pour la mise en oeuvre dudit procede |
| JP2010252117A (ja) * | 2009-04-16 | 2010-11-04 | Sharp Corp | フレームレート変換装置、フレームレート変換方法、動画像表示装置、フレームレート変換プログラムおよび記録媒体 |
| JP6037224B2 (ja) * | 2012-01-11 | 2016-12-07 | パナソニックＩｐマネジメント株式会社 | 画像処理装置、撮像装置、およびプログラム |
| JP6604828B2 (ja) * | 2015-11-16 | 2019-11-13 | 日本放送協会 | 内挿比決定装置及びプログラム |
| CN111415371B (zh) * | 2019-01-07 | 2022-05-31 | 阿里巴巴集团控股有限公司 | 一种稀疏光流确定方法和装置 |
-
2020
- 2020-09-09 CN CN202010944534.5A patent/CN112199140B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110933497A (zh) * | 2019-12-10 | 2020-03-27 | Oppo广东移动通信有限公司 | 视频图像数据插帧处理方法及相关设备 |
| CN111083417A (zh) * | 2019-12-10 | 2020-04-28 | Oppo广东移动通信有限公司 | 图像处理方法及相关产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112199140A (zh) | 2021-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112199140B (zh) | 应用插帧方法及相关装置 | |
| CN113473182B (zh) | 一种视频生成的方法及装置、计算机设备和存储介质 | |
| WO2017088777A1 (zh) | 用于生成ar应用和呈现ar实例的方法、设备与系统 | |
| CN111885265B (zh) | 屏幕界面调整方法及相关装置 | |
| CN112235520B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN111063008A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN112203034B (zh) | 帧率控制方法、装置以及电子设备 | |
| CN108965981B (zh) | 视频播放方法、装置、存储介质及电子设备 | |
| US20230306694A1 (en) | Ranking list information display method and apparatus, and electronic device and storage medium | |
| CN116501210A (zh) | 一种显示方法、电子设备及存储介质 | |
| CN112764871B (zh) | 数据处理方法、装置、计算机设备以及可读存储介质 | |
| CN110991368A (zh) | 相机场景识别方法及相关装置 | |
| CN111078325B (zh) | 应用程序运行方法、装置、电子设备及存储介质 | |
| JP2022526182A (ja) | 追加のディスプレイを有するデバイスの管理 | |
| CN111813321A (zh) | 手势控制方法及相关装置 | |
| CN115170390B (zh) | 一种文件风格化方法、装置、设备及存储介质 | |
| CN113144606B (zh) | 虚拟对象的技能触发方法及相关设备 | |
| CN116688495A (zh) | 帧率调整方法及相关装置 | |
| CN111104183B (zh) | 应用程序运行方法、装置、电子设备及存储介质 | |
| CN110891194B (zh) | 评论信息显示方法、装置、终端及存储介质 | |
| CN111880714A (zh) | 页面控制方法及相关装置 | |
| CN114288647B (zh) | 基于AI Designer的人工智能游戏引擎、游戏渲染方法及装置 | |
| CN114690975B (zh) | 一种动效处理方法及相关装置 | |
| CN116055611B (zh) | 绘制操作的执行方法、电子设备及可读介质 | |
| US20240062456A1 (en) | Variable update adaptation and simulation delay in multiuser virtual reality application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |