CN104811785A - 智能终端的显示图形用户界面的控制方法及装置 - Google Patents

Abstract

本发明提供了一种智能终端的显示图形用户界面的控制方法及装置，在智能终端中播放当前视频的状态下，所述方法包括：当接收到显示图形用户界面的请求指令，则获取当前视频的视频层数据；创建图形用户界面对应的窗体，根据窗体的参数信息对视频层数据进行截取并进行预置高斯模糊处理以作为窗体背景数据；创建图形用户界面对应的界面信息，并将窗体背景数据与界面信息作为界面数据；将界面数据叠加于视频层数据上后进行显示，以实现在播放当前视频状态下显示图形用户界面，以此可适用于在播放高分辨率视频的视频播放界面上显示具有高斯模糊效果的图形用户界面，在保证图形用户界面的美观、炫酷的基础上，减少GPU的工作量，且能保证视频播放效果。

Description

智能终端的显示图形用户界面的控制方法及装置

技术领域

本发明涉及智能终端领域，特别地，涉及一种智能终端的显示图形用户界面的控制方法及装置。

背景技术

现如今，智能终端的使用越来越普及，智能终端通常都具有全开放式平台且搭载了操作系统，用户可自行安装和卸载由厂商或第三方服务商提供的应用软件、游戏等程序，通过此类程序可持续对智能终端的功能进行扩充和升级，通过对智能终端的使用，极大的丰富了人们的生活，常用的智能终端包括智能手机、平板电脑、智能电视、投影仪等。

智能终端的智能化程度有高低之分，智能终端中的图形用户界面（GUI, Graphic User Interface）是决定智能终端的智能化程度的主要因素。在现有智能终端中，通常使用GPU/CPU实现高斯模糊算法对覆盖在其他层上的GUI进行高斯模糊处理，以呈现出GUI的高斯模糊效果，使得GUI更加美观。

比如在智能电视中播放视频的情况下显示带有高斯模糊效果的GUI，现有技术中通常为使用GPU(Graphic Processing Unit，图形处理器)对所有图层（包括GUI层及视频层）做渲染，在渲染的过程中，把需要做高斯模糊处理的部分通过调用预置语言（比如Shader语言）进行高斯模糊处理。

但上述方案基于现有主流高端芯片最高可适用于智能终端的物理分辨率为1080P（1920×1080）且播放1080P的视频（分辨率为1920×1080的视频）的情况，在智能终端的物理分辨率更高且播放更高分辨率视频的情况下，比如在智能终端的物理物理分辨率4K（4096×2160）且播放4K视频（分辨率为4096×2160的视频）的情况下，若要使用上述方案把所有图层都传送给GPU做渲染，如此巨大的工作量，即使不做高斯模糊处理，且选用现有最为先进的嵌入式GPU(比如mali-t760等)也很难实现，而且会导致发生视频播放卡顿等情况，影响用户对视频的观看。

因此，如何解决现有智能终端中播放视频时显示图形用户界面的方案的缺点，成为目前最需要解决的问题。

发明内容

本发明所要解决的技术问题是提供一种智能终端的显示图形用户界面的控制方法及装置，适于在播放视频（尤其在播放高分辨率的视频）的视频播放界面上显示具有高斯模糊效果的图形用户界面，在保证图形用户界面的美观、炫酷的基础上，大大减少GPU的工作量，且能保证视频播放效果。

为实现上述目的，根据本发明的一个方面，提出了一种智能终端的显示图形用户界面的控制方法，在智能终端中正在播放当前视频的状态下，所述方法包括：

当接收到显示图形用户界面的请求指令，则获取当前视频的视频层数据；

创建图形用户界面对应的窗体，根据窗体的参数信息对所述视频层数据进行截取，并对截取后的视频层数据进行预置高斯模糊处理以作为窗体背景数据；

创建图形用户界面对应的界面信息，并将所述窗体背景数据与界面信息作为界面数据存储于预置缓存；所述界面信息包括文字、图形和动画效果；

将界面数据叠加于视频层数据上后进行显示，以实现在播放当前视频状态下显示图形用户界面。

进一步的，所述获取当前视频的视频层数据，包括：

获取当前视频正在显示数据的下一帧的视频层数据。

进一步的，所述获取当前视频的视频层数据，包括：

判断当前视频的帧率是否大于预置帧率阈值；

若是，则以预置间隔频率获取当前视频的视频层数据。

进一步的，所述获取当前视频的视频层数据，具体为：

调用用于获取视频层数据的预置接口，将内存的第一预设位置中解码后的当前视频的视频层数据以预置搬移方式搬移到内存的第二预设位置；

获取第二预设位置中的当前视频的视频层数据。

进一步的，所述根据窗体的参数信息对所述视频层数据进行截取，并对截取后的视频层数据进行预置高斯模糊处理以作为窗体背景数据，包括：

根据窗体的参数信息对所述视频层数据进行截取；

对截取后的视频层数据按预设比例缩小；

对缩小后的视频层数据进行预置高斯模糊处理后放大以作为窗体背景数据。

为实现上述目的，根据本发明的另一方面，提出了一种智能终端的显示图形用户界面的控制装置，包括：

获取单元，用于在智能终端中正在播放当前视频的状态，当接收到显示图形用户界面的请求指令，则获取当前视频的视频层数据；

第一创建单元，用于创建图形用户界面对应的窗体，根据窗体的参数信息对所述视频层数据进行截取，并对截取后的视频层数据进行预置高斯模糊处理以作为窗体背景数据；

第二创建单元，用于创建图形用户界面对应的界面信息，并将所述窗体背景数据与界面信息作为界面数据存储于预置缓存；所述界面信息包括文字、图形和动画效果；

显示单元，用于将界面数据叠加于视频层数据上后进行显示，以实现在播放当前视频状态下显示图形用户界面。

进一步的，所述获取单元，具体用于：

获取当前视频正在显示数据的下一帧的视频层数据。

进一步的，所述获取单元，具体用于：

判断当前视频的帧率是否大于预置帧率阈值；

若是，则以预置间隔频率获取当前视频的视频层数据。

进一步的，所述获取单元，具体用于：

调用用于获取视频层数据的预置接口，将内存的第一预设位置中解码后的当前视频的视频层数据以预置搬移方式搬移到内存的第二预设位置；

获取第二预设位置中的当前视频的视频层数据。

进一步的，第一创建单元，具体用于：

根据窗体的参数信息对所述视频层数据进行截取；

对截取后的视频层数据按预设比例缩小；

对缩小后的视频层数据进行预置高斯模糊处理后放大以作为窗体背景数据。

本发明实施例提供的智能终端的显示图形用户界面的控制方法及装置，在智能终端正在播放当前视频且接收到显示图形用户界面的请求指令时，获取当前视频的视频层数据，然后创建窗体并对视频层数据依次进行截取、预置高斯模糊处理后作为窗体背景数据，再创建窗体上文字、图像等界面信息，并将窗体背景数据与界面信息作为界面数据存储，最后将界面数据叠加于视频层数据上后进行显示，也即仅需对截取后的视频层数据进行高斯模糊处理，而无需把所有图层都传送给GPU高斯模糊处理，可大大降低GPU的工作量，进而节省系统功耗，尤其可适于在播放高分辨率视频（比如4K视频）的视频播放界面上显示具有高斯模糊效果的图形用户界面，在保证图形用户界面的美观、炫酷的基础上，还能保证视频播放效果。

附图说明   

图1是本发明实施例提供的智能终端的图形用户界面显示的控制方法的流程图；

图2是本发明实施例提供的智能终端的图形用户界面显示的控制方法中的智能终端的显示界面示意图；

图3是本发明实施例提供的智能终端的图形用户界面显示的控制装置的示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参看图1，为本发明实施例提供的智能终端的显示图形用户界面的控制方法的流程图。

在本实施例中，所述方法可应用于在智能终端正在播放当前视频的状态下，所述方法包括如下步骤：

S101，当接收到显示图形用户界面的请求指令，则获取当前视频的视频层数据。

其中，请求指令可通过遥控器的按键触发,也可通过遥控器的触摸屏触发，可通过智能终端上某个预置按键触发等，或者在智能终端为智能电视的情况下，且在智能电视通过UPNP等协议与其他的终端设备（例如手机等）连接的情况下，也可以通过其他终端设备发出这种控制信号，在这种情况下，相当于是利用终端设备上安装的应用程序来模拟遥控器，实现对智能电视的控制。

图形用户界面，也就GUI（Graphic User Interface），可以窗体的形式呈现，在GUI中可包括文字、图形、动画效果、控件等界面信息，文字可用来说明GUI、某个按键等所对应的操作等，动画效果可用来更形象的的说明GUI的用途等，控件通常可用来操作，比如输入框等，当然，可根据实际需要对界面信息进行与上述不同的设置。

由于视频层数据被解码后会被直接存放于内存中的一个位置（可称为第一预设位置），基于此，获取当前视频的视频层数据，可通过调用用于获取视频层数据的预置接口，将内存的第一预设位置中解码后的当前视频的视频层数据以预置方式搬移到内存的第二预设位置（内存中预先分配好的一个位置），然后获取第二预设位置中的当前视频的视频层数据。

上述以预置方式搬移并非使用CPU做数据拷贝，因为视频层数据是一个大块的连续的地址，所以这种地址的拷贝使用芯片中的2D设备（即二维点阵图形引擎设备，该设备可以对点阵图做缩放、旋转等操作，会在缩放和旋转的过程中把点阵图从内存中的一个位置搬移到另一个位置，也就是按位缩放搬移）或DMA（Direct Memory Access）设备（即存储器直接访问设备，该设备可用于对连续大块物理内存进行直接搬移）更为合适。

也就是说，如果需要直接搬移，则可以使用芯片中的DMA设备将内存的第一预设位置中的视频层数据直接搬移到内存的第二预设位置，如果有缩放和旋转的需求，则可以使用芯片中的2D设备将内存的第一预设位置中的视频层数据按位缩放搬移到内存的第二预设位置，以此可更好的达到视频帧率要求的速度，比如30帧视频可在16.6ms内即可完成拷贝。

在本实施例中，所述用于获取视频层数据的预置接口比如可为miracast接口。

在具体实现时，比如可调用miracast接口通过DMA设备将内存的第一预设位置中解码后的当前视频的视频层数据直接搬移到内存的第二预设位置，然后再获取第二预设位置中的当前视频的视频层数据。

或者，可调用miracast接口通过2D设备将内存的第一预设位置中解码后的当前视频的视频层数据做按位缩放后搬移到内存的第二预设位置，然后再获取第二预设位置中的当前视频的视频层数据。

进一步的，在获取当前视频的视频层数据的过程中，如果获取当前视频正在显示这一帧的视频层数据作为GUI的窗体背景，会导致GUI的窗体背景与显示的视频不同步的情况（也就是相差一帧），以至于会影响GUI的显示效果，可能会导致由GUI与当前视频组成的整个显示界面不太协调的情况，因此，获取当前视频的视频层数据，具体可为获取当前视频正在显示数据的下一帧的视频层数据，以保证GUI的窗体背景与显示的视频是同步的，进而保证GUI的显示效果更为理想。

此外，由于不是所有视频的帧率都一致，因此在获取当前视频的视频层数据的过程中，还需要考虑到视频帧率的问题，可预设一个预置帧率阈值，如果当前播放视频的帧率大于该预置帧率阈值，则在获取当前视频的视频层数据时，可根据预置规则丢弃一些数据，以使得获取数据的过程更为流畅。

在本实施例中，可将预置帧率阈值设置为30FPS（Frames Per Second，帧每秒），可先判断当前视频的帧率是否大于预置帧率阈值（比如在当前视频的帧率为60FPS），若是，则可以预置间隔频率获取当前视频的视频层数据，比如可选择获取单数帧或偶数帧的数据。

S102，创建图形用户界面对应的窗体，根据窗体的参数信息对所述视频层数据进行截取，并对截取后的视频层数据进行预置高斯模糊处理以作为窗体背景数据。

也就是说，在获取到视频层数据之后，即可创建GUI对应的窗体（view），可根据GUI的具体功能等来决定GUI的位置和尺寸。

GUI的位置是指GUI出现的位置，可根据具体需要进行设置，比如可设置从屏幕四个对角的方向拉下来显示、可设置为居中于屏幕显示等，GUI的尺寸可设置为屏幕面积的四分之一、可设置为覆盖于整个屏幕上等。

可根据窗体的参数信息（也就是窗体的位置信息、尺寸信息）对上述获取到的视频层数据进行截取，以保证截取后的视频层数据的尺寸与窗体覆盖在视频上位置、大小及显示内容均一致。

然后对截取后的视频层数据进行预置高斯模糊处理，比如可通过调用OpenGL ES Shader语言对截取后的视频层数据进行高斯模糊处理（可根据实际需要来设定高斯模糊的模糊参数，以得到符合需求的高斯模糊效果），并将高斯模糊处理后的该视频层数据作为窗体背景数据，以区别于现有窗体背景通常为调用skia库（即2D向量图形处理函数库）来绘制一个纯色背景的方案，可使得GUI的效果更为美观、炫酷，以提升用户体验。

进一步的，在根据窗体的参数信息对所述视频层数据进行截取，并对截取后的视频层数据进行预置高斯模糊处理以作为窗体背景数据的过程中，因为要对数据进行高斯模糊处理，所以实际获取的视频层数据并不需要与正在播放的视频具有同样高的清晰度，且可将模糊效果做的更厚重，以忽略掉获取的视频层数据的清晰度不够高的问题，以此降低GPU工作量及对带宽的要求，节省GPU及带宽资源，尤其适用于带宽有限、GPU性能不高的情况。

在具体实现时，该步骤可为：根据窗体的参数信息对所述视频层数据进行截取，对截取后的视频层数据按预设比例缩小（scaling down），再将缩小后的视频层数据进行模糊程度较高的高斯模糊处理后放大以作为窗体背景数据，通过将视频层数据先缩小，以降低视频层数据的像素，以使在对缩小后的视频层数据进行高斯模糊处理后放大时，会有效降低GPU的负担。

S103，创建图形用户界面对应的界面信息，并将所述窗体背景数据与界面信息作为界面数据存储于预置缓存。

在得到具有高斯模糊效果的窗体背景数据后，可继续创建GUI对应的界面信息，也就是，窗体背景上的文字、图形、动画效果等，然后将该些界面信息与S102得到的窗体背景数据作为界面数据一并存储于预置缓存（比如帧缓存，framebuffer）中，以备在后续步骤中调用。

S104，将界面数据叠加于视频层数据上后进行显示，以实现在播放当前视频状态下显示图形用户界面。

以智能终端的操作系统为安卓系统为例，比如可通过HWC（利用硬件完成图像数据组合并显示的功能）将界面数据叠加于视频层数据上输出到智能终端的显示屏上进行显示，以完成智能终端在播放当前视频状态下显示图形用户界面。

参看图2所示，以智能终端为具有4K物理分辨率且具有安卓操作系统的智能电视、且智能电视中正在播放分辨率为4K的视频为例来说明上述步骤。

在智能电视20正在播放某一4K视频21（简称第一视频）的情况下，用户通过遥控器上的预设按键发送显示图形用户界面（比如：用于设置的图形用户界面）的请求指令，当智能电视20接收到该请求指令后，则可通过调用Miracast接口通过DMA设备将内存的第一预设位置中解码后的第一视频的视频层数据直接搬移到内存的第二预设位置，然后再获取第二预设位置中的第一视频的视频层数据。

在获取到第一视频的视频层数据后，则开始创建设置的图形用户界面22对应的窗体，其中，该图形用户界面22可为居中于屏幕显示，且尺寸可设置为屏幕的九分之一，可据此对视频层数据进行截取。

然后对截取后的视频层数据通过调用OpenGL ES Shader语言进行预置高斯模糊处理后以作为图形用户界面22的窗体背景数据。

在图形用户界面22的窗体背景数据创建好之后，再创建图形用户界面22包含的文字、图形、动画效果等界面信息，并将窗体背景数据和界面信息一并存入framebuffer中。

最后通过HWC将界面数据叠加于视频层数据上后进行显示（呈现效果可如图2所示），以此不仅不会影响4K视频的正常播放，同时还能在其上叠加具有高斯模糊效果的图形用户界面，以使得显示的图形用户界面更加美观更加炫酷。

本发明实施例提供的智能终端的显示图形用户界面的控制方法，在智能终端正在播放当前视频且接收到显示图形用户界面的请求指令时，获取当前视频的视频层数据，然后创建窗体并对视频层数据依次进行截取、预置高斯模糊处理后作为窗体背景数据，再创建窗体上文字、图像等界面信息，并将窗体背景数据与界面信息作为界面数据存储，最后将界面数据叠加于视频层数据上后进行显示，也即仅需对截取后的视频层数据进行高斯模糊处理，而无需把所有图层都传送给GPU高斯模糊处理，可大大降低GPU的工作量，进而节省系统功耗，尤其可适于在播放高分辨率视频（比如4K视频）的视频播放界面上显示具有高斯模糊效果的图形用户界面，在保证图形用户界面的美观、炫酷的基础上，还能保证视频播放效果。

下面将介绍本发明提供的与上述智能终端的显示图形用户界面的控制方法相对应的装置。

参看图3，是本发明智能终端的显示图形用户界面的控制装置第一实施例的结构示意图。

在本实施例中，所述装置可包括获取单元31、第一创建单元32、第二创建单元33及显示单元34，其中：

获取单元31，可用于在智能终端中正在播放当前视频的状态，当接收到显示图形用户界面的请求指令，则获取当前视频的视频层数据。

获取单元31，可具体用于：调用用于获取视频层数据的预置接口，将内存的第一预设位置中解码后的当前视频的视频层数据以预置搬移方式搬移到内存的第二预设位置，再获取第二预设位置中的当前视频的视频层数据。

具体的，获取单元31可用于获取当前视频正在显示数据的下一帧的视频层数据，以保证GUI的窗体背景与显示的视频是同步的，进而保证GUI的显示效果更为理想。

获取单元31，还可用于：先判断当前视频的帧率是否大于预置帧率阈值，若判断结果为是，则以预置间隔频率获取当前视频的视频层数据，以保证获取数据的过程更为流畅。

第一创建单元32，可用于创建图形用户界面对应的窗体，根据窗体的参数信息对所述视频层数据进行截取，并对截取后的视频层数据进行预置高斯模糊处理以作为窗体背景数据。

其中，第一创建单元32，可具体用于：根据窗体的参数信息对所述视频层数据进行截取，再对截取后的视频层数据按预设比例缩小，然后对缩小后的视频层数据进行预置高斯模糊处理后放大以作为窗体背景数据，此方式可降低GPU工作量及对带宽的要求，节省GPU及带宽资源，尤其适用于带宽有限、GPU性能不高的情况。

第二创建单元33，可用于创建图形用户界面对应的界面信息，并将所述窗体背景数据与界面信息作为界面数据存储于预置缓存；所述界面信息包括文字、图形和动画效果。

显示单元34，可用于将界面数据叠加于视频层数据上后进行显示，以实现在播放当前视频状态下显示图形用户界面。

本发明实施例提供的智能终端的显示图形用户界面的控制装置，在智能终端正在播放当前视频且接收到显示图形用户界面的请求指令时，获取当前视频的视频层数据，然后创建窗体并对视频层数据依次进行截取、预置高斯模糊处理后作为窗体背景数据，再创建窗体上文字、图像等界面信息，并将窗体背景数据与界面信息作为界面数据存储，最后将界面数据叠加于视频层数据上后进行显示，也即仅需对截取后的视频层数据进行高斯模糊处理，而无需把所有图层都传送给GPU高斯模糊处理，可大大降低GPU的工作量，进而节省系统功耗，尤其可适于在播放高分辨率视频（比如4K视频）的视频播放界面上显示具有高斯模糊效果的图形用户界面，在保证图形用户界面的美观、炫酷的基础上，还能保证视频播放效果。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本发明所提供的一种智能终端的显示图形用户界面的控制方法及装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种智能终端的显示图形用户界面的控制方法，其特征在于，在智能终端中正在播放当前视频的状态下，所述方法包括：

当接收到显示图形用户界面的请求指令，则获取当前视频的视频层数据；

创建图形用户界面对应的窗体，根据窗体的参数信息对所述视频层数据进行截取，并对截取后的视频层数据进行预置高斯模糊处理以作为窗体背景数据；

创建图形用户界面对应的界面信息，并将所述窗体背景数据与界面信息作为界面数据存储于预置缓存；所述界面信息包括文字、图形和动画效果；

将界面数据叠加于视频层数据上后进行显示，以实现在播放当前视频状态下显示图形用户界面。

2.根据权利要求1所述的方法，其特征在于，所述获取当前视频的视频层数据，包括：

获取当前视频正在显示数据的下一帧的视频层数据。

3.根据权利要求1所述的方法，其特征在于，所述获取当前视频的视频层数据，包括：

判断当前视频的帧率是否大于预置帧率阈值；

若是，则以预置间隔频率获取当前视频的视频层数据。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述获取当前视频的视频层数据，具体为：

调用用于获取视频层数据的预置接口，将内存的第一预设位置中解码后的当前视频的视频层数据以预置搬移方式搬移到内存的第二预设位置；

获取第二预设位置中的当前视频的视频层数据。

5.根据权利要求1所述的方法，其特征在于，所述根据窗体的参数信息对所述视频层数据进行截取，并对截取后的视频层数据进行预置高斯模糊处理以作为窗体背景数据，包括：

根据窗体的参数信息对所述视频层数据进行截取；

对截取后的视频层数据按预设比例缩小；

对缩小后的视频层数据进行预置高斯模糊处理后放大以作为窗体背景数据。

6.一种智能终端的显示图形用户界面的控制装置，其特征在于，包括：

获取单元，用于在智能终端中正在播放当前视频的状态，当接收到显示图形用户界面的请求指令，则获取当前视频的视频层数据；

第一创建单元，用于创建图形用户界面对应的窗体，根据窗体的参数信息对所述视频层数据进行截取，并对截取后的视频层数据进行预置高斯模糊处理以作为窗体背景数据；

第二创建单元，用于创建图形用户界面对应的界面信息，并将所述窗体背景数据与界面信息作为界面数据存储于预置缓存；所述界面信息包括文字、图形和动画效果；

显示单元，用于将界面数据叠加于视频层数据上后进行显示，以实现在播放当前视频状态下显示图形用户界面。

7.根据权利要求6所述的装置，其特征在于，所述获取单元，具体用于：

获取当前视频正在显示数据的下一帧的视频层数据。

8.根据权利要求6所述的装置，其特征在于，所述获取单元，具体用于：

判断当前视频的帧率是否大于预置帧率阈值；

若是，则以预置间隔频率获取当前视频的视频层数据。

9.根据权利要求6至8中任一项所述的装置，其特征在于，所述获取单元，具体用于：

调用用于获取视频层数据的预置接口，将内存的第一预设位置中解码后的当前视频的视频层数据以预置搬移方式搬移到内存的第二预设位置；

获取第二预设位置中的当前视频的视频层数据。

10.根据权利要求6所述的装置，其特征在于，第一创建单元，具体用于：

根据窗体的参数信息对所述视频层数据进行截取；

对截取后的视频层数据按预设比例缩小；

对缩小后的视频层数据进行预置高斯模糊处理后放大以作为窗体背景数据。