CN104219555A - 一种安卓系统终端中的视频显示装置和方法 - Google Patents

Abstract

本发明实施例提供了一种安卓系统终端中的视频显示装置和方法，该装置包括：解码模块，用于调用媒体播放器来对视频进行解码，并将解码后的视频保存在显存中；图像处理器GPU显示模块，用于获取所述显存中的视频，并显示获取的所述视频。本申请减少了对视频进行处理的时间。

Description

一种安卓系统终端中的视频显示装置和方法

技术领域

本发明涉及视频显示技术领域，特别是涉及一种安卓系统终端中的视频显示装置和方法。

背景技术

随着科技的进步，越来越多的人使用智能手机。智能手机，是指像个人电脑一样，具有独立的操作系统、独立的运行空间，可以由用户自行安装软件、游戏、导航等第三方服务商提供的程序，并可以通过移动通讯网络来实现无线网络接入的这样一类手机的总称。通过智能手机，人们可以进行视频的预览和编辑。

在现有技术中，采用智能手机对视频进行预览和编辑的方法包括：使用硬件或软件对视频进行解码，将解码后的视频存储到内存中；由于图像处理单元(Graphic Processing Unit，GPU)的模块只能使用显存中的视频帧，因此，在GPU渲染处理模块获取解码后的视频之前，需要将内存中的解码视频通过teximage2d函数从内存导入到显存中；GPU渲染处理模块从显存中获取解码后的视频，对其进行编辑之后传给GPU显示模块，GPU显示模块显示该视频，从而实现视频的预览。

发明人发现，现有技术对视频进行预览和编辑的方法对视频的处理时间较长，无法保证视频显示的实时性。

因此，目前需要本领域技术人员迫切解决的一个技术问题就是：如何减少对视频处理的时间。

发明内容

本发明实施例所要解决的技术问题是提供一种安卓系统终端中的视频显示方法，以便减少对视频处理的时间。

相应的，本发明实施例还提供了一种安卓系统终端中的视频显示装置，用以保证上述方法的实现及应用。

为了解决上述问题，本发明公开了一种安卓系统终端中的视频显示装置，包括：解码模块，用于调用媒体播放器来对视频进行解码，并将解码后的视频保存在显存中；图像处理器GPU显示模块，用于获取所述显存中的视频，并显示获取的所述视频。

优选地，所述GPU显示模块还用于在没有能够显示的视频帧的情况下，触发所述解码模块调用所述媒体播放器对视频进行解码。

优选地，所述装置还包括：GPU渲染处理模块，用于从所述显存中获取解码后的所述视频，对解码后的所述视频进行编辑；所述GPU显示模块用于获取所述编辑后的视频，并显示编辑后的所述视频。

优选地，所述GPU渲染处理模块和所述GPU显示模块占用的线程不同，

所述GPU渲染处理模块还用于建立第一OPENGL上下文，其中，所述第一OPENGL上下文用于渲染视频；

所述GPU显示模块还用于建立第二OPENGL上下文，其中，所述第二OPENGL上下文用于显示视频，所述第一OPENGL的上下文和所述OPENGL上下文是通过共享的方式建立的。

优选地，所述GPU渲染处理模块还用于确定要在显存中存储视频的位置，并通知所述媒体播放器将解码后的所述视频保存在所述确定的位置中。

优选地，所述GPU渲染处理模块用于从所述显存中所述确定的位置获取解码后的所述视频。

优选地，所述GPU渲染处理模块用于：

对解码后的所述视频进行滤镜处理；和/或

在解码后的所述视频中添加素材。

为了解决上述问题，本发明公开了一种安卓系统终端中的视频显示方法，包括：终端调用媒体播放器对视频进行解码，并将解码后的视频保存在显存中；所述终端调用图像处理器GPU显示模块获取显存中的视频，并显示获取的所述视频。

优选地，所述方法还包括：

在没有能够显示的视频帧的情况下，所述终端调用所述GPU显示模块来触发所述媒体播放器对视频进行解码。

优选地，在所述终端调用所述GPU显示模块显示获取的所述视频之前，所述方法还包括：

所述终端调用GPU渲染处理模块从所述显存中获取解码后的所述视频，并对解码后的所述视频进行编辑，并将编辑后的所述视频发送给所述GPU显示模块。

优选地，所述GPU渲染处理模块和所述GPU显示模块占用的线程不同，在所述终端调用所述GPU显示模块显示获取的所述视频之前，所述方法还包括：

所述终端调用所述GPU渲染处理模块来建立第一OPENGL上下文，其中，所述第一OPENGL上下文用于渲染视频；

所述终端调用所述GPU显示模块来建立第二OPENGL上下文，其中，所述第二OPENGL上下文用于显示视频，所述第一OPENGL的上下文和所述OPENGL上下文是通过共享的方式建立的。

优选地，在所述终端调用媒体播放器将解码后的视频保存在显存中之前，所述方法还包括：

所述终端调用所述GPU渲染处理模块确定要在显存中存储视频的位置，并通知所述媒体播放器将解码后的所述视频保存在所述确定的位置中。

优选地，所述终端调用GPU渲染处理模块从所述显存中获取解码后的所述视频，包括：

所述终端调用所述GPU渲染处理模块从所述显存中所述确定的位置获取解码后的所述视频。

优选地，所述终端调用GPU渲染处理模块对解码后的所述视频进行编辑，包括：

所述终端调用所述GPU渲染处理模块对解码后的所述视频进行滤镜处理；和/或

所述终端调用所述GPU渲染处理模块在解码后的所述视频中添加素材。

与现有技术相比，本发明实施例包括以下优点：

在现有技术中，将解码后的视频存储到内存中，当需要预览时，调用teximage2d函数将视频从内存导入到显存中，以便后续显示使用。而在本申请中，调用媒体播放器直接将解码后的视频存储到显存中，不需要再调用teximage2d函数将视频从内存导入到显存中，节省了调用该函数处理的时间，提高了预览视频的实时性。另外，媒体播放器能够及时删除解码时间过长的视频帧，这进一步提高了预览视频的实时性。

附图说明

图1是本发明的一种安卓系统终端中的视频显示方法实施例的步骤流程图；

图2是本发明的另一种安卓系统终端中的视频显示方法实施例的步骤流程图；

图3是根据本发明的实时播放视频的示意图；

图4是本发明的一种安卓系统终端中的视频显示装置实施例的结构框图；

图5是本发明的一种安卓系统终端中的视频显示装置实施例的优选的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例的核心构思之一在于，调用媒体播放器对视频进行解码，并将解码后的视频保存在显存中；GPU显示模块显示该视频。在本申请中，媒体播放器直接将解码后的视频存储到显存中，不需要再调用teximage2d函数将视频从内存导入到显存中，节省了调用该函数处理的时间，提高了预览视频的实时性。另外，媒体播放器能够及时删除解码时间过长的视频帧，这进一步提高了预览视频的实时性，实现了视频的实时预览，即，实现了没有延时的播放视频文件。

参照图1，示出了本发明的一种安卓系统终端中的视频显示方法实施例的步骤流程图，具体可以包括如下步骤：

步骤102，终端调用媒体播放器对视频进行解码，并将解码后的视频保存在显存中；

其中，终端可以是手机、平板电脑灯移动终端；媒体播放器(mediaplayer)是安卓(android)操作系统中用来播放音频和视频的播放器或者接口。在本申请中，通过该媒体播放器对视频进行解码，可以直接将解码得到的视频帧保存在显存中而不是内存中，当后续需要使用解码得到的视频帧时，可以直接从显存中快速获取该视频帧。

在本发明实施例的一个优选实例中，可以由GPU渲染处理模块确定要在显存中存储解码后的视频的位置，然后通知媒体播放器该位置；媒体播放器在解码视频之后，将解码获得视频帧放到显存中GPU渲染处理模块确定的位置中。

在本发明实施例的一个优选实例中，如果GPU显示模块发现目前没有能够显示的视频帧，则可以触发媒体播放器对视频进行解码，并将解码后的视频帧保存在显存中。在具体实现时，GPU显示模块可以通过发送获取视频命令来触发媒体播放器对视频进行解码。通过该实施例，当目前没有能够显示的视频帧时，可以快速触发媒体播放器解码出能够显示的视频帧，从而避免卡帧的问题。

步骤104，终端调用GPU显示模块获取显存中的视频，并显示获取的视频。

在本发明实施例的一个优选实例中，在没有能够显示的视频帧的情况下，终端可以调用GPU显示模块来触发媒体播放器对视频进行解码，从而使得显存中有能够显示的视频帧，然后GPU获取视频帧进行显示。

在本发明实施例的一个优选实例中，在步骤104之前，终端调用GPU渲染处理模块可以从显存中获取解码后的视频，并对解码后的视频进行编辑，然后，将编辑后的视频发送给GPU显示模块进行显示。

在本发明实施例的一个优选实例中，终端调用GPU渲染处理模块来确定并通知媒体播放器显存中存储解码后的视频的位置，然后，调用GPU渲染处理模块从该位置上获取解码后的视频，然后对其进行编辑。

在本实施例中，对视频进行编辑表示对视频进行加工，例如：对视频进行的以下操作至少之一：裁剪成多段视频、合并多个视频、添加背景音乐、改变视频的颜色、对该视频进行滤镜处理、在该视频中添加素材，该素材可以是图片、文字等。

在本发明实施例的一个优选实例中，GPU渲染处理模块和GPU显示模块可以占用相同的线程，这样，GPU渲染处理模块和GPU显示模块就可以使用同一个OPENGL上下文来对视频进行处理。

在本发明实施例的一个优选实例中，GPU渲染处理模块和GPU显示模块占用的线程不同，在这种情况下，GPU渲染处理模块和GPU显示模块就不能使用同一个开放图形图书馆(Open Graphics Library，OPENGL)上下文来对视频进行处理，因此，GPU渲染处理模块建立第一OPENGL上下文，其中，第一OPENGL上下文用于渲染视频；GPU显示模块建立第二OPENGL上下文，其中，第二OPENGL上下文用于显示视频，第一OPENGL的上下文和OPENGL上下文是通过共享的方式建立的。通过共享的第一OPENGL的上下文和OPENGL上下文，GPU显示模块能够处理来自GPU渲染处理模块的视频，最终实现视频的播放。

在现有技术中，将解码后的视频存储到内存中，当需要预览时，调用teximage2d函数将视频从内存导入到显存中，以便后续显示使用，通过测试发现，如果是高清视频，内存导入到显存过程是非常缓慢的，这对于预览的实时性影响非常大。而在本实施例中，终端调用媒体播放器直接将解码后的视频存储到显存中，不需要再调用teximage2d函数将视频从内存导入到显存中，节省了调用该函数处理的时间，提高了预览视频的实时性。另外，媒体播放器能够及时删除解码时间过长的视频帧，这进一步提高了预览视频的实时性。

参照图2，示出了本发明的一种安卓系统终端中的视频显示方法实施例的步骤流程图，具体可以包括如下步骤：

步骤202，终端调用GPU显示模块查看是否有准备好的视频帧可以显示，如果有，则显示该视频帧，如果没有，则向GPU渲染处理模块发送获取视频帧的命令。

步骤204，终端调用GPU渲染处理模块检查是否有已经渲染完的未显示的帧，如果有，则传递给GPU显示模块显示，如果没有，则GPU渲染处理模块确定显存中保存视频帧的位置，并将该位置通知给媒体播放器。

步骤206，终端调用媒体播放器对视频进行解码，获得视频帧，将视频帧保存在显存中GPU渲染处理模块确定的位置中。

步骤208，终端调用GPU渲染处理模块从显存中GPU渲染处理模块确定的位置中获取视频帧，对该视频帧进行渲染处理，并将渲染处理后的视频帧发送给GPU显示模块。

步骤210，终端调用GPU显示模块显示接收到的视频帧。

在本实施例中，GPU渲染处理模块和GPU显示模块在不同的线程中，OPENGL规定，在不同的线程中是不能使用相同的上下文，因此，渲染模块和显示模块通过共享(share)的方式分别创建一个OPENGL的上下文，这样，GPU渲染处理模块和GPU显示模块可以共享使用两个上下文的显存内的视频帧。

通过上述方法，可以得到例如图3所示的视频，图3是根据本发明的实时播放视频的示意图，该图所示为实时预览播放器的小样(demo)，从图中可以看出，在解码出来的视频帧上加了一层素材动画和小清新效果颜色特效。其中添加素材和lomo滤镜都是在渲染中进行的。

现有技术中的软件解码方案和硬件解码方案分别有性能和适配性问题，本实施例采用android手机上自带的媒体播放器，能够解码高清视频，提高了系统性能，并且，媒体播放器不是硬件，不存在适配性的问题；另外，本实施例将渲染和显示放在不同的线程中，进一步提高了显示性能；由于不同线程中的显存数据不能完全使用，因此，本实施例采用OPENGL上下文共享的方式来进行初始化，从而能够将渲染线程处理好的视频帧直接共享给后面的显示模块使用。

并且，媒体播放器本身是在一个线程中维护的，如果后端没有来得及取帧，媒体播放器会自动丢弃旧的来不及显示的帧，从而保证了保存的视频帧的实时性；并且，mediaplayer的音频是不受外界获取视频帧的影响，实时播放的，这保证了音频播放的实时性。而现有技术的软件解码和硬件解码方案中，不存在丢弃帧的机制，只能在显示模块进行丢弃帧的操作，但是，通常时间消耗都是在解码和渲染处理部分，因此，软件解码和硬件解码方案在后端取帧不及时的情况下，会出现卡顿很明显的现象，影响了视频播放的实时性。

另外，在现有技术中，大多使用软件算法进行解码，但是，软件解码方法对1080P等高清视频实时解码显得无能为力；而如果使用手机端的硬件编码，由于每个手机厂家的硬件解码方案的颜色格式等都是不相同的，又会存在适配性问题。本实施例采用媒体播放器进行解码解决了上述问题，媒体播放器能够对高清视频进行实时解码，并且，媒体播放器不是硬件，也就不存在硬件适配的问题。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图4，示出了本发明一种安卓系统终端中的视频显示装置实施例的结构框图，具体可以包括如下模块：

解码模块402，用于调用媒体播放器来对视频进行解码，并将解码后的视频保存在显存中；

GPU显示模块404，用于获取所述显存中的视频，并显示获取的所述视频。

其中，媒体播放器可以被移植到编辑系统中，也可以独立成为一个媒体播放器解码模块，该媒体播放器解码模块可以实现本实施例中媒体播放器的功能。

优选地，GPU显示模块404还用于在没有能够显示的视频帧的情况下，触发解码模块402调用媒体播放器对视频进行解码。

图5示出了本发明一种安卓系统终端中的视频显示装置实施例的优选的结构框图，在本发明实施例的一个优选实例中，该装置还包括；GPU渲染处理模块502，用于从显存中获取解码后的视频，并对解码后的视频进行编辑；GPU显示模块404还用于获取所述编辑后的视频，并显示编辑后的所述视频。

在本发明实施例的一个优选实例中，GPU渲染处理模块502和GPU显示模块404占用的线程不同，

GPU渲染处理模块502还用于建立第一OPENGL上下文，其中，第一OPENGL上下文用于渲染视频；

GPU显示模块404还用于建立第二OPENGL上下文，其中，第二OPENGL上下文用于显示视频，第一OPENGL的上下文和OPENGL上下文是通过共享的方式建立的。

在本发明实施例的一个优选实例中，GPU渲染处理模块502还用于确定要在显存中存储视频的位置，并通知媒体播放器将解码后的视频保存在确定的位置中。

在本发明实施例的一个优选实例中，GPU渲染处理模块502用于从显存中确定的位置获取解码后的视频。

在本发明实施例的一个优选实例中，GPU渲染处理模块502用于：

对解码后的视频进行滤镜处理；和/或

在解码后的视频中添加素材。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种安卓系统终端中的视频显示方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种安卓系统终端中的视频显示装置，其特征在于，包括：

解码模块，用于调用媒体播放器来对视频进行解码，并将解码后的视频保存在显存中；

图像处理器GPU显示模块，用于获取所述显存中的视频，并显示获取的所述视频。

2.根据权利要求1所述的装置，其特征在于，所述GPU显示模块还用于在没有能够显示的视频帧的情况下，触发所述解码模块调用所述媒体播放器对视频进行解码。

3.根据权利要求1所述的装置，其特征在于，所述装置还包括：

GPU渲染处理模块，用于从所述显存中获取解码后的所述视频，对解码后的所述视频进行编辑；

所述GPU显示模块用于获取所述编辑后的视频，并显示编辑后的所述视频。

4.根据权利要求3所述的装置，其特征在于，所述GPU渲染处理模块和所述GPU显示模块占用的线程不同，

所述GPU渲染处理模块还用于建立第一OPENGL上下文，其中，所述第一OPENGL上下文用于渲染视频；

所述GPU显示模块还用于建立第二OPENGL上下文，其中，所述第二OPENGL上下文用于显示视频，所述第一OPENGL的上下文和所述OPENGL上下文是通过共享的方式建立的。

5.根据权利要求3所述的装置，其特征在于，所述GPU渲染处理模块还用于确定要在显存中存储视频的位置，并通知所述媒体播放器将解码后的所述视频保存在所述确定的位置中。

6.根据权利要求5所述的装置，其特征在于，所述GPU渲染处理模块用于从所述显存中所述确定的位置获取解码后的所述视频。

7.根据权利要求3所述的装置，其特征在于，所述GPU渲染处理模块用于：

对解码后的所述视频进行滤镜处理；和/或

在解码后的所述视频中添加素材。

8.一种安卓系统终端中的视频显示方法，其特征在于，包括：

终端调用媒体播放器对视频进行解码，并将解码后的视频保存在显存中；

所述终端调用图像处理器GPU显示模块获取显存中的视频，并显示获取的所述视频。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

在没有能够显示的视频帧的情况下，所述终端调用所述GPU显示模块来触发所述媒体播放器对视频进行解码。

10.根据权利要求8所述的方法，其特征在于，在所述终端调用所述GPU显示模块显示获取的所述视频之前，所述方法还包括：

所述终端调用GPU渲染处理模块从所述显存中获取解码后的所述视频，并对解码后的所述视频进行编辑，并将编辑后的所述视频发送给所述GPU显示模块。

11.根据权利要求10所述的方法，其特征在于，所述GPU渲染处理模块和所述GPU显示模块占用的线程不同，在所述终端调用所述GPU显示模块显示获取的所述视频之前，所述方法还包括：

所述终端调用所述GPU渲染处理模块来建立第一OPENGL上下文，其中，所述第一OPENGL上下文用于渲染视频；

所述终端调用所述GPU显示模块来建立第二OPENGL上下文，其中，所述第二OPENGL上下文用于显示视频，所述第一OPENGL的上下文和所述OPENGL上下文是通过共享的方式建立的。

12.根据权利要求10所述的方法，其特征在于，在所述终端调用媒体播放器将解码后的视频保存在显存中之前，所述方法还包括：

所述终端调用所述GPU渲染处理模块确定要在显存中存储视频的位置，并通知所述媒体播放器将解码后的所述视频保存在所述确定的位置中。

13.根据权利要求12所述的方法，其特征在于，所述终端调用GPU渲染处理模块从所述显存中获取解码后的所述视频，包括：

所述终端调用所述GPU渲染处理模块从所述显存中所述确定的位置获取解码后的所述视频。

14.根据权利要求10所述的方法，其特征在于，所述终端调用GPU渲染处理模块对解码后的所述视频进行编辑，包括：

所述终端调用所述GPU渲染处理模块对解码后的所述视频进行滤镜处理；和/或

所述终端调用所述GPU渲染处理模块在解码后的所述视频中添加素材。