CN109196865B - 一种数据处理方法、终端以及存储介质 - Google Patents

Abstract

本申请实施例提供一种数据处理方法、终端以及存储介质，涉及终端技术领域，能够节省终端的电量。具体方案为：终端包括中央处理单元CPU、图像处理单元和显示单元，当解码后的视频帧数据对应的第一格式不是预设类格式时，CPU将第一格式转换成第二格式，视频帧数据用于表示视频层画面，第二格式为预设类格式，预设类格式为图像处理单元能够识别的格式；图像处理单元将第二格式转换成目标格式，目标格式为显示单元用于显示的数据帧格式；图像处理单元将目标格式的视频帧数据表示的视频层画面进行缩放，以使得缩放后的视频层画面的尺寸与显示单元的尺寸相匹配。本申请实施例用于视频播放。

Description

一种数据处理方法、终端以及存储介质

本申请要求于2017年3月27日提交中国专利局、申请号为201710189121.9、申请名称为“一种视频播放的方法和设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及终端技术领域，尤其涉及一种数据处理方法、终端以及存储介质。

背景技术

在手机安卓系统中，大部分视频播放应用均支持通用视频格式如MP4、3GP、RMVB和AVI等。对于这些通用视频格式，安卓系统软硬件都默认支持，因此，安卓系统的系统解码器可以对通用格式的视频源数据进行解码，从而将解码后的视频帧数据送到MDP等图像处理单元进行缩放，进而送到显示单元进行显示。

但由于视频源不同、支持的平台不同以及历史问题等原因，一些视频播放应用可能采用通用视频格式以外的其它视频格式，对视频源数据进行编码。相应地，对于这些非通用视频格式的视频源数据，视频播放应用通过系统解码器以外的其它解码器进行解码，而解码获得的视频帧数据的格式通常不能和手机硬件匹配，因而不能直接送到手机的图像处理单元和显示单元进行处理。参见图1，现有技术采用的方案为，图形处理器(graphicsprocessing unit，GPU)将该视频帧数据的格式转换成可以直接用于显示的目标格式，并将视频帧数据表示的视频层画面缩放到与显示单元相匹配的尺寸后，再送到图像处理单元和显示单元进行处理。

其中，在播放视频时，通过GPU将视频帧数据的格式转换成可以直接用于显示的目标格式，并将视频层画面缩放到与显示单元相匹配的尺寸，将会耗费手机较多的电量，降低用户使用体验。

发明内容

本申请实施例提供一种数据处理方法、终端以及存储介质，能够降低视频播放时的耗电量，提高用户使用体验。

为达到上述目的，本申请实施例采用如下技术方案：

第一方面，本申请实施例提供了一种数据处理方法，应用于终端，该终端包括中央处理单元(central processing unit，CPU)、图像处理单元和显示单元，该方法包括：当解码后的视频帧数据对应的第一格式不是预设类格式时，CPU将第一格式转换成第二格式。其中，视频帧数据用于表示视频层画面，第二格式为预设类格式，预设类格式为图像处理单元能够识别的格式。图像处理单元将第二格式转换成目标格式，该目标格式为显示单元用于显示的数据帧格式。图像处理单元将目标格式的视频帧数据表示的视频层画面进行缩放，以使得缩放后的视频层画面的尺寸与显示单元的尺寸相匹配。

这样，可以通过更小、更简单的图像处理单元来代替GPU进行一部分格式转换操作和缩放操作，因而耗电量更小，能够提高用户的使用体验。

结合第一方面，在一种可能的实现方式中，该方法还包括：显示单元显示缩放后的视频层画面。

即，显示单元可以将图像处理单元缩放后的视频层画面进行显示。

结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，第一格式与第一视频播放应用对应，第一格式的视频帧数据为通过第一视频播放应用对应的解码器对视频源数据进行解码获得的数据。

也就是说，CPU所处理的第一格式，为第一视频播放应用对应的解码器解码获得的视频帧数据的格式。

结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，CPU将第一格式转换成第二格式包括：CPU根据与第一格式对应的第一视频播放应用，将第一格式转换成第二格式。

由于第一格式为第一视频播放应用对应的解码器解码获得的视频帧数据的格式，因而CPU可以根据第一视频播放应用，将第一格式转换成第二格式。

结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，终端保存有第一视频播放应用与第三格式的对应关系，第三格式为预设类格式，第二格式为与第一视频播放应用对应的第三格式。

这样，CPU可以根据预先保存的第一视频播放应用于第三格式的对应关系，将与第一视频播放应用对应的第一格式转换成第三格式。

结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，视频层通过表面视图surfaceview展示，在CPU将第一格式转换成第二格式之前，该方法还包括：CPU在视频帧数据对应的原视频层的对应位置的上层创建新视频层，新视频层用于覆盖原视频层，新视频层对应新表面视图new surfaceview。CPU通过开放图形库(open graphicslibrary，opengl)接口获取视频帧数据。CPU用通过opengl接口获取的视频帧数据，填充新表面视图new surfaceview。

由于原视频层及对应的原表面视图new surfaceview是由视频播放应用创建的，终端侧不易进行修改和控制，因而终端可以通过创建新表面视图new surfaceview和新视频层，来代替原表面视图new surfaceview和原视频层，从而对新表面视图newsurfaceview和新视频层进行操作。

并且，通过在原视频层的对应位置的上层创建一个新视频层以代替原视频层的方式，用户不会感知到，且分辨率、帧率、播放速度、显示内容均不会收到影响，因而不会降低用户的使用体验。

结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，CPU将第一格式转换成第二格式包括：CPU将新表面视图new surfaceview中的视频帧数据对应的第一格式转换成第二格式。

这样，CPU可以将新视频层对应的新表面视图new surfaceview中的视频帧数据对应的第一格式转换成第二格式。

结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，CPU将新表面视图new surfaceview中的视频帧数据对应的第一格式转换成第二格式包括：CPU通过新表面视图new surfaceview的底层模块nativesurface，将新表面视图new surfaceview中的视频帧数据对应的第一格式转换成第二格式。

其中，CPU具体可以通过底层模块将第一格式转换成第二格式。

结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，图像处理单元将第二格式转换成目标格式包括：图像处理单元将新表面视图new surfaceview中，视频帧数据对应的第二格式转换成目标格式。图像处理单元将目标格式的视频帧数据表示的视频层画面进行缩放包括：图像处理单元将新表面视图new surfaceview中，已转换成目标格式的视频帧数据表示的新视频层画面进行缩放。

也就是说，图像处理单元具体可以将新表面视图new surfaceview中，视频帧数据对应的第二格式转换成目标格式，并将新表面视图new surfaceview中，已转换成目标格式的视频帧数据表示的新视频层画面进行缩放。

结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，原视频层对应原表面视图original surfaceview，该方法还包括：显示单元停止显示原表面视图original surfaceview对应的原视频层画面。CPU将新表面视图new surfaceview插入原表面视图original surfaceview所在的视图层级结构viewhieiarchy中。显示单元显示缩放后的视频层画面包括：显示单元显示缩放后的目标视频层画面，目标视频层画面为新表面视图new surfaceview中，已转换成目标格式的视频帧数据表示的新视频层画面。

这样，终端可以不再显示原视频层画面，而通过显示新视频层画面进行替代。

结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，第二格式为YUV类型的格式。

这样，CPU可以将第一格式转换成YUV类型的第二格式。

结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，CPU在视频帧数据对应的原视频层的对应位置的上层创建新视频层包括：CPU通过设置新视频层对应的zorder，在视频帧原视频层对应位置的上层创建新视频层。

这样，CPU可以通过zorder设置新视频层与原视频层的上下层关系。

结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，当解码后的视频帧数据对应的第一格式为预设类格式时，该方法还包括：图像处理单元将视频帧数据表示的视频层画面进行缩放，以使得缩放后的视频层画面的尺寸与显示单元的尺寸相匹配，显示单元显示缩放后的视频层画面。

这样，当解码后的视频帧数据对应的第一格式为图像处理单元能够识别的预设类格式时，图像处理单元可以直接对第一格式的视频帧数据进行处理。

第二方面，本申请实施例提供一种终端，包括至少一个处理器、图像处理单元、屏幕、存储器和总线。其中，处理器、图像处理单元、屏幕和存储器通过总线相连。存储器用于存储指令。处理器用于执行指令以执行：当解码后的视频帧数据对应的第一格式不是预设类格式时，将第一格式转换成第二格式，视频帧数据用于表示视频层画面，第二格式为预设类格式，预设类格式为图像处理单元能够识别的格式。图像处理单元用于执行指令以执行：将第二格式转换成目标格式，目标格式为显示单元用于显示的数据帧格式，将目标格式的视频帧数据表示的视频层画面进行缩放，以使得缩放后的视频层画面的尺寸与显示单元的尺寸相匹配。

结合第二方面，在一种可能的实现方式中，显示单元用于执行指令以执行：显示缩放后的视频层画面。

结合第二方面和上述可能的实现方式，在另一种可能的实现方式中，第一格式与第一视频播放应用相对应，第一格式的视频帧数据为通过第一视频播放应用对应的解码器对视频源数据进行解码获得的数据。

结合第二方面和上述可能的实现方式，在另一种可能的实现方式中，处理器具体用于：根据与第一格式对应的第一视频播放应用，将第一格式转换成第二格式。

结合第二方面和上述可能的实现方式，在另一种可能的实现方式中，终端保存有第一视频播放应用与第三格式的对应关系，第三格式为预设类格式，第二格式为与第一视频播放应用对应的第三格式。

结合第二方面和上述可能的实现方式，在另一种可能的实现方式中，视频层通过表面视图surfaceview展示，处理器还用于：在将第一格式转换成第二格式之前，在视频帧数据对应的原视频层的对应位置的上层创建新视频层，新视频层用于覆盖原视频层，新视频层对应新表面视图new surfaceview。通过opengl接口获取视频帧数据。用通过opengl接口获取的视频帧数据，填充新表面视图new surfaceview。

结合第二方面和上述可能的实现方式，在另一种可能的实现方式中，处理器具体用于：将新表面视图new surfaceview中的视频帧数据对应的第一格式转换成第二格式。

结合第二方面和上述可能的实现方式，在另一种可能的实现方式中，处理器具体用于：通过新表面视图new surfaceview的底层模块nativesurface，将新表面视图newsurfaceview中的视频帧数据对应的第一格式转换成第二格式。

结合第二方面和上述可能的实现方式，在另一种可能的实现方式中，图像处理单元具体用于：将新表面视图new surfaceview中，视频帧数据对应的第二格式转换成目标格式。将新表面视图new surfaceview中，已转换成目标格式的视频帧数据表示的新视频层画面进行缩放。

结合第二方面和上述可能的实现方式，在另一种可能的实现方式中，原视频层对应原表面视图original surfaceview，显示单元用于，停止显示原表面视图originalsurfaceview对应的原视频层画面。处理器还用于，将新表面视图new surfaceview插入原表面视图original surfaceview所在的视图层级结构viewhieiarchy中。显示单元具体用于：显示缩放后的目标视频层画面，目标视频层画面为新表面视图new surfaceview中，已转换成目标格式的视频帧数据表示的新视频层画面。

结合第二方面和上述可能的实现方式，在另一种可能的实现方式中，第二格式为YUV类型的格式。

第三方面，本申请实施例提供了一种装置，该装置以芯片的产品形态存在，该装置的结构中包括处理器和存储器，该存储器用于与处理器耦合，保存该装置必要的程序指令和数据，该处理器用于执行存储器中存储的程序指令，使得该装置执行上述方法中数据处理的功能。

第四方面，本申请实施例提供了一种计算机可读存储介质，该存储介质包括指令，当其在终端上运行时，使得终端执行如上述第一方面及第一方面任一项中的数据处理方法。

第五方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在终端上运行时，使得终端执行如上述第一方面及第一方面任一项中的数据处理方法。

其中，关于上述第二方面至第五方面的有益效果，可以参见上述第一方面中的相应描述，这里不再赘述。

附图说明

图1为现有技术中提供的一种数据处理方法流程图；

图2为本申请实施例提供的一种手机的结构示意图；

图3为本申请实施例提供的一种数据处理方法流程图；

图4为本申请实施例提供的另一种数据处理方法流程图；

图5为本申请实施例提供的另一种数据处理方法流程图；

图6为本申请实施例提供的另一种数据处理方法流程图；

图7为本申请实施例提供的另一种数据处理方法流程图；

图8为本申请实施例提供的一种终端的结构示意图；

图9为本申请实施例提供的另一种终端的结构示意图。

具体实施方式

由于图1所示的现有技术在进行视频播放时，通过GPU将视频帧数据的格式转换成可以直接用于显示单元显示的目标格式，并将视频层画面缩放到与显示单元相匹配的尺寸，从而耗费了较多的电量，降低了用户使用体验。而本申请实施例提供的数据处理方法可以在视频播放时降低耗电量，主要原理为：通过更简单、耗电量更小的图像处理单元来代替GPU进行一部分格式转换操作和缩放操作。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

本申请实施例提供的数据处理方法可以适用于能够进行视频播放的终端。示例性的，这里的终端可以为手机、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等。

具体的，本申请实施例以终端为手机为例，对本申请实施例提供的数据处理方法进行介绍。下面结合附图2对手机100的各个构成部件进行具体的介绍：

如图2所示，手机100可以包括：屏幕101、处理器102、存储器103、电源104、射频(radio frequency，RF)电路105、重力传感器106、音频电路107、显卡108、GPU 109、图像处理单元110等部件，这些部件之间可以以总线连接，也可以直连连接。本领域技术人员可以理解，图1中示出的手机结构并不构成对手机的限定，可以包括比图示更多的部件，或者组合某些部件，或者不同的部件布置。

其中，屏幕101具体可以是触摸显示屏或非触摸显示屏，可以用于界面显示，进行视频播放、图片浏览等。

处理器102是手机100的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器103内的软件程序和/或模块，以及调用存储在存储器103内的数据，执行手机100的各种功能和处理数据，从而对手机100进行整体监控。在具体实现中，作为一种实施例，处理器102可包括一个或多个处理单元；处理器102可集成应用处理器和调制解调处理器。其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器102中。

存储器103可用于存储数据、软件程序以及模块，可以是易失性存储器(volatilememory)，例如随机存取存储器(random-access memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，ROM)，快闪存储器(flashmemory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；或者上述种类的存储器的组合。具体的，存储器103内可存储程序代码，该程序代码用于使处理器102通过执行该程序代码，执行本申请实施例提供的数据处理方法。

电源104，可以为电池，通过电源管理系统与处理器102逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

RF电路105可用于收发信息或通话过程中，信号的接收和发送，特别地，将接收到的信息给处理器102处理；另外，将处理器102生成的信号发送出去。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noise amplifier，LNA)、双工器等。此外，RF电路105还可以通过无线通信与网络和其他设备通信。

重力传感器(gravity sensor)106，可以采集手机在各个方向上(一般为三轴)加速度的大小，静止时可采集出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等。需要说明的是，手机100还可以包括其它传感器，比如压力传感器、光传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路107用于提供用户与手机100之间的音频接口。

显卡108是手机进行数模信号转换的设备，并且具有图像处理能力，可以协助完成处理器102的工作，提高手机100的整体运行速度。

GPU 109即显卡的处理器，是一种复杂的运算单元，包含大量的逻辑阵列，用于将手机100所需要的显示信息进行转换驱动，并向屏幕101提供行扫描信号，控制屏幕101的正确显示，可以执行图形渲染所需的复杂的数学和几何计算。

图像处理单元110是一种简单的硬件逻辑单元，包含较少的逻辑阵列，且体积小、功耗小，通常用于将图像缩放到与屏幕101的尺寸相匹配的大小，例如可以是MDP单元(高通)或DSS单元(海思)等。在一种实现方式中，图像处理单元110还可以集成在处理器110或手机100的其它芯片中。

其中，音频电路107、显卡108，GPU 109以及图像处理单元110，可以用于配合上述屏幕101和处理器102进行视频播放。

尽管未示出，手机100还可以包括无线保真(wireless fidelity，WiFi)模块、蓝牙模块、摄像头等功能模块，在此不再一一赘述。

为使本申请实施例的目的、技术方案和优点更加清楚，下面结合图2所示的手机100中的具体部件，对本申请实施例提供的数据处理方法进行详细描述。其中，以下示出的步骤也可以在除图2所示手机之外的其他任一终端中执行。此外，虽然在方法流程图中示出了本申请实施例提供的数据处理方法的逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

参见图3，本申请实施例提供一种数据处理方法，可以应用于终端，该终端可以包括中央处理单元CPU、图像处理单元和显示单元，该方法主要可以包括：

201、当解码后的视频帧数据对应的第一格式为非预设类格式时，CPU将第一格式转换成第二格式，视频帧数据用于表示视频层画面，第二格式为预设类格式，预设类格式为图像处理单元能够识别的格式。

其中，视频是指显示速度超过每秒24帧以上的连续画面，具体由一帧一帧的视频数据组成。视频帧数据是视频源数据解码后获得的视频数据，可以称为rawdata数据，每一帧数据可以对应一个视频层画面。

这里的预设类格式为图像处理单元能够识别和直接处理的视频帧格式，通常为通用的标准视频帧格式，例如可以是YUV、CMYK、YCBCR或RGB等类型的格式，且每种类型具体还可以包括多种格式。示例性的，部分预设类视频帧格式可以参见如下表1列出的一些通用的标准视频格式。

表1

当解码后的视频帧数据对应的第一格式为非预设类格式时，即第一格式不能被图像处理单元识别，因而不能直接被图像处理单元处理时，CPU可以将该第一格式转换成能够被图像处理单元处理的第二格式，从而使得视频帧数据可以被图像处理单处理。其中，第一格式通常与预设类格式较为接近，一般为预设类格式的简单变形。例如，第一格式为在预设类格式YUV类型的格式对应的视频数据流中添加、更改或删减一些字符。并且，CPU将第一格式转换成第二格式的速度较快，时延较小，例如可以为几毫秒。

其中，CPU将第一格式转换成第二格式具体是指，CPU将第一格式的视频帧数据转换成第二格式的视频帧数据。

具体的，CPU可以通过框架framework层模块确定第一格式是否能够被图像处理单元识别。

202、图像处理单元将第二格式转换成目标格式，目标格式为显示单元可以用于显示的数据帧格式。

这里的图像处理单元的描述可以参见上文图2相关部分的描述。其中，目标格式为显示单元可以直接用于显示的数据帧格式，通常可以为RGB类型的格式。图像处理单元具体可以根据显示单元的特性，将第二格式转换成与显示单元特性相适应的目标格式。示例性的，当显示单元为真彩色屏幕时，目标格式可以为RGB888格式；当显示单元为增强色屏幕时，目标格式可以是RGB555格式。

203、图像处理单元将目标格式的视频帧数据表示的视频层画面进行缩放，以使得缩放后的视频层画面的尺寸与显示单元的尺寸相匹配。

在图像处理单元将视频帧数据对应的第二格式转换成目标格式后，还可以对视频帧数据表示的视频层画面的尺寸进行缩放，以使得视频层画面的尺寸与显示单元的尺寸相匹配，以便于显示单元将缩放后的视频层画面进行显示。

在本申请实施例中，当第一格式为图像处理单元不能识别的格式时，CPU可以将第一格式转换成与第一格式的格式接近的第二格式，图像处理单元可以将第二格式转换成可以直接用于显示的目标格式，并将视频层画面缩放到屏幕尺寸，以便于显示单元进行画面显示。

当采用现有技术中的方案时，终端将通过GPU将第一格式转换成目标格式。由于第一格式与目标格式通常差异较大，第一格式通常不会是目标格式的简单变形，因而GPU通常需要通过复杂的处理才可以将GPU转换成目标格式。并且，GPU还需要将视频层画面缩放到屏幕尺寸。由于GPU为复杂的运算单元，内部包括大量的逻辑阵列，因而GPU的运行将会耗费较多的电量。

而在本申请实施例中，第一格式转换成目标格式的过程可以划分为两部分，即CPU将第一格式转换成第二格式，图像处理单元将第二格式转换成目标格式。在第一部分，与GPU相比，虽然CPU也是复杂的运算单元，但CPU仅用于将第一格式转换成与第一格式类似的第二格式，因而CPU通过简单的处理即可实现，且处理速度快、时延小。在第二部分，与运行GPU相比，通过运行图像处理单元将第二格式转换成目标格式，可以节省电量的耗费。可见，本申请实施例提供的通过CPU+图像处理单元将第一格式转换成第二格式的方式更能够节省电量。对于将视频层画面缩放到屏幕尺寸这一过程，现有技术通过运行复杂运算单元GPU来实现，而本申请通过运行更为简单的图像处理单元来实现，因而更能节省电量。

也就是说，本申请实施例通过更小、更简单的图像处理单元来代替GPU进行一部分格式转换操作和缩放操作，因而耗电量更小，能够提高用户的使用体验。

此外，需要说明的是，在本申请实施例中，图像处理单元用于将视频层图像缩放成屏幕尺寸，即进入图像处理单元的视频层画面的尺寸为原始尺寸；而在图1所示的现有技术中，GPU用于将视频层画面缩放成屏幕尺寸，即从GPU进入图像处理单元的视频层画面已经缩放为与屏幕尺寸，图像处理单元仅进行了1:1缩放(也可以理解为没有进行缩放)。

此外，本申请上述实施例提供的数据处理方法流程图还可以参见图4。

进一步地，参见图5，在步骤203之后，本申请实施例提供的方法还可以包括：

204、显示单元显示缩放后的视频层画面。

其中，这里的视频层画面对应的视频帧数据为目标格式。这里的显示单元可以为终端的屏幕，例如可以是液晶显示(liquid crystal display，LCD)屏或有机发光显示(organic light emitting display，OLED)屏等。在本申请实施例中，若无特别说明，则显示单元和屏幕用于表示相同的含义，两者可以通用。

在图像处理单元对视频层画面的尺寸进行缩放后，显示单元可以显示缩放后的视频层画面。并且，显示单元按照大于24帧/秒的频率显示视频层画面，以进行视频播放。

本申请实施例把将视频层画面的尺寸缩放到与显示单元的尺寸相匹配的过程称为，将视频层画面缩放到屏幕尺寸，或者将视频层画面缩放到匹配尺寸。

在本申请实施例中，步骤201中的第一格式可以与第一视频播放应用对应，第一格式的视频帧数据为通过第一视频播放应用对应的解码器对视频源数据进行解码获得的数据。

其中，这里的视频帧数据是通过解码器解码获得的视频数据，这里的解码器是视频播放应用对应的解码器，而不是通过安卓系统的系统解码器，具体可以包括软件解码器或硬件解码器，不同视频播放应对应的解码器可能不同。不同视频播放应用对应的解码获得的视频帧数据的格式也可能不同，即解码后的视频帧数据的格式与视频播放应用相对应。例如，视频播放应用1与视频帧格式1(第一格式)对应，视频播放应用2与视频帧格式2(第一格式)对应。

当第一格式与第一视频播放应用相对应时，在上述步骤201中，CPU将第一格式转换成第二格式可以包括：

2011、CPU根据与第一格式对应的第一视频播放应用，将第一格式转换成第二格式。

当第一格式与第一视频播放应用相对应时，第一格式为第一视频播放应用对应的解码器解码获得的视频数据的格式，因而CPU可以根据第一格式对应的第一视频播放应用，将第一格式转换成第二格式。

具体的，终端可以保存有第一视频播放应用与第三格式的对应关系，第三格式为预设类格式，第二格式为与第一视频播放应用对应的第三格式。因此，步骤2011具体可以包括：CPU将第一格式转换成与第一视频播放应用对应的第三格式，该第三格式即为第二格式。

例如，视频播放应用1与视频帧格式3(第三格式)对应，视频播放应用2与视频帧格式4(第三格式)对应。当第一格式为视频帧格式2时，与视频帧格式2对应的第一视频播放应用为视频播放应用2，与视频播放应用2对应的第三格式为视频帧格式4，因而，CPU可以将视频帧格式2(第一格式)，转换成视频帧格式4(第二格式)。

值得注意的是，除第一视频帧应用与第三格式的对应关系外，终端中还可以保存有其它视频播放应用与预设类视频中的视频帧格式的对应关系，并且，终端还可以通过软件升级等方式更新和修改终端中保存的视频播放应用与视频帧格式的对应关系。

其中，第一视频播放应用与第三格式的对应关系可以在测试阶段进行确定。例如，预设类格式中的格式可以称为第四格式，在一种实现方式中，可以将第一视频播放应用对应的解码器解码获得的视频帧数据的第一格式转换成预设类格式中的一种第四格式，而后，图像处理单元可以将该种第四格式转换成目标格式，显示单元可以对目标格式的视频帧数据表示的视频层画面进行显示，若满足画面显示条件，则可以确定该种第四格式属于预设类格式，此时可以确定第三格式为预设类格式中，对应的视频帧数据表示的视频层画面显示清晰度最高的格式；或者，可以确定第三格式为预设类格式中的任意一种格式。进而，可以保存第一格式对应的第一视频播放应用与确定的第三格式的对应关系。

其中，画面显示条件可以根据实际需要进行设定。例如，显示单元上可以正常显示图像的像素大于或者等于预设值。

在另一种实现方式中，可以将第一格式转换成预设类格式中的一种第四格式，若本次转换成的第四格式对应的视频帧数据满足画面显示条件，则确定本次转换成的第四格式为第三格式；若本次转换成的第四格式对应的视频帧数据不满足画面显示条件，则将第一格式转换成预设类格式中的另一种第四格式，直至转换成的第四格式对应的视频帧数据满足画面显示条件。

此外，可选的，若视频播放过程出现异常，例如视频播放应用异常退出等，则可能是由于视频播放应用对应的第二格式与第一格式的对应关系出错，此时可以删除视频播放应用与第三格式的对应关系。

具体的，在本申请实施例中，视频层可以通过表面视图surfaceview展示。其中，surfaceview拥有独立的绘图表面，它不与其宿主窗口共享同一个绘图表面。由于拥有独立的绘图表面，因此surfaceview的界面可以在一个独立的线程中进行绘制，而不会占用主线程资源，可以实现复杂而高效的界面。

在本申请实施例中，参见图6，当第一格式不能被图像处理单元识别时，在步骤201中CPU将第一格式转换成第二格式之前，该方法还可以包括：

205、CPU在视频帧数据对应的原视频层的对应位置的上层创建新视频层，新视频层用于覆盖原视频层，新视频层对应新表面视图new surfaceview。

其中，CPU可以通过将新视频层对应的宽度wide和高度height设置成与原视频层对应的宽度wide和盖度height相同，从而在原视频层的对应位置创建新视频层。并且，CPU可以通过设置新视频层对应的zorder，在视频帧原视频层的上层创建新视频层。这样，设置的新视频层可以完全覆盖原视频层。

206、CPU通过开放图形库opengl接口获取视频帧数据。

207、CPU用通过开放图形库opengl接口获取的视频帧数据，填充新表面视图newsurfaceview。

这样，新表面视图new surfaceview中的视频帧数据即为新视频层对应的视频帧数据，新视频层对应的视频帧数据即为原视频层对应的视频帧数据。

由于原视频层和与原视频层对应的原表面视图new surfaceview是由视频播放应用创建的，终端侧不易对它们进行修改和控制，因而终端侧的CPU可以通过创建一个新表面视图new surfaceview和新视频层来代替原表面视图new surfaceview和原视频层，从而使得终端各部件可以通过控制原表面视图new surfaceview和原视频层进行格式转换和缩放，达到降低耗电量的目的。

并且，通过在原视频层的对应位置的上层创建一个新视频层以代替原视频层的方式，用户不会感知到，且分辨率、帧率、播放速度、显示内容均不会收到影响，因而不会降低用户的使用体验。

在上述步骤205-207的基础上，CPU将第一格式转换成第二格式具体可以包括：

2010、CPU将新表面视图new surfaceview中的视频帧数据对应的第一格式转换成第二格式。

也就是说，在新表面视图new surfaceview代替原表面视图new surfaceview，新视频层代替原视频层后，CPU可以将新视频层对应的，新表面视图new surfaceview中的视频帧数据对应的第一格式转换成第二格式。

CPU在步骤2010中将新表面视图new surfaceview中的视频帧数据对应的第一格式转换成第二格式具体可以包括：

CPU通过新表面视图new surfaceview的底层模块nativesurface，将新表面视图new surfaceview中的视频帧数据对应的第一格式转换成第二格式。

具体的，底层模块nativesurface用于支撑new surfaceview的功能。CPU可以首先通过nativesurface从opengl接口获取视频帧数据(即数据抓取data catch)，而后拷贝获取的视频帧数据(即数据共享data share)，进而将视频帧对应的第一格式转换成第二格式(即数据调整data adjust)。

在步骤2010的基础上，图像处理单元可以对新表面视图new surfaceview中的视频数据进行处理。上述步骤202具体可以包括：

2020、图像处理单元将新表面视图new surfaceview中，视频帧数据对应的第二格式转换成目标格式。

上述步骤203具体可以包括：

2030、图像处理单元将新表面视图new surfaceview中，已转换成目标格式的视频帧数据表示的新视频层画面进行缩放。

在本申请实施例中，原视频层可以对应原表面视图original surfaceview，在步骤204中显示单元显示缩放后的视频层画面之前，该方法还可以包括：

208、显示单元停止显示原表面视图original surfaceview对应的原视频层画面。

在未创建新表面视图new surfaceview和新视频层时，按照现有技术中的流程，CPU将原视频层对应的视频帧数据送给GPU、图像处理单元和显示单元进行处理。而在本申请实施例中，当通过创建新表面视图new surfaceview和新视频层，代替原表面视图original surfaceview和原视频层时，原视频层画面不需要再显示。具体的，CPU可以停止将原表面视图original surfaceview中的视频帧数据发送给GPU、图像处理单元和显示单元进行处理，显示单元可以停止显示原视频层画面，而显示新表面视图new surfaceview中的新视频层画面。

具体的，CPU可以通过将新视频层的透明度设置为非透明的方式，停止显示原视频层。当新视频层的透明度为非透明，原视频层被完全遮挡，终端将不继续对原视频层执行显示处理流程，显示单元也将不再显示原视频层画面。其中，值得注意的是，对于一些目标格式例如RGB888格式的新视频层，其本身就是不透明的，因而CPU不需要再将新视频层的透明度设置为非透明。

209、CPU将新表面视图new surfaceview插入original surfaceview所在的视图层级结构viewhieiarchy中。

其中，viewhieiarchy是视图view的一个树tree型结构，包括所有视图及所有视图的属性，例如视图的wide坐标信息、height坐标信息以及z轴坐标信息等，根据这些信息可以获得整个屏幕的布局。viewhieiarchy可以与视频播放应用相对应。

在创建新表面视图new surfaceview后，CPU可以将新表面视图new surfaceview插入original surfaceview所在的视图层级结构viewhieiarchy中，以使得新表面视图newsurfaceview可以与屏幕中的其它视图相融合，从而在新表面视图new surfaceview代替原视频层对应的原表面视图original surfaceview时，不会影响屏幕的整体布局，不会更改屏幕的正常显示。

需要说明的是，图6所示的方法流程仅是示例性说明，步骤209可以在步骤205之后及步骤2040之前执行。

上述步骤204具体可以包括：

2040、显示单元显示缩放后的目标视频层画面，目标视频层画面为新表面视图newsurfaceview中，已转换成目标格式的视频帧数据表示的新视频层画面。

另外，本申请上述实施例提供的数据处理方法流程图还可以参见图7。

此外，当解码后的视频帧数据对应的第一格式为预设类格式时，该方法还可以包括：

210、图像处理单元将视频帧数据表示的视频层画面进行缩放，以使得缩放后的视频层画面的尺寸与显示单元的尺寸相匹配。

211、显示单元显示缩放后的视频层画面。

也就是说，当所述解码后的视频帧数据对应的第一格式为图像处理单元能够识别的预设类格式时，图像处理单元可以直接对第一格式的视频帧数据进行处理。

另外，在本申请实施例提供的数据处理方法中，对于通过系统解码器解码获得的视频帧数据，可以直接送入图像处理单元进行处理。

进一步地，在进行视频播放时，视频层上还可能叠加有弹幕层、标志logo层等，因而该方法还可以包括：

212、显示单元显示弹幕层和/或标志logo层。

上述主要从终端的角度对本申请实施例提供的方案进行了介绍。可以理解的是，终端为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对终端进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图8示出了上述实施例中涉及的终端30的一种可能的组成示意图，如图8所示，该终端30可以包括：至少一个处理器31、图像处理单元32、屏幕33、存储器34和总线35。处理器31、图像处理单元32、屏幕33和存储器34通过总线35相连。

其中，存储器34用于存储指令。处理器31用于执行指令以执行：当解码后的视频帧数据对应的第一格式不是预设类格式时，将第一格式转换成第二格式。其中，视频帧数据用于表示视频层画面，第二格式为预设类格式，预设类格式为图像处理单元能够识别的格式。图像处理单元32用于执行指令以执行：将第二格式转换成目标格式，目标格式为显示单元用于显示的数据帧格式，将目标格式的视频帧数据表示的视频层画面进行缩放，以使得缩放后的视频层画面的尺寸与显示单元的尺寸相匹配。

此外，屏幕33用于支持终端执行图5所示的数据处理方法中的步骤204，图6中的步骤208和步骤2040。

处理器31还可以用于支持终端执行图6所示的数据处理方法中的步骤205-207、步骤2010以及步骤209。

图像处理单元32还可以用于支持终端执行图6所示的数据处理方法中的步骤2020和步骤2030。

需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

本申请实施例提供的终端，用于执行上述数据处理方法，因此可以达到与上述数据处理方法相同的效果。

在采用集成的单元的情况下，图9示出了上述实施例中所涉及的终端40的另一种可能的组成示意图。如图9所示，该终端40包括：处理模块41和通信模块42。

处理模块41用于对终端40的动作进行控制管理，例如，处理模块41用于支持终端40执行图8所示的处理器31、图像处理单元32和屏幕33的操作，和/或用于本文所描述的技术的其它过程。通信模块42用于支持终端与其他网络实体的通信。终端还可以包括存储模块43，用于执行图8所示的存储器34的操作，存储终端40的程序代码和数据。

其中，处理模块41可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，微处理器(digital signal processor，DSP)和微处理器的组合等等。通信模块42可以是收发器、收发电路或通信接口等。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (23)

1.一种数据处理方法，应用于终端，所述终端包括中央处理单元CPU、图像处理单元和显示单元，其特征在于，所述方法包括：

当解码后的视频帧数据对应的第一格式不是预设类格式时，所述CPU将所述第一格式转换成第二格式，所述视频帧数据用于表示视频层画面，所述第二格式为预设类格式，所述预设类格式为所述图像处理单元能够识别的格式；所述图像处理单元为所述终端内独立于图形处理器GPU之外的硬件逻辑单元；

所述图像处理单元将所述第二格式转换成目标格式，所述目标格式为所述显示单元用于显示的数据帧格式；

所述图像处理单元将所述目标格式的视频帧数据表示的视频层画面进行缩放，以使得缩放后的所述视频层画面的尺寸与所述显示单元的尺寸相匹配。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述显示单元显示缩放后的所述视频层画面。

3.根据权利要求2所述的方法，其特征在于，所述第一格式与第一视频播放应用对应，所述第一格式的视频帧数据为通过所述第一视频播放应用对应的解码器对视频源数据进行解码获得的数据。

4.根据权利要求3所述的方法，其特征在于，所述CPU将所述第一格式转换成第二格式包括：

所述CPU根据与所述第一格式对应的所述第一视频播放应用，将所述第一格式转换成第二格式。

5.根据权利要求4所述的方法，其特征在于，所述终端保存有所述第一视频播放应用与第三格式的对应关系，所述第三格式为预设类格式，所述第二格式为与所述第一视频播放应用对应的所述第三格式。

6.根据权利要求2-5任一项所述的方法，其特征在于，所述视频层通过表面视图surfaceview展示，在所述CPU将所述第一格式转换成第二格式之前，所述方法还包括：

所述CPU在所述视频帧数据对应的原视频层的对应位置的上层创建新视频层，所述新视频层用于覆盖所述原视频层，所述新视频层对应新表面视图new surfaceview；

所述CPU通过开放图形库opengl接口获取所述视频帧数据；

所述CPU用通过所述开放图形库opengl接口获取的所述视频帧数据，填充所述新表面视图new surfaceview。

7.根据权利要求6所述的方法，其特征在于，所述CPU将所述第一格式转换成第二格式包括：

所述CPU将所述新表面视图new surfaceview中的所述视频帧数据对应的第一格式转换成所述第二格式。

8.根据权利要求7所述的方法，其特征在于，所述CPU将所述新表面视图newsurfaceview中的所述视频帧数据对应的第一格式转换成所述第二格式包括：

所述CPU通过所述新表面视图new surfaceview的底层模块nativesurface，将所述新表面视图new surfaceview中的所述视频帧数据对应的第一格式转换成所述第二格式。

9.根据权利要求8所述的方法，其特征在于，所述图像处理单元将所述第二格式转换成目标格式包括：

所述图像处理单元将所述新表面视图new surfaceview中，所述视频帧数据对应的第二格式转换成所述目标格式；

所述图像处理单元将所述目标格式的视频帧数据表示的视频层画面进行缩放包括：

所述图像处理单元将所述新表面视图new surfaceview中，已转换成所述目标格式的所述视频帧数据表示的新视频层画面进行缩放。

10.根据权利要求9所述的方法，其特征在于，所述原视频层对应原表面视图originalsurfaceview，所述方法还包括：

所述显示单元停止显示所述原表面视图original surfaceview对应的原视频层画面；

所述CPU将所述新表面视图new surfaceview插入所述原表面视图originalsurfaceview所在的视图层级结构viewhieiarchy中；

所述显示单元显示缩放后的所述视频层画面包括：

所述显示单元显示缩放后的目标视频层画面，所述目标视频层画面为所述新表面视图new surfaceview中，已转换成所述目标格式的所述视频帧数据表示的新视频层画面。

11.根据权利要求1-5、7-10任一项所述的方法，其特征在于，所述第二格式为YUV类型的格式。

12.一种终端，其特征在于，包括至少一个处理器、图像处理单元、屏幕、存储器和总线；

所述处理器、所述图像处理单元、所述屏幕和所述存储器通过总线相连；

所述存储器用于存储计算机程序；

所述处理器用于执行所述程序以实现以下步骤：

当解码后的视频帧数据对应的第一格式不是预设类格式时，将所述第一格式转换成第二格式，所述视频帧数据用于表示视频层画面，所述第二格式为预设类格式，所述预设类格式为所述图像处理单元能够识别的格式；所述图像处理单元为所述终端内独立于图形处理器GPU之外的硬件逻辑单元；

所述图像处理单元用于执行所述程序以实现以下步骤：

将所述第二格式转换成目标格式，所述目标格式为显示单元用于显示的数据帧格式；

将所述目标格式的视频帧数据表示的视频层画面进行缩放，以使得缩放后的所述视频层画面的尺寸与所述显示单元的尺寸相匹配。

13.根据权利要求12所述的终端，其特征在于，所述显示单元用于执行所述程序以实现以下步骤：

显示缩放后的所述视频层画面。

14.根据权利要求13所述的终端，其特征在于，所述第一格式与第一视频播放应用相对应，所述第一格式的视频帧数据为通过所述第一视频播放应用对应的解码器对视频源数据进行解码获得的数据。

15.根据权利要求14所述的终端，其特征在于，所述处理器具体用于：

根据与所述第一格式对应的所述第一视频播放应用，将所述第一格式转换成第二格式。

16.根据权利要求15所述的终端，其特征在于，所述终端保存有所述第一视频播放应用与第三格式的对应关系，所述第三格式为预设类格式，所述第二格式为与所述第一视频播放应用对应的所述第三格式。

17.根据权利要求13-16任一项所述的终端，其特征在于，所述视频层通过表面视图surfaceview展示，所述处理器还用于：

在将所述第一格式转换成第二格式之前，在所述视频帧数据对应的原视频层的对应位置的上层创建新视频层，所述新视频层用于覆盖所述原视频层，所述新视频层对应新表面视图new surfaceview；

通过开放图形库opengl接口获取所述视频帧数据；

用通过所述开放图形库opengl接口获取的所述视频帧数据，填充所述新表面视图newsurfaceview。

18.根据权利要求17所述的终端，其特征在于，所述处理器具体用于：

将所述新表面视图new surfaceview中的所述视频帧数据对应的第一格式转换成所述第二格式。

19.根据权利要求18所述的终端，其特征在于，所述处理器具体用于：

通过所述新表面视图new surfaceview的底层模块nativesurface，将所述新表面视图new surfaceview中的所述视频帧数据对应的第一格式转换成所述第二格式。

20.根据权利要求18或19所述的终端，其特征在于，所述图像处理单元具体用于：

将所述新表面视图new surfaceview中，所述视频帧数据对应的第二格式转换成所述目标格式；

将所述新表面视图new surfaceview中，已转换成所述目标格式的所述视频帧数据表示的新视频层画面进行缩放。

21.根据权利要求20所述的终端，其特征在于，所述原视频层对应原表面视图originalsurfaceview，所述显示单元还用于，停止显示所述原表面视图original surfaceview对应的原视频层画面；

所述处理器还用于，将所述新表面视图new surfaceview插入所述原表面视图original surfaceview所在的视图层级结构viewhieiarchy中；

所述显示单元具体用于：

显示缩放后的目标视频层画面，所述目标视频层画面为所述新表面视图newsurfaceview中，已转换成所述目标格式的所述视频帧数据表示的新视频层画面。

22.根据权利要求12-16、18-19任一项所述的终端，其特征在于，所述第二格式为YUV类型的格式。

23.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-11任一项所述方法的步骤。

Images