CN103402100B

CN103402100B - 一种视频处理方法及移动终端

Info

Publication number: CN103402100B
Application number: CN201310373195.XA
Authority: CN
Inventors: 涂晟; 邢达明
Original assignee: Beijing QIYI Century Science and Technology Co Ltd
Current assignee: Beijing QIYI Century Science and Technology Co Ltd
Priority date: 2013-08-23
Filing date: 2013-08-23
Publication date: 2017-02-15
Anticipated expiration: 2033-08-23
Also published as: CN103402100A

Abstract

本发明实施例提供的一种视频处理方法及移动终端，在移动终端中设置编码器，当通过特效模板对解码后得到的视频帧数据进行特效添加，将视频帧数据的格式转换为编码器所支持的格式后，可以通过编码器对添加了特效后的视频帧数据进行编码，得到具有特效的视频。由于通过编码器进行编码，因此本发明降低了移动终端处理器（如CPU）的负担，提高了编码效率。由于通过特效模板进行特效添加，因此本发明可以简化特效添加过程，用户操作简单方便，方便用户制作出更有趣、更富有吸引力的视频作品。由于可以根据不同编码器进行相应视频帧格式转换，因此很好的解决了硬件编码带来的格式不支持问题。

Description

一种视频处理方法及移动终端

技术领域

本发明涉及视频处理技术领域，特别是涉及一种视频处理方法及移动终端。

背景技术

随着科技的发展，电子设备逐渐走入了人们的生活。通过手机拍摄、观看、分享视频已经成为许多人的爱好。

由于相对于某些大型的专业摄影机来说，手机具有良好的轻便性，因此更能满足用户随时随地进行视频拍摄的意愿。目前的手机通常使用Android平台，由于Android平台本身系统性能的限制，几乎不能实现对视频数据的后期特效处理，这样，对于一些视频而言，如果不做后期特效处理，将无法形成实景拍摄难以实现的视觉效果。这无疑影响了用户通过手机进行拍摄的兴趣。

因此，如何提高手机等移动终端的视频处理性能仍是亟需解决的技术问题。

发明内容

本发明实施例的目的在于提供一种视频处理方法及移动终端，以提高手机等移动终端的视频处理性能。

为达到上述目的，本发明实施例公开了一种视频处理方法，应用于移动终端中，所述移动终端中设置有编码器，所述方法包括：

获得所要处理的视频；

对所述视频进行解码，生成视频帧数据；

获得所要添加的特效模板；

根据所述特效模板及所述视频帧数据生成具有与所述特效模板对应特效的特效帧数据，所述特效帧数据的格式为第一格式；

确定所述编码器所支持的视频帧格式；

将所述特效帧数据的格式由所述第一格式转换为所述编码器所支持的视频帧格式；

使用所述编码器对所述编码器所支持的视频帧格式的特效帧数据进行编码，生成具有特效的视频。

优选的，所述移动终端中还设置有解码器，所述对所述视频进行解码，生成视频帧数据，包括：使用所述解码器对所述要处理的视频进行解码，生成视频帧数据。

优选的，所述方法还包括：

接收特效预览指令，根据所述特效预览指令对所述特效帧数据进行渲染，以使所述移动终端的显示屏显示渲染后的所述特效帧数据。

优选的，在根据所述特效预览指令对所述特效帧数据进行渲染，以使所述移动终端的显示屏显示渲染后的所述特效帧数据后，所述方法还包括：

判断是否接收到用户发出的视频生成指令，如果是，则再确定所述编码器所支持的视频帧格式。

优选的，所述移动终端中还设置有图形处理器，所述根据所述特效模板及所述视频帧数据生成具有与所述特效模板对应特效的特效帧数据，包括：

使用所述图形处理器根据所述特效模板及所述视频帧数据生成具有与所述特效模板对应特效的特效帧数据；

所述根据所述特效预览指令对所述特效帧数据进行渲染，以使所述移动终端的显示屏显示渲染后的所述特效帧数据，包括：

根据所述特效预览指令使用所述图形处理器将所述特效帧数据放入所述图形处理器的帧缓冲区FrameBuffer中；

将所述帧缓冲区中的所述特效帧数据在所述显示屏中输出，以使所述移动终端的显示屏显示渲染后的所述特效帧数据。

优选的，所述确定所述编码器所支持的视频帧格式，包括：

识别所述编码器的型号；

根据所述型号确定所述编码器所支持的视频帧格式。

一种移动终端，所述移动终端包括：

第一处理单元，获得所要处理的视频；

第二处理单元，对所述要处理的视频进行解码，生成视频帧数据；

第三处理单元，获得所要添加的特效模板；

第四处理单元，根据所述特效模板及所述视频帧数据生成具有与所述特效模板对应特效的特效帧数据，所述特效帧数据的格式为第一格式；

第五处理单元，确定所述编码器所支持的视频帧格式，将所述特效帧数据的格式由所述第一格式转换为所述编码器所支持的视频帧格式；

编码器，对格式转换后的特效帧数据进行编码，生成具有特效的视频。

优选的，所述第二处理单元为解码器。

优选的，所述移动终端还包括：

第六处理单元，接收特效预览指令，根据所述特效预览指令对所述特效帧数据进行渲染，以使所述移动终端的显示屏显示渲染后的所述特效帧数据。

优选的，所述移动终端还包括：

第七处理单元，在所述移动终端的显示屏显示渲染后的所述特效帧数据后，判断是否接收到用户发出的视频生成指令，如果是，则再触发所述第五处理单元。

优选的，所述第四处理单元和所述第六处理单元为图形处理器。

优选的，所述第一处理单元至所述第五处理单元是一个处理器；或者，所述第一处理单元、第三处理单元和第五处理单元是一个处理器。

本发明实施例提供的一种视频处理方法及移动终端，在移动终端中设置编码器，当通过特效模板对解码后得到的视频帧数据进行特效添加，将视频帧数据的格式转换为编码器所支持的格式后，可以通过编码器对添加了特效后的视频帧数据进行编码，得到具有特效的视频。由于通过编码器进行编码，因此本发明实施例降低了移动终端处理器（如CPU）的负担，提高了编码效率。由于通过特效模板进行特效添加，因此本发明可以简化特效添加过程，用户操作简单方便，方便用户制作出更有趣、更富有吸引力的视频作品。由于可以根据不同编码器进行相应视频帧格式转换，因此很好的解决了硬件编码带来的格式不支持问题。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种视频处理方法的流程图；

图2为本发明实施例提供的另一种视频处理方法的流程图；

图3为本发明实施例提供的另一种视频处理方法的流程图；

图4为本发明实施例提供的一种移动终端的结构示意图；

图5为本发明实施例提供的另一种移动终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供的一种视频处理方法，应用于移动终端中，所述移动终端中设置有编码器，该方法可以包括：

S100、获得所要处理的视频；

S200、对所述视频进行解码，生成视频帧数据；

其中，一种可能的方式是，由CPU对所述要处理的视频进行解码，生成视频帧数据；即解码操作是由软件完成的。

另一种可能的实现方式是，移动终端中还可以设置有解码器，此时步骤S200可以为：使用所述解码器对所述视频进行解码，生成视频帧数据。

在实际应用中，如果解码操作是由软件完成的，编码操作是由编码器完成的，则可以将编码器单独放置在一个芯片中；如果编解码都由相应的硬件编码器和解码器完成的，则编码器和解码器可以集成在同一个芯片中，该芯片可被称为编解码器。

可以理解的是，视频编码可以将多个视频帧处理成一个视频，而视频解码则可以将一个视频处理成多个视频帧。视频编码和视频解码都可以有软件实现和硬件实现这两种方式。例如在计算机中，使用计算机强大的CPU来进行软件的视频解码和视频编码。但手机等移动终端的CPU处理能力较差，因此通过软件来实现视频编码和视频解码过程会给移动终端的CPU带来很大负担，产生运行缓慢、死机甚至烧毁等问题。本发明实施例在移动终端中设置有编码器，因此可以通过硬件实现视频编码过程，降低了CPU的运行负担，也使得视频编码过程更加顺畅。

S300、获得所要添加的特效模板；

S400、根据所述特效模板及所述视频帧数据生成具有与所述特效模板对应特效的特效帧数据，所述特效帧数据的格式为第一格式；

视频特效是视频制作者经常在视频中添加的元素，它使得视频内容更加丰富和精彩，提高了视频的精彩程度和观看者的观看感受。在实际应用中，本发明实施例可以将一个或多个特效项目及该特效项目中的预设特效参数整合为一个特效模板，或者将一个或多个特效项目及该特效项目中的多个特效参数整合为一个仅具有一个可调参数的特效模板。这样用户就不需要自己去逐个选择多个特效项目并依次调整各特效参数，仅需要选择所需的特效模板，最多调整一个参数即可。

可以理解的是，视频帧数据即为一个与二维坐标相关的像素值数组，在获得所要添加的特效模板后，就可以根据特效模板中的特效项目及特效项目的特效参数来修改某些二维坐标对应的像素值数组，以添加特效。

需要说明的一点是，视频帧即为一帧一帧的图片，因此视频帧数据均具有某个图片格式。一般情况下，视频解码生成的视频帧数据的格式均为YUV420P格式。在特效模板对视频帧数据的处理前可以首先将视频帧数据的格式由YUV420P改为OpenGL支持的RGB565格式，这样就可以使用OpenGL根据特效模板对RGB565格式的视频帧数据进行添加特效的处理。OpenGL是图形硬件的一种软件接口，它本质上是一个3D图形和模型库,具有高度的可移植性和非常快的渲染速度。OpenGL已成为高性能图形和交互性场景处理的行业标准。当然，在使用其他语言时，也可以对视频帧数据的格式转换为其他格式，当然也可以不进行转换。例如：使用C语言时，可以不对视频解码生成的视频帧数据的格式YUV420P进行修改，这样，第一格式也即为YUV420P。当然，使用C语言时，也可以对视频解码生成的视频帧数据的格式YUV420P进行修改，将其修改为RGB8888格式，这样，第一格式也即为RGB8888。

其中，第一格式可以为RGB565格式、YUV420P格式或RGB8888格式。

具体的，移动终端中还可以设置有图形处理器GPU，步骤S400可以包括：

使用所述图形处理器根据所述特效模板及所述视频帧数据生成具有与所述特效模板对应特效的特效帧数据。

在本发明优选实施例中，还可以进一步使用移动终端中的GPU来进行图像处理，也即使用GPU对视频帧数据进行修改，可以进一步降低CPU负担，提高视频处理效率。

S500、确定所述编码器所支持的视频帧格式；

在实际应用中，步骤S500可以包括：

识别所述编码器的型号；

根据所述型号确定所述编码器所支持的视频帧格式。

本领域技术人员可以理解的是，编码器有很多型号，不同厂商生成的编码器各不相同，编码器所支持的视频帧的格式也不相同，如某型号编码器支持YUV420P格式的视频帧，而另一型号的编码器支持YUV420SP格式的视频帧。在这种情况下，步骤S200中视频解码生成的视频帧数据的格式可能无法被移动终端中的编码器所支持，导致视频编码无法进行。

当第一格式为RGB565格式，且编码器所支持的视频帧格式为YUV420SP格式时，可以将特效帧数据的格式由RGB565格式转换为YUV420SP格式，这样特效帧数据就可以被该编码器所编码，从而生成视频。

本发明实施例可以识别各编码器的型号，并确定编码器所支持的格式，以在步骤S600中将第一格式的视频帧数据转换为移动终端中的编码器所支持的格式的视频帧数据，然后进行视频编码，生成具有特效的视频。这样就解决了视频解码后的视频帧数据无法在编码器中进行编码的问题。

S600、将所述特效帧数据的格式由所述第一格式转换为所述编码器所支持的视频帧格式；

S700、使用所述编码器对所述编码器所支持的视频帧格式的特效帧数据进行编码，生成具有特效的视频。

本实施例提供的一种视频处理方法，在移动终端中设置编码器，当通过特效模板对解码后得到的视频帧数据进行特效添加，将视频帧数据的格式转换为编码器所支持的格式后，可以通过编码器对添加了特效后的视频帧数据进行编码，得到具有特效的视频。由于通过编码器进行编码，因此本发明实施例降低了移动终端处理器如CPU的负担，提高了编码效率。由于通过特效模板进行特效添加，因此本发明实施例可以简化特效添加过程，用户操作简单方便，方便用户制作出更有趣、更富有吸引力的视频作品。由于可以根据不同编码器进行相应视频帧格式转换，因此很好的解决了硬件编码带来的格式不支持问题。

如图2所示，在本发明实施例提供的另一种视频处理方法中，其与图1所示实施例相比，还可以包括：

S800、接收特效预览指令，根据所述特效预览指令对所述特效帧数据进行渲染，以使所述移动终端的显示屏显示渲染后的所述特效帧数据。

可以理解的是，在步骤S400生成具有与所述特效模板对应特效的特效帧数据后，就可以执行步骤S800，让用户首先预览特效帧数据，以使用户获悉添加特效之后的效果。渲染是本领域技术人员常用的技术手段，它可以使图像数据以图像的方式显示在显示屏上。当然，步骤S800与步骤S500、S600的执行先后顺序本发明实施例不做限定，步骤S800与步骤S500、S600可以以任意的先后顺序执行，也可以同时执行，即在步骤S500、S600的执行过程中同时执行步骤S800。步骤S800在步骤S500之前执行，可以首先用户预览，这样用户如果在预览后希望中止后续步骤的执行时，就可以及时发出指令，减少了后续步骤无效执行情况的发生。

在移动终端中设置有图形处理器GPU时，步骤S800可以包括：

接收特效预览指令，根据所述特效预览指令使用所述图形处理器将所述特效帧数据放入所述图形处理器的帧缓冲区FrameBuffer中；

其中，帧缓冲区framebuffer是用于存储视频帧的内存缓冲区。它提供了显卡的抽象描述，因此也代表显卡上的显存。应用程序通过定义好的接口可以直接访问显卡，通过调用显卡的显示函数将framebuffer中的视频帧显示在屏幕或其他显示设备上。

如图3所示，在本发明实施例提供的另一种视频处理方法中，可以包括：

S100、获得所要处理的视频；

S200、对所述视频进行解码，生成视频帧数据；

S300、获得所要添加的特效模板；

S900、判断是否接收到用户发出的视频生成指令，如果是，则执行步骤S500，否则结束。

S500、确定所述编码器所支持的视频帧格式；

由于视频编码是一个运算量较大的计算过程，因此可以在用户预览特效帧数据后，满意时再执行步骤S500到S700。因此图3所示实施例可以根据用户的指令进行编码，从而减少不必要的视频编码过程。

与本发明实施例提供的一种视频处理方法相对应，本发明实施例还提供了一种移动终端。

如图4所示，本发明实施例提供的一种移动终端，可以包括：

第一处理单元100，获得所要处理的视频；

第二处理单元200，对所述要处理的视频进行解码，生成视频帧数据；

其中，第二处理单元200可以为解码器。

在实际应用中，编码器和解码器可以集成在同一个芯片中，该芯片可被称为编解码器。可以理解的是，视频编码可以将多个视频帧处理成一个视频，而视频解码则可以将一个视频处理成多个视频帧。视频编码和视频解码都可以有软件实现和硬件实现这两种方式。例如在计算机中，使用计算机强大的CPU来进行软件的视频解码和视频编码。但手机等移动终端的CPU处理能力较差，因此通过软件来实现视频编码和视频解码过程会给移动终端的CPU带来很大负担，产生运行缓慢、内存占用大、耗电量大、发热量高甚至死机等问题。本发明实施例在移动终端中设置有编码器，因此可以通过硬件实现视频编码过程，降低了CPU的运行负担，也使得视频编码过程更加顺畅。

第三处理单元300，获得所要添加的特效模板；

第四处理单元400，根据所述特效模板及所述视频帧数据生成具有与所述特效模板对应特效的特效帧数据，所述特效帧数据的格式为第一格式；

第五处理单元500，确定所述编码器所支持的视频帧格式，将所述特效帧数据的格式由所述第一格式转换为所述编码器所支持的视频帧格式；

其中，第一处理单元100至所述第五处理单元500可以是一个处理器；或者，所述第一处理单元100、第三处理单元300和第五处理单元500是一个处理器。

第五处理单元500确定所述编码器所支持的视频帧格式的方式可以为：识别所述编码器的型号，根据所述型号确定所述编码器所支持的视频帧格式。

编码器600，对格式转换后的特效帧数据进行编码，生成具有特效的视频。

本实施例提供的一种移动终端，在移动终端中设置编码器，当通过特效模板对解码后得到的视频帧数据进行特效添加，将视频帧数据的格式转换为编码器所支持的格式后，可以通过编码器对添加了特效后的视频帧数据进行编码，得到具有特效的视频。由于通过编码器进行编码，因此本发明实施例降低了移动终端处理器如CPU的负担，提高了编码效率。由于通过特效模板进行特效添加，因此本发明实施例可以简化特效添加过程，用户操作简单方便，方便用户制作出更有趣、更富有吸引力的视频作品。由于可以根据不同编码器进行相应视频帧格式转换，因此很好的解决了硬件编码带来的格式不支持问题。

如图5所示，在本发明实施例提供的另一种移动终端中，与图4所示实施例相比，还可以包括：

第六处理单元700，接收特效预览指令，根据所述特效预览指令对所述特效帧数据进行渲染，以使所述移动终端的显示屏显示渲染后的所述特效帧数据。

其中，第四处理单元400和所述第六处理单元700可以为图形处理器GPU。

在本发明优选实施例中，还可以进一步使用移动终端中的GPU来进行图像处理，也即使用特效模板对视频帧数据进行修改，可以进一步降低CPU负担，提高视频处理效率。

可以理解的是，在第四处理单元400生成具有与所述特效模板对应特效的特效帧数据后，就可以触发第六处理单元700，让用户首先预览特效帧数据，以使用户获悉添加特效之后的效果。渲染是本领域技术人员常用的技术手段，它可以使图像数据以图像的方式显示在显示屏上。

其中，第六处理单元700的具体执行过程可以为接收特效预览指令，根据所述特效预览指令使用所述图形处理器将所述特效帧数据放入所述图形处理器的帧缓冲区FrameBuffer中，将所述帧缓冲区中的所述特效帧数据在所述显示屏中输出，以使所述移动终端的显示屏显示渲染后的所述特效帧数据。

进一步，在本发明的其他实施例中，所述移动终端还可以包括：

第七处理单元，在所述移动终端的显示屏显示渲染后的所述特效帧数据后，判断是否接收到用户发出的视频生成指令，如果是，则再触发第五处理单元500。

以上各单元及编码器的具体执行过程请参见本发明方法实施例部分。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种视频处理方法，其特征在于，应用于移动终端中，所述移动终端中设置有编码器，所述方法包括：

获得所要处理的视频；

对所述视频进行解码，生成视频帧数据；

获得所要添加的特效模板；其中，所述特效模板为将一个或多个特效项目及该特效项目中的预设特效参数整合成的特效模板，或者，将一个或多个特效项目及该特效项目中的多个特效参数整合成的仅具有一个可调参数的特效模板；

根据所述特效模板及所述视频帧数据生成具有与所述特效模板对应特效的特效帧数据，所述特效帧数据的格式为第一格式；其中，根据所述特效模板中的特效项目及特效项目的特效参数来修改所述视频帧数据的二维坐标对应的像素值数组，生成所述特效帧数据；

确定所述编码器所支持的视频帧格式；

2.根据权利要求1所述的方法，其特征在于，所述移动终端中还设置有解码器，所述对所述视频进行解码，生成视频帧数据，包括：使用所述解码器对所述要处理的视频进行解码，生成视频帧数据。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，在根据所述特效预览指令对所述特效帧数据进行渲染，以使所述移动终端的显示屏显示渲染后的所述特效帧数据后，所述方法还包括：

5.根据权利要求3所述的方法，其特征在于，所述移动终端中还设置有图形处理器，所述根据所述特效模板及所述视频帧数据生成具有与所述特效模板对应特效的特效帧数据，包括：

6.根据权利要求1所述的方法，其特征在于，所述确定所述编码器所支持的视频帧格式，包括：

识别所述编码器的型号；

根据所述型号确定所述编码器所支持的视频帧格式。

7.一种移动终端，其特征在于，所述移动终端包括：

第一处理单元，获得所要处理的视频；

第三处理单元，获得所要添加的特效模板；其中，所述特效模板为将一个或多个特效项目及该特效项目中的预设特效参数整合成的特效模板，或者，将一个或多个特效项目及该特效项目中的多个特效参数整合成的仅具有一个可调参数的特效模板；

第四处理单元，根据所述特效模板及所述视频帧数据生成具有与所述特效模板对应特效的特效帧数据，所述特效帧数据的格式为第一格式；其中，根据所述特效模板中的特效项目及特效项目的特效参数来修改所述视频帧数据的二维坐标对应的像素值数组，生成所述特效帧数据；

第五处理单元，确定编码器所支持的视频帧格式，将所述特效帧数据的格式由所述第一格式转换为所述编码器所支持的视频帧格式；

8.根据权利要求7所述的移动终端，其特征在于，所述第二处理单元为解码器。

9.根据权利要求7或8所述的移动终端，其特征在于，所述移动终端还包括：

10.根据权利要求9所述的移动终端，其特征在于，所述移动终端还包括：

11.根据权利要求9所述的移动终端，其特征在于，所述第四处理单元和所述第六处理单元为图形处理器。

12.根据权利要求7所述的移动终端，其特征在于，所述第一处理单元至所述第五处理单元是一个处理器；或者，所述第一处理单元、第三处理单元和第五处理单元是一个处理器。