CN104540028B - 一种基于移动平台的视频美化交互体验系统 - Google Patents

Abstract

本发明一种基于移动平台的视频美化交互体验系统，涉及视频技术领域。系统包括界面设计(1)，视频美化引擎模块(2)，功能模式(3)及交互流程(4)以视频信号方式连接。本发明系统所述界面设计原则是移动平台的界面内容呈现也遵循智能简单和高效的原则，尽量减少交互的次数。所述视频美化引擎，采用的底层视频美化引擎采用模块化设计，同时又具有灵活和可扩展的框架结构，以满足多样化的视频美化需求。所述功能模式，按应用场景来分类包括音乐相册模式，视频编辑模式，混合编辑模式。所述交互流程，设计移动平台的输入激励来自于指尖点击和指尖滑动。上述种种，为适应在移动平台视频领域，进一步编辑美化的市场需求提供了技术物质基础。

Description

一种基于移动平台的视频美化交互体验系统

技术领域

本发明涉及视频技术领域，具体指一种基于移动平台的视频美化交互体验系统。

背景技术

近年来，手机功能的进化为移动平台媒体的诞生铺平了道路。鉴于智能手机等移动平台，互动性更强，使用者扮演了双重角色——既是视频媒体的消费者，又是贡献者。尤其随着手机拍摄硬件的飞速提升，卡片式数码相机逐渐被手机取代。手机拍摄的用户特别是年龄较轻的手机拍摄爱好者逐年递增。由于视频美化操作和运算的复杂性，现行市场上的视频编辑美化软件，前期都存在一个将输入视频转码成特定格式的过程，为了减少转码时间，往往以降低输入视频转码后的输出分辨率，从而影响了画质，同时移动平台的输入方式大多是采用手指触摸方式。因此，不能适应日益发展的市场的需求。

发明内容

本发明的目的在于克服现有技术存在的缺失和不足，提出一种基于移动平台的视频美化交互体验系统，包括：界面设计，视频美化引擎模块，功能模式及交互流程以视频信号方式连接。

一、所述界面设计原则：

移动平台的界面内容呈现也遵循智能简单和高效的原则，尽量减少交互的次数。

本发明对媒体对象的选择操作时，系统分两步操作来完成，第一步是对整个系统内的媒体目录进行全搜索，然后以缩略图索引的列表显示出来，用户可以通过滑动来快速浏览同时也可以通过点击来进入特定目录里浏览。第二步就是对特定媒体目录中的内容同样以缩略图索引列表的方式显示出来，同时对于属于视频的缩略图打上摄像头图标和时长的标记，方便用户区分图片和视频。

所有的媒体特效操作实施以后可以立即在预览媒体中看到效果并且和导出后的效果完全相同，所见即所得。

在媒体对象导出时会实时显示进度条，方便用户跟踪操作的进程。同时在导出时还增加了后台切换功能按钮，使用户无需等待去执行其他应用操作。

二、所述视频美化引擎：采用的底层视频美化引擎采用模块化设计，同时又具有灵活和可扩展的框架结构，可以满足多样化的视频美化需求。

本发明基于两大引擎整合而成，一个是图形渲染引擎；另一个则是视频编解码引擎。

所述渲染引擎：

渲染引擎基于opengl ES 2.0标准来开发。这部分运算在GPU中完成，通过系统显卡的强大运算功能，可以快速地完成图片序列的各种复杂的渲染效果。目前提供的功能主要包括：

1.图片、字幕、表情和手绘元素分层叠加。

2.字幕、表情和手绘元素的移动、缩放和旋转。

3.转场特效叠加。

4.滤镜特效叠加。

5.编辑预览。

6.编辑导出。

所述视频编解码引擎：

视频编解码引擎分为视频解码引擎和视频编码引擎两大部分，其中视频解码引擎位于渲染引擎的前端，用于解码输入视频数据和动态表情数据提供给渲染引擎作为输入源；视频编码引擎位于后端，用于将渲染引擎输出的视频帧编码，同时叠加上相应的音频。它们主要完成：

1.输入视频解码。

2.输入动态表情解码。

3.输出视频编码。

4.输入视频音画分离。

5.输出音频转码和拼接。

6.输出音视频合成。

三、所述功能模式，按应用场景来分类：音乐相册模式，视频编辑模式，混合编辑模式。其中，

所述音乐相册模式：

该模式下输入不包含视频。

该模式下输入元素除动态表情需要视频解码外，其它都直接输入至渲染引擎分层叠加，渲染引擎再按照控制参数逻辑对其进行转场和滤镜特效处理，然后按固定帧率输出渲染视频帧。

当视频预览时，渲染引擎输出的视频帧直接输出至媒体播放引擎实时播放，同时配音和配乐也输入至媒体播放引擎同步播放。

当视频导出时，渲染引擎输出的视频帧直接编码，然后和输入的配音或配乐进行音画合成导出。

所述视频编辑模式：

该模式下输入不包含图片。

该模式下输入元素除动态表情和输入视频序列需要解码外，其它都直接输入至渲染引擎分层叠加，渲染引擎再按照控制参数逻辑对其进行转场和滤镜特效处理，然后按固定帧率输出渲染视频帧。

当视频预览时，渲染引擎输出的视频帧直接输出至媒体播放引擎实时播放，同时输入视频中的原音以及配音和配乐也输入至媒体播放引擎同步播放。

当视频导出时，渲染引擎输出的视频帧直接编码，然后和输入视频经音画分离和音频转码后的视频原音编码数据，输入配音或配乐进行音画合成导出。

所述混合编辑模式：

该模式下输入元素没有限制，可以是图片，也可以是视频。

四、所述交互流程，设计移动平台的输入激励来自于指尖点击和指尖滑动。

其中，所述指尖点击可对应如下操作：

1.媒体对象的选择或去选择。

2.操作界面间的跳转。

3.媒体对象的播放或暂停。

4.信息栏的显示和消隐。

5.字幕色彩的选择。

6.表情的选择。

7.转场特效的选择。

8.特效滤镜的选择。

9.媒体预览播放位置的选择。

10.导出开始的选择和取消。

11.导出媒体社交分享平台的选择。

12.配乐的选择。

13.实时配音的控制。

14.前后台操作切换。

其中，所述指尖滑动可对应如下操作：

1.媒体对象列表的缩略索引的快速浏览。

2.字幕颜色索引的快速浏览。

3.媒体对象的位置挪动。

4.媒体对象的删除。

5.字幕大小的快速选择。

6.字幕显示位置的选择。

7.字幕持续时间的选择。

8.表情大小的快速选择。

9.表情显示位置的快速选择。

10.表情持续时间的选择。

11.媒体剪切起止位置的快速选择。

如上所述，本发明一种基于移动平台的视频美化交互体验系统与现有技术比较具有：

1.省却预处理

现行市场上的视频编辑美化软件前期都有一个将输入视频转码成特定格式的过程。这样做的弊端是增加了中间操作过程，特别是当输入视频时长比较大时会增加视频转码的时间。而本发明则省去了这一过程，输入的视频可以直接进入编辑状态。简化了操作过程，节省了操作时间。

2.支持输出高分辨率的导出视频，提升导出视频的品质

现行市场上的视频编辑美化软件由于前期都有一个将输入视频转码成特定格式的过程，为了减少当中的转码时间，往往会降低输入视频转码后的输出分辨率，影响了画质。而本发明由于没有这一中间过程，所以输出视频的分辨率是可变的，完全可以支持输出高画质的视频。

3.通过简单的交互流程完成复杂的音视频美化操作

现行移动平台的输入方式大多是采用手指触摸方式，针对此特点，本发明根据手指触摸的操作特点对应用的交互方式进行了特殊优化，使用简单直观的操作交互方式就能完成复杂的视频美化操作。

4.提供后台操作模式

可以将复杂耗时的美化任务切换至后台执行，让用户可以在前台继续操作别的应用，避免了乏味的任务执行中的等待，提升了操作体验。

5.采用所见即所得的音视频编辑引擎

所有媒体元素都可以在编辑界面内进行增、删、改的编辑操作和即时效果预览。

6.采用即时保存用户编辑媒体的操作纪录的机制，将其自动存储在草稿箱中。有了这个草稿箱，用户可以随时回溯前期媒体编辑的纪录。

附图说明

图1为本发明一种基于移动平台的视频美化交互体验系统连接框图；

图2为本发明的视频美化交互流程框图；

图3为本发明的音乐相册功能框架示意图；

图4为本发明的视频编辑功能框架示意图；

图5为本发明的混合编辑功能框架示意图。

标记号说明：

界面设计：1；引擎模块：2；功能模式：3；交互流程：4；

渲染引擎：21；编解码引擎：22；第一视频解码：221、第二视频解码：222、视频编码：223；转场特效23；.滤镜特效24；媒体播放引擎：25；原音以及配音和配乐：26；音画分离27；音频转码28；音画合成29；

音乐相册编辑模块：31；视频编辑模块：32；混合编辑模块：33；

点击：41；滑动：42.

具体实施方式

以下结合附图和实施例对本发明作进一步的描述

本发明基于硬件环境：CPU酷睿22.0G内存4G硬盘1TB和软件环境：运行Windows XP或Win 7的操作系统，java和C开发和编辑环境采用Eclipse集成开发环境。底层动态库编译环境采用Cygwin。

本发明一种基于移动平台的视频美化交互体验系统(如附图1所示)，包括：界面设计1，视频美化引擎模块2，功能模式3及交互流程4以视频信号方式连接。

所述交互流程4(如附图2所示)，设计移动平台的输入激励来自于指尖的点击41和指尖的滑动42。

其步骤如：

通过主界面设计1功能按钮面板，点击41美化视频。

下一步，自动搜索视频或图片目录并以缩略图列表显示，滑动42浏览并指尖点击41进入特定目录。

下一步，视频目录中的内容通过缩略图列表显示，在缩略图中会以小图标标明该文件属性(视频或图片)，使用户一目了然。

下一步，点击41两次点击完成精确媒体搜索。

下一步，点击41点选特定图片或视频，在右下方选择栏中会出现对应文件，可以选多个文件，重复点击41点选可以去选择，长按选择栏在特定对象中心会出现垃圾桶将此对象拖至其中可以从编辑列表中删除此对象，也可通过拖动改变此对象在编辑列表中的位置。

下一步，点击41选择栏边上的确认按钮进入编辑模式，在该模式中可以预览或编辑。

下一步，点击41字幕，输入字幕内容，滑动42滑动颜色索引色块选择颜色；滑动42字体大小确定字体大小；拖动字幕持续时间起止点；拖移字幕确定显示位置。

下一步，或点击41配乐，滑动42配乐索引缩略图并选择，滑动42特定媒体的起止点剪切音频。

下一步，或点击41滤镜特效，滑动42特效索引缩略图选择特效。

下一步，或点击41转场特效，滑动42特效索引缩略图选择特效。

下一步，或点击41表情，滑动42表情索引缩略图并选择，拖动特定表情的位置，缩放大小和旋转。

下一步，或点击41手绘，选择图片或视频，在其上完成手绘各种滑动42。

下一步，或点击41剪切，滑动42媒体起止点剪切视频。

下一步，点击41导出，显示导出进度条，在导出过程中，可以切换至后台，也可以提前终止。

其中，指尖点击41可对应如下操作：

a.媒体对象的选择或去选择。

b.操作界面间的跳转。

c.媒体对象的播放或暂停。

d.信息栏的显示和消隐。

e.字幕色彩的选择。

f.表情的选择。

g.转场特效的选择。

h.特效滤镜的选择。

i.媒体预览播放位置的选择。

j.导出开始的选择和取消。

k.导出媒体社交分享平台的选择。

l.配乐的选择。

n.实时配音的控制。

m.前后台操作切换。

其中，指尖滑动42可对应如下操作：

a.媒体对象列表的缩略索引的快速浏览。

b.字幕颜色索引的快速浏览。

c.媒体对象的位置挪动。

d.媒体对象的删除。

e.字幕大小的快速选择。

f.字幕显示位置的选择。

g.字幕持续时间的选择。

h.表情大小的快速选择。

i.表情显示位置的快速选择。

j.表情持续时间的选择。

K.媒体剪切起止位置的快速选择。

所述界面设计1原则

移动平台的界面内容呈现也遵循智能简单和高效的原则，尽量减少交互的次数。

本发明对媒体对象的选择操作时，系统分出两步操作来完成，第一步是对整个系统内的媒体目录进行全搜索，然后以缩略图索引的列表显示出来，用户可以通过滑动来快速浏览同时也可以通过点击来进入特定目录里浏览。第二步就是对特定媒体目录中的内容同样以缩略图索引列表的方式显示出来，同时对于属于视频的缩略图打上摄像头图标和时长的标记，方便用户区分图片和视频。

所有的媒体特效操作实施以后可以立即在预览媒体中看到效果并且和导出后的效果完全相同，所见即所得。

在媒体对象导出时会实时显示进度条，方便用户跟踪操作的进程。同时在导出时还增加了后台切换功能按钮，使用户无需等待去执行其他应用操作。

所述视频美化引擎2

采用的底层视频美化引擎采用模块化设计，同时又具有灵活和可扩展的框架结构，可以满足多样化的视频美化需求。

本发明基于两大引擎整合而成，一个是图形渲染引擎21；另一个则是视频编解码引擎22。

所述渲染引擎21

渲染引擎21基于opengl ES 2.0标准来开发。这部分运算在GPU中完成，通过系统显卡的强大运算功能，可以快速地完成图片序列的各种复杂的渲染效果。目前提供的功能主要包括：

图片、字幕、表情和手绘元素分层叠加。

字幕、表情和手绘元素的移动、缩放和旋转。

转场特效23叠加。

滤镜特效24叠加。

编辑预览。

编辑导出。

所述视频编解码引擎22

视频编解码引擎22分为第一视频解码221，第二视频解码222和视频编码223两大部分。其中，第一视频解码221位于渲染引擎21的前端，用于输入视频数据解码；第二视频解码222也位于渲染引擎21前端，用于动态表情数据解码，两者均提供给渲染引擎21作为输入源；视频编码223位于渲染引擎21后端，用于将渲染引擎21输出的视频帧编码，同时叠加上相应的音频。它们主要完成：

输入第一视频解码221。

输入动态表情第二视频解码222。

输出视频编码223。

输入视频音画分离27。

输出音频转码28。

输出音视频合成29。

所述功能模块3，按应用场景来分类：音乐相册模式31，视频编辑模式32，混合编辑模式33。

所述音乐相册模式31

该模式下输入不包含视频，其功能框架示意图(如附图3所示)

该模式下输入元素如视频序列，字幕，手绘和静态表情，除动态表情需要解码外，其它都直接输入至基于opengl的渲染引擎21分层叠加；

渲染引擎21再按照控制参数逻辑对其进行转场特效23和滤镜特效24处理，然后按固定帧率输出渲染视频帧。

当视频预览时，渲染引擎21输出的视频帧直接输出至媒体播放引擎25实时播放，同时配音和配乐26也输入至媒体播放引擎25同步播放。

当视频导出时，渲染引擎21输出的视频帧直接编码，然后和输入的配音或配乐26进行音画合成29导出。

所述视频编辑模式32

该模式下输入不包含图片，其功能框架示意图(如附图4所示)

该模式下输入元素如字幕或输入手绘或输入静态表情，除动态表情和输入视频序列需要解码外，其它都直接输入至渲染引擎分层叠加，渲染引擎再按照控制参数逻辑对其进行转场和滤镜特效处理，然后按固定帧率输出渲染视频帧。

当视频预览时，渲染引擎21输出的视频帧直接输出至媒体播放引擎25实时播放，同时输入视频中的原音以及配音和配乐26也输入至媒体播放引擎25同步播放。

当视频导出时，渲染引擎输出的视频帧直接编码，然后和输入视频经音画分离27和音频转码28后的视频原音编码数据，输入的配音或配乐26进行音画合成29导出。

所述混合编辑模式33

该模式下输入元素没有限制，可以是图片，也可以是视频。其功能框架示意图(如附图5所示)

该模式下输入元素动态表情和输入视频需要首先解码，而其它输入元素则直接输入至渲染引擎21分层叠加，渲染引擎再按照控制参数逻辑对其进行转场特效23和滤镜特效24处理，然后按固定帧率输出渲染视频帧。

当视频预览时，渲染引擎21输出的视频帧直接输出至媒体播放引擎25实时播放，同时输入视频中的原音以及配音和配乐26也输入至媒体播放引擎25同步播放。

当视频导出时，渲染引擎21输出的视频帧直接视频编码223，然后和输入视频经音画分离27和音频转码28后的视频原音编码数据，输入的配音或配乐26进行音画合成29导出。

本发明实施例，音乐相册31用于完成多张照片拼接的功能，在编辑中，可以添加背景音乐或配音；添加字幕，添加滤镜及转场特效。

其操作步骤：

点击41主界面的音乐相册31按钮后，将按两极菜单来显示图片，第一级出现的是按时间排列的图片目录选择窗口，第二级出现的则是特定目录下按日期排列的图片选择窗口。

进入音乐相册31主界面后，点击41选上方的转场特效按钮(胶片标记)在屏幕下方会弹出一排转场特效效果图供选择。它们包括百叶窗，淡入淡出，缩小，推出，闪白，和闪黑。

转场特效23是指在两个媒体片段间加入一个过渡的渐变特效，这样制作出来的相册会更加生动美观。

最后，点击41选上方的配乐按钮，从内置配乐或本机音乐26中选择一段作为背景音乐。可以滑动42起始和终止点截取一段音乐片段，并按+确认。

点击41选右上方的导出按钮开始音乐相册导出，视频导出时有简明的进度条提示。

视频导出后可以选择分享，采用国际版支持主流的youtube、Instagram和facebook。国内版支持主流的微信，优酷等平台。

综上所述，本发明一种基于移动平台的视频美化交互体验系统与现有技术比较具有：简化了操作过程，节省了操作时间。支持输出高分辨率的导出视频，提升导出视频的品质。通过简单的交互完流程成复杂的音视频美化操作。提供后台操作模式，提升了操作体验。采用所见即所得的音视频编辑引擎获得即时效果预览。采用即时保存用户编辑媒体的操作纪录的机制，方便用户可以随时回溯前期媒体编辑的纪录等。上述种种，为适应在移动平台视频领域，年轻的手机拍摄爱好者对后期素材进行修饰和美化的强烈需求，开拓移动平台视频领域市场应用广阔前景的进一步需要，基于手机照片的编辑美化软件日趋完善基础上，提供了技术物质基础。

Claims (1)

1.一种应用于移动平台的视频美化交互体验系统的方法，其特征在于，包括：

步骤A,分步操作选择媒体对象,包括，

第一步，对整个系统内的媒体目录，用户通过指尖滑动快速浏览，同时通过指尖点击进入特定目录里浏览，实现全搜索，以缩略图索引列表的方式显示；

第二步，对特定媒体目录中的内容，以缩略图索引列表的方式显示，同时为方便用户区分图片和视频，对于视频缩略图打上摄像头图标和时长的标记；

步骤B，在所有媒体特效操作实施后，立即在预览媒体中看到视频效果，并且在预览媒体中看到的视频效果与导出后的视频效果完全相同，所见即所得；

步骤C，提供片头和片尾的特效以及带有动画效果的字幕；

步骤D，在媒体对象导出时实时显示进度条，同时在导出时增加后台切换功能按钮；

所述视频美化交互体验系统包括视频美化引擎模块和功能模式，所述视频美化引擎模块又包括图形渲染引擎和编解码引擎，

所述功能模式，包括音乐相册模式、视频编辑模式、混合编辑模式；

所述渲染引擎，基于opengl ES 2.0标准开发，在GPU中完成， 提供包括：视频序列、图片、字幕、表情和手绘诸元素分层叠加功能；字幕、表情和手绘诸元素的移动、缩放和旋转；转场特效叠加；滤镜特效叠加；编辑预览；编辑导出；

所述编解码引擎包括第一视频解码，第二视频解码和视频编码，其中，第一视频解码位于渲染引擎的前端，用于输入视频数据解码；第二视频解码也位于渲染引擎前端，用于动态表情数据解码，两者均提供给渲染引擎作为输入源；视频编码位于渲染引擎后端，用于将渲染引擎输出的视频帧编码，输入视频音画分离；输出音频转码；输出音视频合成，

所述音乐相册模式，在该模式下，输入元素除动态表情需要解码外，其它元素都直接输入至渲染引擎分层叠加，渲染引擎再按照控制参数逻辑对其进行转场特效和滤镜特效处理，然后按固定帧率输出渲染视频帧；

当视频预览时，渲染引擎输出的视频直接输出至媒体播放引擎实时播放，同时配音和配乐也输入至媒体播放引擎同步播放；

当视频导出时，渲染引擎输出的视频帧直接编码，然后和输入视频音画分离后的视频原音和输入配音或配乐进行音画合成导出；

所述视频编辑模式，该模式下，输入元素除动态表情和输入视频需要解码外，其它元素都直接输入至渲染引擎分层叠加，渲染引擎再按照控制参数逻辑对其进行转场特效和滤镜特效处理，然后按固定帧率输出渲染视频帧；

所述混合编辑模式，该模式下，输入元素没有限制，可以是图片， 也可以是视频，该模式下输入元素动态表情和输入视频需要首先解码，而其它输入元素则直接输入至渲染引擎分层叠加，渲染引擎再按照控制参数逻辑对其进行转场特效和滤镜特效处理，然后按固定帧率输出渲染视频帧，

指尖点击包括如下操作：

媒体对象的选择或去选择；操作界面间的跳转；媒体对象的播放或暂停；信息栏的显示和消隐；字幕色彩的选择；表情的选择；转场特效的选择；特效滤镜的选择；媒体预览播放位置的选择；导出开始的选择和取消；导出媒体社交分享平台的选择；配乐的选择；实时配音的控制；前后台操作切换；

指尖点击音乐相册按钮后，将按两级菜单来显示图片，第一级出现的是按时间排列的图片目录选择窗口，第二级出现的则是特定目录下按日期排列的图片选择窗口，

进入音乐相册主界面后，指尖点击选转场特效按钮，在屏幕下方会弹出一排转场特效效果图供选择，包括百叶窗、淡入淡出、缩小、推出、闪白和闪黑，

指尖点击选配乐按钮，从内置配乐或本机音乐中选择一段作为背景音乐，通过指尖滑动选择起始和终止点截取一段音乐片段，并按+确认，

指尖点击选导出按钮开始音乐相册导出，视频导出时有简明的进度条提示，

指尖滑动还包括如下操作：

媒体对象列表的缩略索引的快速浏览；字幕颜色索引的快速浏览；媒体对象的位置挪动；媒体对象的删除；字幕大小的快速选择；字幕显示位置的选择；字幕持续时间的选择；表情大小的快速选择；表情显示位置的快速选择；表情持续时间的选择；媒体剪切起止位置的快速选择。