CN104540028A - 一种基于移动平台的视频美化交互体验系统 - Google Patents
一种基于移动平台的视频美化交互体验系统 Download PDFInfo
- Publication number
- CN104540028A CN104540028A CN201410840541.5A CN201410840541A CN104540028A CN 104540028 A CN104540028 A CN 104540028A CN 201410840541 A CN201410840541 A CN 201410840541A CN 104540028 A CN104540028 A CN 104540028A
- Authority
- CN
- China
- Prior art keywords
- video
- engine
- selection
- input
- media
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 19
- 239000000203 mixture Substances 0.000 claims abstract description 4
- 230000014509 gene expression Effects 0.000 claims description 29
- 230000007704 transition Effects 0.000 claims description 20
- 230000000694 effects Effects 0.000 claims description 15
- 238000009795 derivation Methods 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 238000009877 rendering Methods 0.000 claims description 5
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000011161 development Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 9
- 239000000463 material Substances 0.000 abstract description 3
- 230000000638 stimulation Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000782220 Khadia media Species 0.000 description 1
- 240000006694 Stellaria media Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明一种基于移动平台的视频美化交互体验系统，涉及视频技术领域。系统包括界面设计(1)，视频美化引擎模块(2)，功能模式(3)及交互流程(4)以视频信号方式连接。本发明系统所述界面设计原则是移动平台的界面内容呈现也遵循智能简单和高效的原则，尽量减少交互的次数。所述视频美化引擎，采用的底层视频美化引擎采用模块化设计，同时又具有灵活和可扩展的框架结构，以满足多样化的视频美化需求。所述功能模式，按应用场景来分类包括音乐相册模式，视频编辑模式，混合编辑模式。所述交互流程，设计移动平台的输入激励来自于指尖点击和指尖滑动。上述种种，为适应在移动平台视频领域，进一步编辑美化的市场需求提供了技术物质基础。
Description
技术领域
本发明涉及视频技术领域，具体指一种基于移动平台的视频美化交互体验系统。
背景技术
近年来，手机功能的进化为移动平台媒体的诞生铺平了道路。鉴于智能手机等移动平台，互动性更强，使用者扮演了双重角色——既是视频媒体的消费者，又是贡献者。尤其随着手机拍摄硬件的飞速提升，卡片式数码相机逐渐被手机取代。手机拍摄的用户特别是年龄较轻的手机拍摄爱好者逐年递增。由于视频美化操作和运算的复杂性，现行市场上的视频编辑美化软件，前期都存在一个将输入视频转码成特定格式的过程，为了减少转码时间，往往以降低输入视频转码后的输出分辨率，从而影响了画质，同时移动平台的输入方式大多是采用手指触摸方式。因此，不能适应日益发展的市场的需求。
发明内容
本发明的目的在于克服现有技术存在的缺失和不足，提出一种基于移动平台的视频美化交互体验系统，包括：界面设计，视频美化引擎模块，功能模式及交互流程以视频信号方式连接。
一、所述界面设计原则：
移动平台的界面内容呈现也遵循智能简单和高效的原则，尽量减少交互的次数。
本发明对媒体对象的选择操作时，系统分两步操作来完成，第一步是对整个系统内的媒体目录进行全搜索，然后以缩略图索引的列表显示出来，用户可以通过滑动来快速浏览同时也可以通过点击来进入特定目录里浏览。第二步就是对特定媒体目录中的内容同样以缩略图索引列表的方式显示出来，同时对于属于视频的缩略图打上摄像头图标和时长的标记，方便用户区分图片和视频。
所有的媒体特效操作实施以后可以立即在预览媒体中看到效果并且和导出后的效果完全相同，所见即所得。
在媒体对象导出时会实时显示进度条，方便用户跟踪操作的进程。同时在导出时还增加了后台切换功能按钮，使用户无需等待去执行其他应用操作。
二、所述视频美化引擎：采用的底层视频美化引擎采用模块化设计，同时又具有灵活和可扩展的框架结构，可以满足多样化的视频美化需求。
本发明基于两大引擎整合而成，一个是图形渲染引擎；另一个则是视频编解码引擎。
所述渲染引擎：
渲染引擎基于opengl ES 2.0标准来开发。这部分运算在GPU中完成，通过系统显卡的强大运算功能，可以快速地完成图片序列的各种复杂的渲染效果。目前提供的功能主要包括：
1.图片、字幕、表情和手绘元素分层叠加。
2.字幕、表情和手绘元素的移动、缩放和旋转。
3.转场特效叠加。
4.滤镜特效叠加。
5.编辑预览。
6.编辑导出。
所述视频编解码引擎：
视频编解码引擎分为视频解码引擎和视频编码引擎两大部分，其中视频解码引擎位于渲染引擎的前端，用于解码输入视频数据和动态表情数据提供给渲染引擎作为输入源；视频编码引擎位于后端，用于将渲染引擎输出的视频帧编码，同时叠加上相应的音频。它们主要完成：
1.输入视频解码。
2.输入动态表情解码。
3.输出视频编码。
4.输入视频音画分离。
5.输出音频转码和拼接。
6.输出音视频合成。
三、所述功能模式，按应用场景来分类：音乐相册模式，视频编辑模式，混合编辑模式。其中，
所述音乐相册模式：
该模式下输入不包含视频。
该模式下输入元素除动态表情需要视频解码外，其它都直接输入至渲染引擎分层叠加，渲染引擎再按照控制参数逻辑对其进行转场和滤镜特效处理，然后按固定帧率输出渲染视频帧。
当视频预览时，渲染引擎输出的视频帧直接输出至媒体播放引擎实时播放，同时配音和配乐也输入至媒体播放引擎同步播放。
当视频导出时，渲染引擎输出的视频帧直接编码，然后和输入的配音或配乐进行音画合成导出。
所述视频编辑模式：
该模式下输入不包含图片。
该模式下输入元素除动态表情和输入视频序列需要解码外，其它都直接输入至渲染引擎分层叠加，渲染引擎再按照控制参数逻辑对其进行转场和滤镜特效处理，然后按固定帧率输出渲染视频帧。
当视频预览时，渲染引擎输出的视频帧直接输出至媒体播放引擎实时播放，同时输入视频中的原音以及配音和配乐也输入至媒体播放引擎同步播放。
当视频导出时，渲染引擎输出的视频帧直接编码，然后和输入视频经音画分离和音频转码后的视频原音编码数据，输入配音或配乐进行音画合成导出。
所述混合编辑模式：
该模式下输入元素没有限制，可以是图片，也可以是视频。
四、所述交互流程，设计移动平台的输入激励来自于指尖点击和指尖滑动。
其中，所述指尖点击可对应如下操作：
1.媒体对象的选择或去选择。
2.操作界面间的跳转。
3.媒体对象的播放或暂停。
4.信息栏的显示和消隐。
5.字幕色彩的选择。
6.表情的选择。
7.转场特效的选择。
8.特效滤镜的选择。
9.媒体预览播放位置的选择。
10.导出开始的选择和取消。
11.导出媒体社交分享平台的选择。
12.配乐的选择。
13.实时配音的控制。
14.前后台操作切换。
其中，所述指尖滑动可对应如下操作：
1.媒体对象列表的缩略索引的快速浏览。
2.字幕颜色索引的快速浏览。
3.媒体对象的位置挪动。
4.媒体对象的删除。
5.字幕大小的快速选择。
6.字幕显示位置的选择。
7.字幕持续时间的选择。
8.表情大小的快速选择。
9.表情显示位置的快速选择。
10.表情持续时间的选择。
11.媒体剪切起止位置的快速选择。
如上所述，本发明一种基于移动平台的视频美化交互体验系统与现有技术比较具有：
1.省却预处理
现行市场上的视频编辑美化软件前期都有一个将输入视频转码成特定格式的过程。这样做的弊端是增加了中间操作过程，特别是当输入视频时长比较大时会增加视频转码的时间。而本发明则省去了这一过程，输入的视频可以直接进入编辑状态。简化了操作过程，节省了操作时间。
2.支持输出高分辨率的导出视频，提升导出视频的品质
现行市场上的视频编辑美化软件由于前期都有一个将输入视频转码成特定格式的过程，为了减少当中的转码时间，往往会降低输入视频转码后的输出分辨率，影响了画质。而本发明由于没有这一中间过程，所以输出视频的分辨率是可变的，完全可以支持输出高画质的视频。
3.通过简单的交互流程完成复杂的音视频美化操作
现行移动平台的输入方式大多是采用手指触摸方式，针对此特点，本发明根据手指触摸的操作特点对应用的交互方式进行了特殊优化，使用简单直观的操作交互方式就能完成复杂的视频美化操作。
4.提供后台操作模式
可以将复杂耗时的美化任务切换至后台执行，让用户可以在前台继续操作别的应用，避免了乏味的任务执行中的等待，提升了操作体验。
5.采用所见即所得的音视频编辑引擎
所有媒体元素都可以在编辑界面内进行增、删、改的编辑操作和即时效果预览。
6.采用即时保存用户编辑媒体的操作纪录的机制，将其自动存储在草稿箱中。有了这个草稿箱，用户可以随时回溯前期媒体编辑的纪录。
附图说明
图1为本发明一种基于移动平台的视频美化交互体验系统连接框图；
图2为本发明的视频美化交互流程框图；
图3为本发明的音乐相册功能框架示意图；
图4为本发明的视频编辑功能框架示意图；
图5为本发明的混合编辑功能框架示意图。
标记号说明：
界面设计：1；引擎模块：2；功能模式：3；交互流程：4；
渲染引擎：21；编解码引擎：22；第一视频解码：221、第二视频解码：222、视频编码：223；转场特效23；.滤镜特效24；媒体播放引擎：25；原音以及配音和配乐：26；音画分离27；音频转码28；音画合成29；
音乐相册编辑模块：31；视频编辑模块：32；混合编辑模块：33；
点击：41；滑动：42.
具体实施方式
以下结合附图和实施例对本发明作进一步的描述
本发明基于硬件环境：CPU酷睿22.0G内存4G硬盘1TB和软件环境：运行Windows XP或Win 7的操作系统，java和C开发和编辑环境采用Eclipse集成开发环境。底层动态库编译环境采用Cygwin。
本发明一种基于移动平台的视频美化交互体验系统(如附图1所示)，包括：界面设计1，视频美化引擎模块2，功能模式3及交互流程4以视频信号方式连接。
所述交互流程4(如附图2所示)，设计移动平台的输入激励来自于指尖的点击41和指尖的滑动42。
其步骤如：
通过主界面设计1功能按钮面板，点击41美化视频。
下一步，自动搜索视频或图片目录并以缩略图列表显示，滑动42浏览并指尖点击41进入特定目录。
下一步，视频目录中的内容通过缩略图列表显示，在缩略图中会以小图标标明该文件属性(视频或图片)，使用户一目了然。
下一步，点击41两次点击完成精确媒体搜索。
下一步，点击41点选特定图片或视频，在右下方选择栏中会出现对应文件，可以选多个文件，重复点击41点选可以去选择，长按选择栏在特定对象中心会出现垃圾桶将此对象拖至其中可以从编辑列表中删除此对象，也可通过拖动改变此对象在编辑列表中的位置。
下一步，点击41选择栏边上的确认按钮进入编辑模式，在该模式中可以预览或编辑。
下一步，点击41字幕，输入字幕内容，滑动42滑动颜色索引色块选择颜色；滑动42字体大小确定字体大小；拖动字幕持续时间起止点；拖移字幕确定显示位置。
下一步，或点击41配乐，滑动42配乐索引缩略图并选择，滑动42特定媒体的起止点剪切音频。
下一步，或点击41滤镜特效，滑动42特效索引缩略图选择特效。
下一步，或点击41转场特效，滑动42特效索引缩略图选择特效。
下一步，或点击41表情，滑动42表情索引缩略图并选择，拖动特定表情的位置，缩放大小和旋转。
下一步，或点击41手绘，选择图片或视频，在其上完成手绘各种滑动42。
下一步，或点击41剪切，滑动42媒体起止点剪切视频。
下一步，点击41导出，显示导出进度条，在导出过程中，可以切换至后台，也可以提前终止。
其中，指尖点击41可对应如下操作：
a.媒体对象的选择或去选择。
b.操作界面间的跳转。
c.媒体对象的播放或暂停。
d.信息栏的显示和消隐。
e.字幕色彩的选择。
f.表情的选择。
g.转场特效的选择。
h.特效滤镜的选择。
i.媒体预览播放位置的选择。
j.导出开始的选择和取消。
k.导出媒体社交分享平台的选择。
l.配乐的选择。
n.实时配音的控制。
m.前后台操作切换。
其中，指尖滑动42可对应如下操作：
a.媒体对象列表的缩略索引的快速浏览。
b.字幕颜色索引的快速浏览。
c.媒体对象的位置挪动。
d.媒体对象的删除。
e.字幕大小的快速选择。
f.字幕显示位置的选择。
g.字幕持续时间的选择。
h.表情大小的快速选择。
i.表情显示位置的快速选择。
j.表情持续时间的选择。
K.媒体剪切起止位置的快速选择。
所述界面设计1原则
移动平台的界面内容呈现也遵循智能简单和高效的原则，尽量减少交互的次数。
本发明对媒体对象的选择操作时，系统分出两步操作来完成，第一步是对整个系统内的媒体目录进行全搜索，然后以缩略图索引的列表显示出来，用户可以通过滑动来快速浏览同时也可以通过点击来进入特定目录里浏览。第二步就是对特定媒体目录中的内容同样以缩略图索引列表的方式显示出来，同时对于属于视频的缩略图打上摄像头图标和时长的标记，方便用户区分图片和视频。
所有的媒体特效操作实施以后可以立即在预览媒体中看到效果并且和导出后的效果完全相同，所见即所得。
在媒体对象导出时会实时显示进度条，方便用户跟踪操作的进程。同时在导出时还增加了后台切换功能按钮，使用户无需等待去执行其他应用操作。
所述视频美化引擎2
采用的底层视频美化引擎采用模块化设计，同时又具有灵活和可扩展的框架结构，可以满足多样化的视频美化需求。
本发明基于两大引擎整合而成，一个是图形渲染引擎21；另一个则是视频编解码引擎22。
所述渲染引擎21
渲染引擎21基于opengl ES 2.0标准来开发。这部分运算在GPU中完成，通过系统显卡的强大运算功能，可以快速地完成图片序列的各种复杂的渲染效果。目前提供的功能主要包括：
图片、字幕、表情和手绘元素分层叠加。
字幕、表情和手绘元素的移动、缩放和旋转。
转场特效23叠加。
滤镜特效24叠加。
编辑预览。
编辑导出。
所述视频编解码引擎22
视频编解码引擎22分为第一视频解码221，第二视频解码222和视频编码223两大部分。其中，第一视频解码221位于渲染引擎21的前端，用于输入视频数据解码；第二视频解码222也位于渲染引擎21前端，用于动态表情数据解码，两者均提供给渲染引擎21作为输入源；视频编码223位于渲染引擎21后端，用于将渲染引擎21输出的视频帧编码，同时叠加上相应的音频。它们主要完成：
输入第一视频解码221。
输入动态表情第二视频解码222。
输出视频编码223。
输入视频音画分离27。
输出音频转码28。
输出音视频合成29。
所述功能模块3，按应用场景来分类：音乐相册模式31，视频编辑模式32，混合编辑模式33。
所述音乐相册模式31
该模式下输入不包含视频，其功能框架示意图(如附图3所示)
该模式下输入元素如视频序列，字幕，手绘和静态表情，除动态表情需要解码外，其它都直接输入至基于opengl的渲染引擎21分层叠加；
渲染引擎21再按照控制参数逻辑对其进行转场特效23和滤镜特效24处理，然后按固定帧率输出渲染视频帧。
当视频预览时，渲染引擎21输出的视频帧直接输出至媒体播放引擎25实时播放，同时配音和配乐26也输入至媒体播放引擎25同步播放。
当视频导出时，渲染引擎21输出的视频帧直接编码，然后和输入的配音或配乐26进行音画合成29导出。
所述视频编辑模式32
该模式下输入不包含图片，其功能框架示意图(如附图4所示)
该模式下输入元素如字幕或输入手绘或输入静态表情，除动态表情和输入视频序列需要解码外，其它都直接输入至渲染引擎分层叠加，渲染引擎再按照控制参数逻辑对其进行转场和滤镜特效处理，然后按固定帧率输出渲染视频帧。
当视频预览时，渲染引擎21输出的视频帧直接输出至媒体播放引擎25实时播放，同时输入视频中的原音以及配音和配乐26也输入至媒体播放引擎25同步播放。
当视频导出时，渲染引擎输出的视频帧直接编码，然后和输入视频经音画分离27和音频转码28后的视频原音编码数据，输入的配音或配乐26进行音画合成29导出。
所述混合编辑模式33
该模式下输入元素没有限制，可以是图片，也可以是视频。其功能框架示意图(如附图5所示)
该模式下输入元素动态表情和输入视频需要首先解码，而其它输入元素则直接输入至渲染引擎21分层叠加，渲染引擎再按照控制参数逻辑对其进行转场特效23和滤镜特效24处理，然后按固定帧率输出渲染视频帧。
当视频预览时，渲染引擎21输出的视频帧直接输出至媒体播放引擎25实时播放，同时输入视频中的原音以及配音和配乐26也输入至媒体播放引擎25同步播放。
当视频导出时，渲染引擎21输出的视频帧直接视频编码223，然后和输入视频经音画分离27和音频转码28后的视频原音编码数据，输入的配音或配乐26进行音画合成29导出。
本发明实施例，音乐相册31用于完成多张照片拼接的功能，在编辑中，可以添加背景音乐或配音；添加字幕，添加滤镜及转场特效。
其操作步骤：
点击41主界面的音乐相册31按钮后，将按两极菜单来显示图片，第一级出现的是按时间排列的图片目录选择窗口，第二级出现的则是特定目录下按日期排列的图片选择窗口。
进入音乐相册31主界面后，点击41选上方的转场特效按钮(胶片标记)在屏幕下方会弹出一排转场特效效果图供选择。它们包括百叶窗，淡入淡出，缩小，推出，闪白，和闪黑。
转场特效23是指在两个媒体片段间加入一个过渡的渐变特效，这样制作出来的相册会更加生动美观。
最后，点击41选上方的配乐按钮，从内置配乐或本机音乐26中选择一段作为背景音乐。可以滑动42起始和终止点截取一段音乐片段，并按+确认。
点击41选右上方的导出按钮开始音乐相册导出，视频导出时有简明的进度条提示。
视频导出后可以选择分享，采用国际版支持主流的youtube、Instagram和facebook。国内版支持主流的微信，优酷等平台。
综上所述，本发明一种基于移动平台的视频美化交互体验系统与现有技术比较具有：简化了操作过程，节省了操作时间。支持输出高分辨率的导出视频，提升导出视频的品质。通过简单的交互完流程成复杂的音视频美化操作。提供后台操作模式，提升了操作体验。采用所见即所得的音视频编辑引擎获得即时效果预览。采用即时保存用户编辑媒体的操作纪录的机制，方便用户可以随时回溯前期媒体编辑的纪录等。上述种种，为适应在移动平台视频领域，年轻的手机拍摄爱好者对后期素材进行修饰和美化的强烈需求，开拓移动平台视频领域市场应用广阔前景的进一步需要，基于手机照片的编辑美化软件日趋完善基础上，提供了技术物质基础。
Claims (4)
1.一种基于移动平台的视频美化交互体验系统，包括界面设计(1)，视频美化引擎模块(2)，功能模式(3)及交互流程(4)以视频信号方式连接，其特征在于，所述界面设计(1)包括：
A.分步操作选择媒体对象
第一步对整个系统内的媒体目录，用户通过指尖滑动快速浏览，同时通过指尖点击进入特定目录里浏览，实现全搜索，以缩略图索引列表的方式显示；
第二步对特定媒体目录中的内容，以缩略图索引列表的方式显示，同时方便用户区分图片和视频，对于视频缩略图打上摄像头图标和时长的标记；
B.在所有媒体特效操作实施后，立即在预览媒体中看到视频效果并且与导出后的视频效果完全相同，所见即所得；
C.提供片头和片尾的特效以及带有动画效果的字幕；
D.在媒体对象导出时实时显示进度条，同时在导出时增加后台切换功能按钮；
所述视频美化引擎模块(2)，包括图形渲染引擎(21)和编解码引擎(22)；
所述功能模式(3)，包括音乐相册模式(31)，视频编辑模式(32)，混合编辑模式(33)；
所述交互流程(4)，移动平台的输入激励来自于指尖点击(41)和指尖滑动(42)。
2.如权利要求1所述的一种基于移动平台的视频美化交互体验系统，其特征在于，所述渲染引擎(21)，基于opengl ES 2.0标准开发，在GPU中完成，提供包括：视频序列、图片、字幕、表情和手绘诸元素分层叠加功能；字幕、表情和手绘诸元素的移动、缩放和旋转；转场特效(23)叠加；滤镜特效(24)叠加；编辑预览；编辑导出；
所述编解码引擎(22)包括第一视频解码(221)，第二视频解码(222)和视频编码(223)，其中，第一视频解码(221)位于渲染引擎(21)的前端，用于输入视频数据解码；第二视频解码(222)也位于渲染引擎(21)前端，用于动态表情数据解码，两者均提供给渲染引擎(21)作为输入源；视频编码(223)位于渲染引擎(21)后端，用于将渲染引擎(21)输出的视频帧编码，输入视频音画分离(27)；输出音频转码(28)；输出音视频合成(29)。
3.如权利要求1所述的一种基于移动平台的视频美化的交互体验系统，其特征在于，所述渲染音乐相册模式(31)，该模式下输入元素除动态表情需要解码外，其它都直接输入至渲染引擎(21)分层叠加，渲染引擎(21)再按照控制参数逻辑对其进行转场特效(23)和滤镜特效(24)处理，然后按固定帧率输出渲染视频帧；
当视频预览时，渲染引擎(21)输出的视频直接输出至媒体播放引擎(25)实时播放，同时配音和配乐(26)也输入至媒体播放引擎(25)同步播放；
当视频导出时，渲染引擎(21)输出的视频帧直接编码，然后和输入视频音画分离(27)后的视频原音和输入配音或配乐(26)进行音画合成(29)导出；
所述视频编辑模式(32)该模式下输入元素除动态表情和输入视频需要解码外，其它都直接输入至渲染引擎(21)分层叠加，渲染引擎(21)再按照控制参数逻辑对其进行转场特效(23)和滤镜特效(24)处理，然后按固定帧率输出渲染视频帧；
当视频预览时，渲染引擎(21)输出的视频帧直接输出至媒体播放引擎(25)实时播放，同时输入视频中的原音以及配音和配乐也输入至媒体播放引擎(25)同步播放；
当视频导出时，渲染引擎输出的视频帧直接编码，然后和输入视频经音画分离(27)和音频转码(28)后的视频原音编码数据，输入的配音或配乐(26)进行音画合成(29)导出；
所述混合编辑模式(33)该模式下输入元素没有限制，可以是图片，也可以是视频。
4.如权利要求1所述的一种基于移动平台的视频美化的交互体验系统，其特征在于，所述指尖点击(41)对应如下操作：
媒体对象的选择或去选择；操作界面间的跳转；媒体对象的播放或暂停；信息栏的显示和消隐；字幕色彩的选择；表情的选择；转场特效的选择；特效滤镜的选择；媒体预览播放位置的选择；导出开始的选择和取消；导出媒体社交分享平台的选择；配乐的选择；实时配音的控制；前后台操作切换；
所述指尖滑动(42)对应如下操作：
媒体对象列表的缩略索引的快速浏览；字幕颜色索引的快速浏览；媒体对象的位置挪动；媒体对象的删除；字幕大小的快速选择；字幕显示位置的选择；字幕持续时间的选择；表情大小的快速选择；表情显示位置的快速选择；表情持续时间的选择；媒体剪切起止位置的快速选择。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410840541.5A CN104540028B (zh) | 2014-12-24 | 2014-12-24 | 一种基于移动平台的视频美化交互体验系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410840541.5A CN104540028B (zh) | 2014-12-24 | 2014-12-24 | 一种基于移动平台的视频美化交互体验系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104540028A true CN104540028A (zh) | 2015-04-22 |
| CN104540028B CN104540028B (zh) | 2018-04-20 |
Family
ID=52855467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410840541.5A Active CN104540028B (zh) | 2014-12-24 | 2014-12-24 | 一种基于移动平台的视频美化交互体验系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104540028B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105844983A (zh) * | 2016-05-31 | 2016-08-10 | 上海锋颢电子科技有限公司 | 情景模拟教学实训系统 |
| CN106230841A (zh) * | 2016-08-04 | 2016-12-14 | 深圳响巢看看信息技术有限公司 | 一种基于终端的网络直播中视频实时美颜及推流的方法 |
| CN106331869A (zh) * | 2015-06-29 | 2017-01-11 | 北京金山安全软件有限公司 | 一种基于视频的图片重编辑方法及装置 |
| CN106658201A (zh) * | 2017-01-13 | 2017-05-10 | 北京元心科技有限公司 | 优化播放器进度条的方法及装置 |
| CN107105173A (zh) * | 2017-04-24 | 2017-08-29 | 武汉折叠空间科技有限公司 | 一种互动型自助视频制作方法 |
| CN107786876A (zh) * | 2017-09-21 | 2018-03-09 | 北京达佳互联信息技术有限公司 | 音乐和视频的同步方法、装置及移动终端 |
| CN108495059A (zh) * | 2018-03-07 | 2018-09-04 | 迷你高（北京）科技有限公司 | 影集制作方法及系统 |
| CN108845741A (zh) * | 2018-06-19 | 2018-11-20 | 北京百度网讯科技有限公司 | 一种ar表情的生成方法、客户端、终端和存储介质 |
| CN109618211A (zh) * | 2018-12-04 | 2019-04-12 | 深圳市子瑜杰恩科技有限公司 | 短视频道具编辑方法及相关产品 |
| CN110740379A (zh) * | 2019-10-29 | 2020-01-31 | 曾虹恺 | 一种基于碎片视频自动生成完整视频的系统及方法 |
| CN110781349A (zh) * | 2018-07-30 | 2020-02-11 | 优视科技有限公司 | 用于短视频生成的方法、设备、客户端装置及电子设备 |
| CN110996151A (zh) * | 2019-11-22 | 2020-04-10 | 广州虎牙科技有限公司 | 视频图层叠加方法、装置、电子设备和存储介质 |
| CN112738623A (zh) * | 2019-10-14 | 2021-04-30 | 北京字节跳动网络技术有限公司 | 视频文件的生成方法、装置、终端及存储介质 |
| CN116095413A (zh) * | 2022-05-30 | 2023-05-09 | 荣耀终端有限公司 | 视频处理方法及电子设备 |
| CN117676053A (zh) * | 2024-01-31 | 2024-03-08 | 成都华栖云科技有限公司 | 一种动态字幕渲染方法及系统 |
| CN117714774A (zh) * | 2024-02-06 | 2024-03-15 | 北京美摄网络科技有限公司 | 视频特效封面的制作方法、装置、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101326821A (zh) * | 2006-03-14 | 2008-12-17 | 索尼株式会社 | 图像处理设备和图像处理方法 |
| US20090328109A1 (en) * | 2007-01-12 | 2009-12-31 | Activevideo Networks, Inc. | Providing Television Broadcasts over a Managed Network and Interactive Content over an Unmanaged Network to a Client Device |
| WO2013085539A1 (en) * | 2011-12-09 | 2013-06-13 | Intel Corporation | Adaptive graphics subsystem power and performance management |
| CN103348695A (zh) * | 2011-02-04 | 2013-10-09 | 高通股份有限公司 | 针对图形的低延时无线显示器 |
| CN103391414A (zh) * | 2013-07-24 | 2013-11-13 | 杭州趣维科技有限公司 | 一种应用于手机平台的视频处理装置及处理方法 |
| CN103700385A (zh) * | 2012-09-27 | 2014-04-02 | 深圳市快播科技有限公司 | 媒体播放器和播放方法、硬件加速下的视频的后处理方法 |
| CN103716712A (zh) * | 2013-12-31 | 2014-04-09 | 上海艾麒信息科技有限公司 | 一种基于移动终端的视频处理方法 |
-
2014
- 2014-12-24 CN CN201410840541.5A patent/CN104540028B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101326821A (zh) * | 2006-03-14 | 2008-12-17 | 索尼株式会社 | 图像处理设备和图像处理方法 |
| US20090328109A1 (en) * | 2007-01-12 | 2009-12-31 | Activevideo Networks, Inc. | Providing Television Broadcasts over a Managed Network and Interactive Content over an Unmanaged Network to a Client Device |
| CN103348695A (zh) * | 2011-02-04 | 2013-10-09 | 高通股份有限公司 | 针对图形的低延时无线显示器 |
| WO2013085539A1 (en) * | 2011-12-09 | 2013-06-13 | Intel Corporation | Adaptive graphics subsystem power and performance management |
| CN103700385A (zh) * | 2012-09-27 | 2014-04-02 | 深圳市快播科技有限公司 | 媒体播放器和播放方法、硬件加速下的视频的后处理方法 |
| CN103391414A (zh) * | 2013-07-24 | 2013-11-13 | 杭州趣维科技有限公司 | 一种应用于手机平台的视频处理装置及处理方法 |
| CN103716712A (zh) * | 2013-12-31 | 2014-04-09 | 上海艾麒信息科技有限公司 | 一种基于移动终端的视频处理方法 |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106331869A (zh) * | 2015-06-29 | 2017-01-11 | 北京金山安全软件有限公司 | 一种基于视频的图片重编辑方法及装置 |
| CN106331869B (zh) * | 2015-06-29 | 2019-10-29 | 北京金山安全软件有限公司 | 一种基于视频的图片重编辑方法及装置 |
| CN105844983A (zh) * | 2016-05-31 | 2016-08-10 | 上海锋颢电子科技有限公司 | 情景模拟教学实训系统 |
| CN106230841A (zh) * | 2016-08-04 | 2016-12-14 | 深圳响巢看看信息技术有限公司 | 一种基于终端的网络直播中视频实时美颜及推流的方法 |
| CN106230841B (zh) * | 2016-08-04 | 2020-04-07 | 深圳响巢看看信息技术有限公司 | 一种基于终端的网络直播中视频实时美颜及推流的方法 |
| CN106658201A (zh) * | 2017-01-13 | 2017-05-10 | 北京元心科技有限公司 | 优化播放器进度条的方法及装置 |
| CN106658201B (zh) * | 2017-01-13 | 2019-08-06 | 北京元心科技有限公司 | 优化播放器进度条的方法及装置 |
| CN107105173A (zh) * | 2017-04-24 | 2017-08-29 | 武汉折叠空间科技有限公司 | 一种互动型自助视频制作方法 |
| CN107786876A (zh) * | 2017-09-21 | 2018-03-09 | 北京达佳互联信息技术有限公司 | 音乐和视频的同步方法、装置及移动终端 |
| CN108495059A (zh) * | 2018-03-07 | 2018-09-04 | 迷你高（北京）科技有限公司 | 影集制作方法及系统 |
| CN108845741A (zh) * | 2018-06-19 | 2018-11-20 | 北京百度网讯科技有限公司 | 一种ar表情的生成方法、客户端、终端和存储介质 |
| CN108845741B (zh) * | 2018-06-19 | 2020-08-21 | 北京百度网讯科技有限公司 | 一种ar表情的生成方法、客户端、终端和存储介质 |
| CN110781349A (zh) * | 2018-07-30 | 2020-02-11 | 优视科技有限公司 | 用于短视频生成的方法、设备、客户端装置及电子设备 |
| CN109618211A (zh) * | 2018-12-04 | 2019-04-12 | 深圳市子瑜杰恩科技有限公司 | 短视频道具编辑方法及相关产品 |
| CN112738623A (zh) * | 2019-10-14 | 2021-04-30 | 北京字节跳动网络技术有限公司 | 视频文件的生成方法、装置、终端及存储介质 |
| US11621022B2 (en) | 2019-10-14 | 2023-04-04 | Beijing Bytedance Network Technology Co., Ltd. | Video file generation method and device, terminal and storage medium |
| CN110740379A (zh) * | 2019-10-29 | 2020-01-31 | 曾虹恺 | 一种基于碎片视频自动生成完整视频的系统及方法 |
| CN110996151A (zh) * | 2019-11-22 | 2020-04-10 | 广州虎牙科技有限公司 | 视频图层叠加方法、装置、电子设备和存储介质 |
| CN116095413A (zh) * | 2022-05-30 | 2023-05-09 | 荣耀终端有限公司 | 视频处理方法及电子设备 |
| CN116095413B (zh) * | 2022-05-30 | 2023-11-07 | 荣耀终端有限公司 | 视频处理方法及电子设备 |
| CN117676053A (zh) * | 2024-01-31 | 2024-03-08 | 成都华栖云科技有限公司 | 一种动态字幕渲染方法及系统 |
| CN117676053B (zh) * | 2024-01-31 | 2024-04-16 | 成都华栖云科技有限公司 | 一种动态字幕渲染方法及系统 |
| CN117714774A (zh) * | 2024-02-06 | 2024-03-15 | 北京美摄网络科技有限公司 | 视频特效封面的制作方法、装置、电子设备及存储介质 |
| CN117714774B (zh) * | 2024-02-06 | 2024-04-19 | 北京美摄网络科技有限公司 | 视频特效封面的制作方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104540028B (zh) | 2018-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104540028B (zh) | 一种基于移动平台的视频美化交互体验系统 | |
| US11082377B2 (en) | Scripted digital media message generation | |
| CN103716712A (zh) | 一种基于移动终端的视频处理方法 | |
| KR20230042523A (ko) | 멀티미디어 데이터의 처리 방법, 생성 방법 및 관련 기기 | |
| CN104052935B (zh) | 一种视频编辑方法及装置 | |
| WO2022143924A1 (zh) | 视频生成方法、装置、电子设备和存储介质 | |
| US20150302889A1 (en) | Method for editing motion picture, terminal for same and recording medium | |
| CN109275028B (zh) | 视频获取方法、装置、终端和介质 | |
| CN107770627A (zh) | 图像显示装置和操作图像显示装置的方法 | |
| CN105245937A (zh) | 视频场景控制系统及方法 | |
| US10038657B2 (en) | Unscripted digital media message generation | |
| CN107111437B (zh) | 数字媒体消息生成 | |
| US10115431B2 (en) | Image processing device and image processing method | |
| CN113099287A (zh) | 视频制作方法及装置 | |
| CN110321049A (zh) | 一种自定义设置手账壁纸的方法及一种移动终端 | |
| CN113099288A (zh) | 视频制作方法及装置 | |
| CN114466222B (zh) | 一种视频合成方法、装置、电子设备及存储介质 | |
| CN108269296A (zh) | 图片处理方法、移动终端及装置 | |
| CN101594504B (zh) | 在dvd盘片终结前添加子画面的方法 | |
| CN106021322A (zh) | 一种多功能图像输入方法 | |
| US20130080896A1 (en) | Editing system for producing personal videos | |
| CN103186913A (zh) | 漫画对白处理系统和处理方法 | |
| CN115904168A (zh) | 基于多设备的影像素材处理方法及相关装置 | |
| Hua et al. | Lazycut: content-aware template-based video authoring | |
| US10817167B2 (en) | Device, method and computer program product for creating viewable content on an interactive display using gesture inputs indicating desired effects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder |
Address after: 201100 room 1a, 1st floor, building 5, 4299 Jindu Road, Minhang District, Shanghai Patentee after: SHANGHAI YINGZHUO INFORMATION TECHNOLOGY Co.,Ltd. Address before: 201108 room c74, 3 / F, building 6, 4299 Jindu Road, Minhang District, Shanghai Patentee before: SHANGHAI YINGZHUO INFORMATION TECHNOLOGY Co.,Ltd. |
|
| CP02 | Change in the address of a patent holder |