CN101529848A - 视频处理和应用程序的系统、方法及设备 - Google Patents

Abstract

一种提供并处理用于传送给移动装置的视频数据的系统、方法和设备。

Description

视频处理和应用程序的系统、方法及设备

技术领域

本公开文件大体涉及一种视频处理和应用程序的系统、设备及方法。

要求优先权

本申请要求2006年6月16日提交的名为“Video Processing andApplications Server”的第60/814,383号美国专利申请的优先权，通过参考的方式将其内容结合到本文中。

相关专利申请的交叉参考

本申请涉及2006年2月16日提交的名为“MOBILE IMAGINGAPPLICATION，DEVICE ARCHITECTURE，SERVICE PLATFORMARCHITECTURE AND SERVICES”的第11/357,661号未决的美国专利申请，该专利申请的受让人与本公开文件的受让人相同。该申请的申请人也是本申请的申请人。通过参考的方式将上面确认的未决申请的公开文件全部结合到本文中。

本申请涉及2005年9月20日提交的名为“COMPRESSIONRATE CONTROL SYSTEM AND METHOD WITH VARIABLESUBBAND PROCESSING”的第11/232,165号未决的美国专利申请，该专利申请的受让人与本公开文件的受让人相同。以上申请的申请人也是本申请的申请人。通过参考的方式将上面标识的未决申请的公开文件全部结合到本文中。

本申请还涉及2005年9月21日提交的名为“MULTIPLETECHNIQUE ENTROPY CODING SYSTEM AND METHOD”的第11/232,726号未决的美国专利申请，该专利申请的受让人与本公开文件的受让人相同。以上申请的申请人也是本申请的申请人。通过参考的方式将上面标识的未决申请的公开文件全部结合到本文中。

本申请还涉及2005年9月21日提交的名为“PERMUTATIONPROCRASTINATION”的第11/232,725号未决的美国专利申请，该专利申请的受让人与本公开文件的受让人相同。以上申请的申请人也是本申请的申请人。通过参考的方式将上面确认的未决申请的公开文件全部结合到本文中。

本申请还涉及2005年10月12日提交的名为“MOBILEIMAGING APPLICATION，DEVICE ARCHITECTURE，SERVICEPLATFORM ARCHITECTURE”的第11/249,561号未决的美国专利申请，该专利申请的受让人与本公开文件的受让人相同。以上申请的申请人也是本申请的申请人。通过参考的方式将上面标识的未决申请的公开文件全部结合到本文中。

本申请还涉及2005年10月13日提交的名为“VIDEOMONITORING APPLICATION，DEVICE ARCHITECTURE，ANDSYSTEM ARCHITECTURE”的第11/250,797号未决的美国专利申请，该专利申请的受让人与本公开文件的受让人相同。以上申请的申请人也是本申请的申请人。通过参考的方式将上面标识的未决申请的公开文件全部结合到本文中。

在本公开文件的描述中引用和讨论了一些参考文献(其可以包括专利、专利申请和各种出版物)。提供这些参考文献的引用和/或讨论仅用于阐明本公开文件的描述，而并不在于承认任何这种参考相对于本文中所描述的公开文件来说都是“现有技术”。通过参考将该说明书中所引用和讨论的所有参考文献的全部内容结合到本文中，并通过参考来达到好像单独结合每篇参考文件的同样程度。

发明内容

直接数字化的图像和视频是资源密集型的，因此为了存储、传送和其他用途可以对图像和视频进行压缩。例如，可以通过一种三阶段处理来描述压缩的特性：变换、量子化和熵编码。大多数图像和视频压缩器共享该基础架构，其中有所变化。

视频压缩器的变换阶段可以是通过利用图片或图片序列中的局部类似性和图案来将源图片的能量或信息聚集为尽可能压缩的形式。压缩器通常利用不同的压缩水平来压缩不同的输入。例如，可以将压缩器设计为在“通常的”输入下很好地工作而忽略其压缩“随机的”或“病态的”输入的故障。许多图像压缩和视频压缩方法(诸如MPEG-2和MPEG-4)使用离散余弦变换(DCT)作为变换阶段。

量子化可能在变换阶段之后丢弃信息，因此，在一些情况下，重构的解压缩的图像可能不是原始图像的精确再现。熵编码通常是一种无损失处理：该处理获得量子化之后剩余的信息并对其进行编码从而可以在译码器中再现剩余的信息。因此，关于丢弃什么信息的设计的决定不会受到随后的熵编码阶段的影响。

在一些情况下，被开发为用于(例如)演播室产生的视频内容的广播和流的基于DTC的视频压缩/解压缩(编码译码器)技术与演播室环境中(例如，可以在计算机工作站上运行非常复杂的编码器的地方)的视频内容的编码相关联。这种在计算上复杂的编码器使得计算上简单且相对来说便宜的译码器(播放器)能够安装在消费者回放装置中。

然而，如图1所示，编码技术/译码技术中的不对称可能在支持利用移动多媒体装置(诸如，可携式摄像电话，其中可以在移动装置自身中实时拍摄和压缩视频消息并进行回放)中的可利用的处理器能力来对全电视机大小的视频内容进行压缩的过程中造成困难。结果，相比于其他消费品中的视频，移动装置中的视频可能被局限于极其小的大小和极其低的帧率，如图2所示。

利用基于DCT的技术和其他视频处理应用程序来进行视频编辑可能需要在对全部或部分译码的视频进行编辑或其他处理之前对压缩视频输入数据进行全部或部分译码，然后对编辑过的或以其他方式处理过的视频数据进行压缩以用于输出和随后的分配。因此，基于DCT的视频编辑和其他处理应用程序的计算复杂度可能超过许多基于通用个人计算机(PC)中央处理单元(CPU)的标准服务器计算机的计算能力。

此外，视频编辑和其他处理应用程序通常利用专用视频应用程序服务器计算机，其中，可以利用专用数据处理元件(包括但不限于：数字信号处理器(DSP)、特定用途集成电路(ASIC)、多媒体处理器、以及可重新配置处理装置(reconfigurable processing device，简称RPD))的组合来执行视频处理。相比于基于通用PC CPU的标准服务器计算机来说，这种专用视频数据处理元件的数目、成本和功耗导致专用视频服务器的非常高的成本和功耗。然而，新兴移动视频服务的商业配置要求为大量的并发服务订户提供这种视频编辑和其他处理，以及采用和维护相应视频应用程序服务器的成本尽可能的低。

本公开文件的各种实施例可以包括一个或多个各种各样的视频处理和其他处理，诸如，包括以下处理中的一个或多个：

●压缩；

●全部或部分解压缩；

●对全部或部分解压缩的视频进行编辑，包括但不限于剪切、调整、插入转换、重排序、调整曝光、补偿背光、补偿摄像机成像元件(通常，CMOS、CCD或类似元件)的有限低光敏感度、补偿来自摄像机模块的透镜的失真、补偿视频记录期间发生的摄像机抖动、改变图像背景、以及修正红眼；

●代码转换，包括本公开文件的视频格式和其他基于标准的和/或专有视频格式之间的转换；

●码率转换，包括用于在不同装置和屏幕大小之间的回放兼容而更改视频压缩水平、比特率、帧率、图像大小、及压缩格式；

●加标签和嵌入用于视频搜索应用程序的元数据；

●数字水印，用于安全和版权管理；

●视频存储(包括在数据库中)、搜索、检索；

●对图像和视频内容进行识别、测量和分类，图像和视频内容包括音乐节拍、视频剪切、场景变换、视角变换、曝光和对比属性、运动速率、运动方向和连贯性、光(太阳vs荧光等)、脸、红眼、库存场景、以及水印；

在这里所公开的用于运行在视频应用程序服务器上并支持上述列出的视频处理功能的各种组合的视频应用程序的一些实施例中可以包括但不限于以下多项中的一种或多种：

●压缩；

●解压缩；

●编辑，包括剪切、调整、插入转换、调整曝光、校正背光、修正红眼、同步于配乐的节奏、插入库存字幕和场景、应用模板、校正摄像机运动、改善合成；

●代码转换，包括本公开文件的视频格式和其他通用的基于标准的视频格式以及专有视频格式之间的转换；

●码率转换，包括用于在不同装置和屏幕大小之间的回放兼容而改变视频压缩水平、比特率、帧率、图像大小、以及压缩格式；

●加标签和嵌入用于视频搜索索引或其他编辑应用程序的元数据；

●视频存储(包括在数据库中)、搜索、检索；

●数字版权管理(DRM)；

●通过供给(feed)将用户创建的视频广播给其他订户的RSS(聚合内容)应用程序，RSS应用程序可以包括聚合器和供给阅读器，并可以允许在计算机和手持装置上观看用户创建的视频；

●图像和视频内容的识别、测量、及分类；

在一些实施例中，在视频应用程序服务器上运行的并支持上面列出的视频处理功能的各种组合的上面列出的视频应用程序的组合所支持的视频服务可以包括但不限于以下多项中的一种或多种：

●视频消息、视频共享、和视频博客：非实时，即，包括经由RSS供给所进行的存储和转发；

●视频IMS：通过IP网络来进行的即时消息服务-实时视频传送和流；

●视频呼叫：通过IP、ATM、或电路交换网络来实时进行；

●视频邮件，类似于语音邮件，即，如果被呼叫的一方没接其电话则留一封视频邮件；

●视频会议，例如，多方之间的对等的；

●在手持装置或在网络或基于网络的服务器上手动或自动编辑在手持装置上拍摄的视频片段；

●在线视频存储器、相册、博客等；

●共享所拍摄/编辑/存储的视频片段和相册；

●对访问进行管理，限定何人何时进行过访问、找出何人看过或请求过该资料；

●对视频进行：加标签，数据库存储、搜索和检索，预览、下载(软拷贝)、订硬拷贝(DVD)；

●个人多媒体市场服务，包括：

●预览、共享、购买、销售“软”拷贝(下载)或“硬”拷贝(DVD)；

●媒体“加标签”用于进行索引，RSS供给；

●通向现有在线市场(例如，E-bay、Google、Yahoo、Microsoft、其他入口)的接口；

●对来自朋友的资料、来自公共源的资料与所购买的资料进行比较、对比、并置；

在一些实施例中，采用了在视频应用程序服务器上运行并支持上述的视频处理功能的各种组合的上面所列出的视频应用程序的组合所支持的上面确定的视频服务中的一种或多种的视频系统可以包括但不限于以下多项中的一种或多种：

●电路交换移动蜂窝网络、固定无线网络、通信线电话网络、通信线电缆网络、通信线安全网络、或卫星网络；

●基于IP的移动蜂窝网络、移动网状网络、移动自组网络、固定无线网络、通信线电话网络、通信线数据网络、或卫星网络；

●聚合固定/移动无线网络；

●其他无线或有线数据网络：ATM等；

本公开文件的一些实施例可以包括用于以下多项中的一种或多种的方法、装置、应用程序、系统、和服务：视频图像记录、传送、存储、编辑、处理、代码转换、搜索、检索、共享、分发、和交易，包括移动装置和视频处理/应用程序服务器、相应的移动装置和视频处理/应用程序服务器架构、服务平台架构，以及用于通过无线和有线网络和系统来进行传送、存储、编辑、处理、代码转换、搜索、检索、共享、分发、及交易静止图像和视频图像并在能够进行显示的装置上观看它们的方法和服务，还有与上述有关的网络和其他系统服务。

本公开文件的实施例还包括图像记录和处理技术，以及移动装置、视频处理/应用程序服务器、和服务平台的架构上的相应改进。本公开文件还包括移动装置服务的端到端功能性和性能。这些方面可以通过将诸如在移动装置中的成像模块中所拍摄到的防抖摄像机运动补偿信息的信息传送到以下多项中的一项或多项来实现：手持装置中的随后的视频编码译码器、移动网络中的视频处理应用程序服务器、和/或接收视频回放装置。

然后可以(例如)通过提供由视频编码译码器以其他方式从输入的视频数据中提取的额外的运动补偿信息来使用这种信息以进一步降低视频编码译码器的计算要求。随后在移动网络中的视频处理应用程序服务器中进行编辑和进一步的视频处理期间，也可以使用这种信息来进一步补偿在移动装置中的视频拍摄期间所发生的摄像机运动。随后在移动网络中的视频处理应用程序服务器和/或接收视频回放的装置中进行编辑和进一步的视频处理期间，也可以使用这种信息来重新创建之前经由移动装置中的摄像模块中的视频前期处理而去除的摄像机运动效果。

本公开文件的多个方面还可以包括以下多项中的一项或多项：

1.用于对视频或静止图像进行压缩和/或解压缩的软件视频编码译码器/可携式摄像装置应用程序；

2.用于压缩、解压缩、编辑、代码转换、加标签和嵌入用于搜索应用程序的元数据、存储、数据库、搜索、检索、和分发视频的软件视频处理应用程序；

3.基础结构产品、方法和过程，包括移动多媒体服务(MMS)基础结构服务器计算机和应用程序，用于结合移动手持装置的软件视频编码译码器/可携式摄像机应用程序以及软件处理应用程序一起采用视频消息和共享服务；

4.用于建立、使能、分发和操作新的MMS服务的方法、过程和商业过程，新的MMS服务包括：移动视频消息、共享和博客；视频流和视频呼叫；以及支持创建和交易移动用户在移动装置上创建的视频内容的个人媒体制造者服务。

附图说明

图1示出了根据一个实施例的视频编码译码器的计算要求。

图2示出了根据一个实施例的移动装置和服务中的视频图像大小限制。

图3示出了根据一个实施例的移动成像服务平台架构。

图4示出了根据一个实施例的移动成像手持装置架构。

图5示出了根据一个实施例的视频处理和应用程序服务器的功能框图。

图6示出了根据一个实施例的视频处理和应用程序服务器架构。

图7示出了根据一个实施例的分布式视频编辑系统架构。

图8示出了根据一个实施例的视频编码译码器技术的比较。

图9示出了根据一个实施例的降低了的视频编码译码器计算要求。

图10示出了根据一个实施例的改进的移动成像手持装置架构。

图11示出了根据一个实施例的改进的视频处理和应用程序服务器架构。

图12示出了根据一个实施例的可替换的改进的视频处理和应用程序服务器架构。

图13示出了根据一个实施例的改进的视频处理和应用程序服务器架构的一种全软件实施方式。

图14示出了根据一个实施例的改进的视频处理和应用程序服务器架构的一种全硬件实施方式。

图15示出了根据一个实施例的改进的视频处理和应用程序服务器架构的一种硬件和软件混合的实施方式。

图16示出了根据一个实施例的改进的分布式视频编辑系统架构。

图17示出了根据一个实施例的改进的移动成像服务平台架构。

图18示出了根据一个实施例的不需要代码转换且允许现有视频处理/应用程序服务器对视频格式进行处理的自译码视频MMS。

图19示出了根据一个实施例的所配置的视频处理和应用程序服务器的OTN升级。

图20示出了根据一个实施例的配置媒体制造者服务所需的视频编辑服务器的数量、成本、复杂度上的降低。

图21示出了根据一个实施例的改进的视频消息/共享/呼叫平台的功能元件。

图22示出了根据一个实施例的更快、更低成本地开发和配置更高质量的多媒体手持装置&服务。

图23示出了根据一个实施例的面向宽带多媒体装置和服务的应用。

图24a示出了与用户和系统管理员交互的视频编辑系统的一个示例性实施例。

图24b示出了VESClient经由SSP与TIP进行通信的示例性实施例。

图25示出了VESClient经由SSP与TIP进行通信的处理流程的示例性实施例。

图26示出了VESClient经由SSP与TIP进行通信的另一处理流程的示例性实施例。

图27示出了VESClient经由SSP与数据库进行通信的处理流程的示例性实施例。

图28示出了接收PC与网站进行通信的处理流程的示例性实施例。

图29示出了模板编辑器的处理流程的示例性实施例。

图30示出了模板编辑器的另一处理流程的示例性实施例。

图31示出了屏幕截图的示例性实施例。

图32示出了屏幕截图的示例性实施例。

图33a示出了屏幕截图的示例性实施例。

图33b示出了屏幕截图的示例性实施例。

图34示出了屏幕截图的示例性实施例。

图35示出了屏幕截图的示例性实施例。

图36示出了屏幕截图的示例性实施例。

图37示出了屏幕截图的示例性实施例。

图38示出了屏幕截图的示例性实施例。

图39示出了屏幕截图的示例性实施例。

图40示出了屏幕截图的示例性实施例。

图41示出了屏幕截图的示例性实施例。

图42示出了屏幕截图的示例性实施例。

图43示出了屏幕截图的示例性实施例。

图44示出了屏幕截图的示例性实施例。

图45示出了屏幕截图的示例性实施例。

图46示出了屏幕截图的示例性实施例。

图47示出了屏幕截图的示例性实施例。

图48示出了屏幕截图的示例性实施例。

图49示出了屏幕截图的示例性实施例。

图50示出了屏幕截图的示例性实施例。

图51示出了屏幕截图的示例性实施例。

图52示出了屏幕截图的示例性实施例。

图53示出了屏幕截图的示例性实施例。

图54示出了屏幕截图的示例性实施例。

图55示出了屏幕截图的示例性实施例。

具体实施方式

以下描述和附图是示例性的，并不可以将其解释为限制性的。描述许多特定细节仅用于提供对本公开文件的彻底理解。然而，在特定情况下，没有描述熟知的或传统的细节以避免模糊了本说明书。参照本公开文件中的一个实施例可以是(但不一定是)参照同一实施例，并且这种参照意味着至少一个。

该说明书中的参考“一个实施例”意味着结合该实施例来描述的特定特征、结构、或特性被包括在本公开文件的至少一个实施例中。该说明书中的各个地方出现的术语“在一个实施例中”不一定全部指代同一实施例，也不是单独的或可替换的实施例相互排斥其他实施例。而且，描述了可以被某些实施例呈现了而未被其他实施例呈现的各种特征。类似地，描述了对于某些实施例来说是要求而对于其他实施例来说不是要求的要求。

图像处理

小波变换可以包括对一组数据重复应用小波滤波器对，或者在一个维度中或者在多于一个维度中。对于静止图像压缩，可以使用2-D小波变换(水平的和垂直的)。根据本公开文件的视频编码译码器可以使用3-D小波变换(水平的、垂直的、和时间的)。对称3-D基于小波的视频压缩/解压缩(编码译码器)装置可以用于降低以下的那些基于DCT的编码译码器所需的移动装置中的计算复杂度和功耗，以及用于使得能够在一个编码译码器中同时支持处理静止图像和视频图像。

在一个编码译码器中同时支持静止图像和视频图像可以消除或降低对单独的MPEG(视频)编码译码器和JPEG(静止图像)编码译码器的需要，或者大大提高关于(例如)运动JPEG编码译码器的压缩性能以及因而实现的存储效率。对称3-D基于小波视频处理装置用于降低计算复杂度和功耗，并提高用于支持自动或手动编辑用户创建的视频、以及用户创建的视频的数据库存储、搜索、检索的MMS基础结构设备所支持的并发移动订户数量。

移动成像服务和服务平台架构

一个实施例的多个方面提供了新一代的新MMS视频服务，包括移动视频消息、共享、和博客；视频流和视频呼叫；以及个人“媒体制造者”服务，其支持创建和交易移动用户在移动装置上创建的视频内容。根据本公开文件多个方面的移动成像服务平台架构的组成部分(见图3)可以包括以下多项中的一项或多项：

●移动手持装置；

●移动基站(BTS)；

●基站控制器/无线电网络控制器(BSC/RNC)；

●移动交换中心(MSC)；

●网关服务节点(GSN)；

●移动多媒体服务控制器(MMSC)；

根据本公开文件多个方面的MMSC中所包括的典型的功能(见图3)可以包括以下多项中的一项或多项：

●视频网关；

●Telco服务器；

●MMS应用程序服务器；

●存储服务器；

根据本公开文件多个方面的MMSC中的视频网关可以用于在成像服务平台所支持的不同视频格式之间进行代码转换。代码转换还被无线操作者用于支持移动电话网络中所使用的不同语音编码译码器，其中相应的语音代码转换机可以集成到RNC中。

对这种具有图3所示的架构的移动成像服务平台进行升级可以包括采用新的手持装置，并向MMSC视频网关手动添加新的硬件。在一些移动视频消息和共享应用中，可以省去与代码转换相关的成本和复杂度。本公开文件的一个方面是这样的能力，在传送的每个视频流中嵌入软件译码器，使得在普通手持装置和PC视频播放器上能够具有“自播放”功能。

MMSC中的MMS应用程序服务器可以支持诸如自动或手动编辑用户创建的视频、以及用户创建的视频的数据库存储、搜索、和检索的应用程序。与利用基于DCT的视频实施这种视频编辑功能和其他处理应用程序相关联的计算复杂度超过了许多基于通用个人计算机(PC)中央处理单元(CPU)的标准服务器计算机的计算能力。

根据本公开文件的多个方面，新的潜在移动视频服务的商业配置可以包括提供用于大量的并发服务订户的视频编辑和其他处理，并且采用和维护相应的视频应用程序服务器的成本要尽可能低。如果需要新的或专用的硬件，那么对MMSC基础结构进行升级也是高成本的。为了使得能够进行手持装置的自动空中下载(OTA)软件升级、MMSC视频网关的网络上(OTN)软件升级、以及支持利用标准PC和服务器的移动视频应用程序，SW应用程序和服务平台将会是优选的。

本公开文件的多个方面包括涉及新的拍摄、压缩、传输、编辑、存储和共享与移动装置相关联的视频内容的新方法、服务和系统。本公开文件的多个方面可以应用于电信(有线提供商和无线提供商均可)和互联网、包括固定和移动无线服务提供商的电缆和其他数据和多媒体操作者。本公开文件的多个方面可以提供丰富的内容、更高的宽带利用率和更高的每用户平均收入(ARPU)。

根据本公开文件的多个方面的移动多媒体服务(MMS)包括使得目标受众能够交流个人信息的新的视频消息、共享、博客、和个人“媒体制造者”应用程序。移动图像消息和共享可以要求向移动手持装置添加数字摄像功能(静止图像)和/或可携式摄像机功能(视频图像)，使得订户既可以拍摄(编码)他们想发送的视频消息也可以回放(译码)他们接收到的视频消息。

根据本公开文件的多个方面，可以使移动装置演变为集成的消费者多媒体娱乐平台。工业上的主要投资被指向了这样的技术和平台，其使得能够重新打包的广播电视节目(诸如新闻片段、体育精彩场面、和流行电视节目的特殊“手机电影”)和其他演播室生成的视频内容(诸如电影预览和音乐视频)传送到移动装置上并在其上观看。在后一种情况中，开发移动订户作为新的一类视频消费者。然而，后一情况在很大程度上利用了已在大广播企业服务器中压缩的视频内容。

然而，根据本公开文件的多个方面，世界范围的移动操作者还赢得了重大的新机遇：支持其订户作为媒体制造者(如本公开文件的多个方面所使能的)而不仅仅是媒体消费者。如本公开文件的多个方面所使能的，对这种新服务来说，连同配置和汇集更高速度的蜂窝和固定无线数据网络一起，在移动装置上拍摄并共享与单独的数字摄像机和可携式摄像机相同质量的照片和视频性能是技术上的奠基石。

本公开文件的多个方面还包括使得能够大大降低可携式摄像电话机和视频消息/共享基础结构设备的开发成本和零售价格，无论是在成熟市场上还是在新兴市场上，这对于在商业上大规模采用这种装置和相关移动多媒体/数据服务来说可能是关键的。

相比于那些通常在其他多媒体装置(见图2)(诸如电视、个人计算机、数字视频可携式摄像机、和个人媒体播放器)上拍摄并显示的视频图像来说，移动图像消息/共享服务和应用程序可能被限于拍摄和传送尺寸上小得多的且帧率低得多的视频图像。如本公开文件的多个方面所提供的能够支持30fps或更高帧率的VGA(或更大的)视频的移动图像消息服务和应用程序将是优选的。

本公开文件的多个方面还包括这样的软件移动成像应用程序服务平台，该平台可以包括以下多项中的一项或多项：

1.支持所配置的手持装置的自动空中下载(OTA)软件升级；

2.支持所配置的MMSC的自动网络上(OTN)软件升级；

3.支持使用标准PC和服务器来配置移动视频应用程序和服务；

4.使得能够通过少量服务器来支持大量并发移动视频服务订户；

5.支持配置移动视频应用程序和服务而无需在网络中的手持装置中进行视频代码转换；

6.使能支持拍摄和传送类似于在其他消费者多媒体装置上(诸如数字可携式摄像机和电视)通常拍摄和显示的视频图像的全尺寸和全帧率的视频图像的移动视频装置、应用程序、和服务；

在一个实施例中，根据本公开文件的多个方面的移动手持装置和MMS服务器应用程序的Java实现方式可以用于提供手持装置/网络的稳健性以抵御病毒、蠕虫、和其他“袭击”，允许移动网络操作者提供国家规定所需的服务的稳定性和质量。

移动成像手持装置架构

在本公开文件的多个实施例中，向移动手持装置添加数字可携式摄像机功能一般与添加以下功能相关联，或者以硬件、软件形式，或者作为硬件和软件的组合(见图4)：

●成像器阵列(典型地，CMOS像素或CCD像素的阵列)，具有相应的前级放大器和模数(A/D)信号转换电路

●图像处理功能，诸如前处理、编码/译码(编码译码器)、后期处理

●缓冲处理后的图像用于通过无线或有线网络的非实时传送或实时流

●一个或多个图像显示屏

●内置或移动存储器上的本地图像存储

利用诸如MPEG-4的基于DCT变换的编码译码器，商业上可利用的图像使能的移动手持装置限于拍摄比那些在其他多媒体装置(诸如电视机、个人计算机、数字视频可携式摄像机、和个人媒体播放器)上通常拍摄和显示的图像的尺寸小且帧率低的视频图像。诸如电视机、个人计算机、数字视频可携式摄像机、和个人媒体播放器的这些其他装置通常按照VGA格式(640×480像素)或更大的、以30帧每秒(fps)或更高的显示速率来拍摄/显示视频图像，然而，商业上可利用的图像使能移动手持装置可能限于拍摄(例如)QVGA格式(320×240像素)、QCIF格式(176×144像素)或更小的、(例如)15fps或更低的显示速率(例如见图2)的视频图像。

这个降低的视频拍摄能力通常可能是由完成与利用DCT变换的视频压缩/解压缩相关联的计算步骤的数量、类型和序列所需要的巨大的计算要求、处理器功耗、和缓冲存储器引起的。

利用商业上可利用的视频编码译码器和微处理器技术导致用于目标在于拍摄30fps或更高的帧率的VGA(或更大的)视频的移动成像手持装置的非常复杂、功耗巨大且昂贵的架构。这种手持装置架构利用了这样的编码译码器，该编码译码器具有运行在精简指令集(RISC)处理器、数字信号处理器(DSP)、特定用途集成电路(ASIC)、和可重新配置处理装置(RPD)的组合上的软件程序和硬件加速器的组合、连同超大的缓冲存储器块(1兆字节(Mbyte)或更多的典型的存储能力)。

可以使用RISC处理器、DSP、ASIC、多媒体处理器、和RPD作为单独的集成电路(IC)，或者对一起集成在系统级封装(SIP)或片上系统(SoC)中的RISC处理器、DSP、ASIC、多媒体处理器、和RPD中的一个或多个进行组合，来实现这些编码译码器功能。

运行在RISC处理器或DSP上的编码译码器功能可以是软件例行程序，具有可以对软件例行程序进行修改以校正编程错误或更新功能的优点。将特定的复杂、重复的编码译码器功能实现为软件的缺点在于导致整体的处理器资源和功耗要求通常超过移动通信装置上可利用的处理器资源和功耗要求。运行在ASIC和多媒体处理器上的编码译码器功能通常是复杂、重复的计算步骤的固定硬件实现，通常具有专门定制的硬件加速器基本上可以降低编码译码器的整体功耗的优点。

在固定硬件中实现特定编码译码器功能的缺点包括更长且更昂贵的设计周期、在固定的硅实现过程中发现错误的情况下的昂贵的产品回收风险、以及在新开发的特征被添加到成像应用程序的情况下不能在所配置的产品中升级固定的硅功能。运行在RPD上的编码译码器功能通常是这样的例行程序，该例行程序既利用了硬件加速器又利用了在最终的移动成像手持装置产品中添加和修改功能的能力。

为了简化上述架构并使手持装置成本与高容量商业配置相适合，降低或消除复杂的、重复的编码译码器功能以使移动成像手持装置能够利用全软件架构来拍摄30fps帧率的VGA(或更大的)视频的成像应用程序将是优选的。

要求多媒体手持装置不仅支持图片和视频消息能力，还支持各种额外的多媒体能力(语音、音乐、图形)和各种固定的和移动的无线访问模式，包括但不限于2.5G和3G蜂窝访问、WiBro、HSDPA、WiFi、无线LAN和蓝牙。为了更高效的配置新的产生收益的服务和应用程序并避免昂贵的产品回收，开发、配置并支持这种产品所涉及的复杂度和风险使许多功能和应用程序的空中下载(OTA)分布和管理是非常有益处的。

为了使手持装置制造商、移动操作者和其他MMS服务提供商能够进行成像应用程序的OTA分布和管理，SW成像应用程序将是优选的。本公开文件提供了这些目标。

本公开文件的多个方面包括以下多项中的一项或多项：

1.使能这样的移动视频装置、应用程序和服务，其支持拍摄和传送类似于通常在诸如数字可携式摄像机和电视机的其他消费者多媒体装置上拍摄和显示的全尺寸和全帧率的视频图像；

2.支持所配置手持装置的自动空中下载(OTA)软件升级；

在一个实施例中，根据本公开文件的多个方面的移动手持装置应用程序的Java实现方式可以用于提供手持装置/网络的稳定性以抵御病毒、蠕虫、和其他“攻击”，允许移动网络操作者提供国家规定所要求的服务的可靠性和质量。

视频处理和应用程序服务器架构

在一个实施例中，MMS视频服务包括：移动视频消息、共享、和博客；视频流和视频呼叫；以及个人“媒体制造器”服务，其支持在移动装置上创建和交易移动用户创建的视频内容、自动视频编辑、视频“后期制造”、和移动手持装置上和/或MMSC应用程序服务器中提供的其他视频处理应用程序。然而，这种能力的商业配置包括提供用于大量并发服务订户的视频编辑和其他处理，而配置和维护相应视频应用程序服务器的成本尽可能低。

图5示出了根据一个实施例的用于视频处理和应用程序服务器的功能框图。视频输入数据通常是压缩格式的，对视频输入数据实施视频处理算法之前可以对该视频输入数据进行全部译码或部分译码。可以再次对经处理的视频进行压缩，用于输出或随后的传输和分布。视频处理功能可以包括以下多项中的一项或多项：

●压缩；

●解压缩；

●编辑，包括顺序编辑(诸如剪切和转换)和图像内容编辑(诸如颜色校正、褪色和去除抖动)；

●后期制造，诸如添加字幕、或将所选的视频剪辑结合到制造模板中；

●代码转换，包括当前的小波格式和其他通常配置的基于标准的视频格式和专有视频格式之间的转换；

●码率转换，包括用于在不同装置和屏幕大小之间的回放兼容的压缩水平、比特率、帧率、图像大小和压缩格式；

●加标签和嵌入用于搜索应用程序的元数据；

●存储(包括在数据库中，搜索，检索)；

●对内容进行管理，包括出处、所有权和许可、以及检查是否符合许可限制)；

基于DCT的视频编辑和其他处理应用程序的计算复杂度可能超过基于通用个人计算机(PC)中央处理单元(CPU)的服务器计算机的计算能力。在一些情况中，视频编辑和其他处理应用程序利用专用视频应用程序服务器计算机，其中，可以利用专用数据处理元件的组合来进行视频处理，专用数据处理元件包括但不限于：数字信号处理器(DSP)、特定用途集成电路(ASIC)、多媒体处理器和可重新配置处理装置(RPD)。

图6示出了根据一个实施例的用于提供基于DCT的视频编辑和其他处理应用程序的计算要求的代表性视频处理和应用程序服务器架构。相比于基于通用PC CPU的标准服务器计算机，专用视频数据处理元件的数量、成本、和功耗导致用于专用视频服务器的更高的成本和功耗。

本公开文件的多个方面还可以包括具有以下特性中的一个或多个的系统：

1.降低视频编码、译码和编辑的计算复杂度；

2.允许移动视频应用程序运行在低成本、低功率的PC CPU上，而不是运行在专用的、昂贵的、高功率的DSP或ASIC上；

3.允许更少的、不太昂贵的基于PC的服务器替代大量的专用视频应用程序服务器，降低每个订户的配置&操作成本；

4.允许根本上提高每个视频应用程序服务器所能够支持的并发移动订户的数量；

5.支持所配置的MMSC视频应用程序服务器的自动网络上(OTN)软件升级；

6.支持对移动视频应用程序和服务进行配置而无需在手持装置或网络中进行视频代码转换；

视频编辑、归档和检索系统

在一个实施例中，MMS视频服务(诸如移动视频消息、共享和博客；视频流和视频呼叫；以及个人“媒体制造器”服务，其支持在移动装置上创建和交易移动用户所创建的视频内容)提供了以下多项中的一项或多项：自动视频编辑、视频“后期制造”和移动手持装置上和/或MMSC应用程序服务器中的其他视频处理应用程序。

视频制造是一种分布式处理，其中资源在物理上分布在若干个位置上。例如，在广播业中，广播公司向专用演播室或即将到来的虚拟演播室外部供应特定制造和后期制造阶段。本公开文件的多个方面还包括这样的实施例，这些实施例使配置用于移动个人“媒体制造器”服务的分布式虚拟演播室应用程序简化和加速。

图7示出了根据一个实施例的用于广播应用程序的分布式视频编辑系统的功能和元件，包括支持视频归档和检索功能的元件。设计这种系统的目标在于向商业广播公司提供用于分布式视频后期处理的完整解决方案，该方案集成了归档、检索和编辑功能。

在一个实施例中，该系统包括归档服务器、编辑服务器、目录服务器、以及用于最终用户的客户站。本公开文件的多个方面还包括对能够支持移动个人“媒体制造器”服务而不仅仅是商业广播服务的类似的分布式虚拟演播室系统的设计和商业配置进行简化并加速。

根据一个实施例，图7中的归档服务器存储低比特率的视频也存储高比特率的视频，并提供视频流和文件传输服务。目录服务器可以具有(host)其中存储并索引了视频片段元数据的数据库。客户站允许用户执行归档和检索操作、以及利用低比特率的现有资料进行视频编辑。然后，用户所创建的编辑列表被编辑服务器所处理并被应用到相应的高比特率资料，以制造可以广播的最终视频。

目录服务器自动取出视频存档中的每个新片段的低比特率版本并对其进行前期处理，以提取元数据。通过检测镜头之间的转换以及通过分析运动属性，可以将视频片段分解为更小的部分。针对每个镜头，可以提取静止图像(关键帧)用于显示目的，并使得能够进行自动图像索引方法。可以从运动矢量中计算出摄像机和摄像机镜头运动(例如，摇摄、倾斜、摄像机移动、静止)属性。对低比特率流(通常是MPEG-1)执行这些前期处理步骤而不需解压缩。

根据一个实施例，图7中的归档工具允许文档列表可视/编辑片段前期处理算法的结果，并允许输入额外的文本注释。

图形用户界面允许(例如)新闻记者或节目导演利用可利用的来自目录服务器的元数据从存档中检索视频资料。一旦选择了项目，则有可能将其输出给编辑工具。在一个实施例中，图7中的检索工具允许人们利用文本和视觉信息来查询数据库。在归档处理期间输入文本查询地址特定字段。在前期处理阶段提取视觉查询地址元数据。用户指定实例图像并限定摄像机运动的期望类型。

本公开文件的实施例还包括：

1.在一个实施例中，视频编码、译码和编辑的降低的计算复杂度。

2.在一个实施例中，在小波变换域中执行视频编辑步骤或操作，从而存储反向小波变换和正向小波变换的计算，并还存储通过对相比于像素数据值的传统操作所需的数据项目少的数据项目进行访问和改变来进行的计算。

3.在一个实施例中，允许移动视频应用程序运行在低成本、低功率的PC CPU上而非专用的、昂贵的、高功率的DSP或ASIC上。

4.在一个实施例中，更少的、不太昂贵的基于PC的服务器可以替代大量的专用视频应用程序服务器，降低每个订户的配置&操作成本。

5.在一个实施例中，降低执行在线编辑系统的所有实时功能所需的计算功率，并允许这些实时编辑功能的软件实现方式。

6.在一个实施例中，除了最终用户工作站之外，还使得最终用户能够支持经由移动手持装置、个人媒体播放器、膝上型计算机和个人计算机上的SW客户机来自动进行的视频编辑和其他处理。

7.通过将诸如防抖摄像机运动补偿信息(可在移动装置中的成像器模块中获得该信息)的信息传送给以下多项中的一项或多项来使得能够进一步改进移动视频服务的端对端功能性和性能：手持装置中的随后的视频编码译码器、移动网络中的视频处理应用程序服务器、和/或接收视频回放装置。

视频编辑服务(例如，“自动视频编辑系统”)还能够被用于补偿或校正有限的摄像机低光敏感度、成像元件(通常的CMOS、CCD或类似装置)、和/或来自摄像机模块的镜头的失真中的一个或多个，以补偿视频记录期间发生的摄像机抖动。

在一个实施例中，然后可以(例如)通过提供由视频编码译码器以其他方式从输入视频数据中提取的额外的运动补偿信息，使用这种信息来进一步降低视频编码译码器的计算要求。这种信息还可以被用于进一步补偿摄像机运动，该摄像机运动可能发生在移动装置中的视频拍摄期间、随后在移动网络中的视频处理应用程序服务器中所进行的编辑以及进一步的视频处理期间。根据一个实施例，这种信息还可以被用于重新创建摄像机运动效果，该效果可能是随后在移动网络中的视频处理应用程序服务器中、和/或在接收视频回放装置中所进行的编辑以及进一步的视频处理期间在移动装置中的摄像机模块中经由视频前期处理而先前去除的。

利用本公开文件的实施例，将移动视频服务投入到使视频与家庭影院质量广播(例如，诸如30帧每秒的VGA的全尺寸图像格式)相关联的市场中。这种大容量数据利用的处理超过了移动手持装置中的实时视频拍摄(编码)可利用的电池功率和计算资源。

在一些情况下，可以在演播室环境(其中高复杂度译码器可以运行在计算机工作站上)中对广播和流应用程序的视频内容执行译码。由于在手持装置自身中实时拍摄视频消息，因此它们被限于更小的尺寸和更低的帧率。

本公开文件的实施例包括可以实现为移动手持装置和MSS应用程序服务器中的应用程序的低复杂度成像应用程序(例如，用于移动手持装置的视频编码译码器客户机、用于MMS应用程序服务器的视频编辑和处理应用程序)，以降低手持装置架构的复杂度以及移动成像服务平台架构的复杂度。

根据本公开文件的实施例，视频编码译码器解决方案降低了或消除了多媒体手持装置中的基带处理器和视频加速器的成本和要求。与经由OTA下载来安装编码译码器后期制造的能力相结合，该全SW解决方案根本上降低了手持装置开发和视频消息服务架构和配置的复杂度、风险和成本。降低的可携式摄像机电话开发时间和提高的产品平台灵活性进一步提供了摄像机电话成本降低。

根据本公开文件的SW视频代码转换机和编辑、存储、搜索、检索应用程序使得能够进行所配置的MMS控制(MMSC)基础结构的自动网络上(OTN)升级、以及利用标准PC和服务器来运行这种应用程序。另外，本公开文件的小波代码转换机提供了具有小波视频格式与其他基于标准的视频格式和专有视频格式之间的完整互操作性的载波。本公开文件的实施例还包括嵌入在所传送的每个视频流上的软件译码器，使得能够在普通手持装置和PV视频播放器上具有“自播放”功能，并一起消除代码转换的成本和复杂度。

在一个实施例中，视频平台允许快速配置新的MMS服务。本公开文件实施例中的一些实施例还提供了利用其他现有技术所不能得到的处理速度和视频制造精确性。这种新的MMS服务本身是本公开文件的多个方面。

本公开文件的小波编码译码器在其高效处理静止图像和视频的能力上是独特的，并因此可以利用能够同时支持移动图片邮件和视频消息服务的低成本且低功率的单一解决方案替代单独的MPEG编码译码器和JPEG编码译码器。本公开文件的实施例还包括通过与手持装置中的随后的视频编码译码器、移动网络中的视频处理应用程序服务器、和/或接收视频回放装置共享诸如在移动装置中的成像器模块中获得的防抖摄像机运动补偿信息的信息来改善移动视频服务的端对端功能和性能。

改进的基于小波的图像处理

本公开文件的多个方面还利用了(例如)具有比基于DCT的编码译码器更低的计算复杂度的视频压缩/解压缩(编码译码器)装置中的3-D小波变换。

图8提供了传统的DCT编码器技术的相关计算要求和根据一个实施例的本公开文件的示例性技术的相关计算要求的对比。小波变换阶段的应用程序还使得能够设计具有极大地降低了计算复杂度的量化和熵编码阶段。

图9示出了根据一个实施例通过本公开文件的多个方面所使能的视频编码译码器计算要求上的降低。

在一些实施例中，小波编码译码器(例如，3D小波代码)还可以向移动成像应用程序、装置和服务提供以下多项中的一项或多项：

●对称的低复杂度视频编码和译码；

●SW编码译码器和HW编码译码器实现方式的低处理器功率要求；

●既作为本地代码又作为Java应用程序的具有与现有商业移动手持装置相兼容的处理器要求的30fps(或更高的)帧率的VGA(或更大的)视频的软件编码和译码；

●用于SoC集成的低门数ASIC核；

●低缓冲存储器要求；

●既支持静止图像(～JPEG)又支持视频(～MPEG)的单一的编码译码器；

●更短的图片组(GOP)所导致的简化视频编辑(剪切、插入、文本覆盖)；

●更短的GOP所导致的与语音编码译码器的简化同步；

●更短的GOP所导致的对于增强视频流的低等待时间；

●自适应速率控制、多播、和联合源通道编码的精细颗粒可扩展性；

●对新兴HDTV视频格式的低复杂度性能扩展；

●将小型SW译码器(＜40kB)与传送的每个视频流集成在一起，以使得能够进行与普通手持装置和PC视频播放器相兼容的“自播放”视频消息；

在一些实施例中，小波变换的应用程序在上升结构中利用了小的双值整数滤波器系数。例如，可以利用它们的Haar 2-6和5-3小波和变分。

在一个实施例中，可以使用提升方案计算算法。例如，利用使得能够进行原位计算的提升方案来计算这些滤波器。

这降低了寄存器和临时RAM位置的使用，并保持高效率利用高速缓冲存储器的本地参考。

在一个实施例中，可以使用具有定制的金字塔结构的金字塔形状的小波变换。例如，本公开文件的一些实施例还包括基于从之前小波等级得出的数据的一半来计算小波变换序列的每个等级，使得整个计算几乎独立于等级的数量。在一个实施例中，定制金字塔以提供上述提升方案的优点并进一步节约寄存器利用率和高速缓冲存储器带宽。

在一个实施例中，可以利用块结构。例如，本公开文件将图片分割为多个矩形块并独立于其他块来处理每一块，从而使得能够保持存储器参考是本地的并利用处理器高速缓冲存储器中剩余的数据来进行整体的变换金字塔，在大多数的存储器中存储极大量的数据运动。在HW实施例中该块结构可以是有利的，这是由于其避免了对信号流中的巨大中间存储能力的要求。

在一个实施例中，可以使用块边界滤波器：本公开文件在每个块的边界处利用了改进的滤波器计算，如序列号为10/418,363的美国专利申请所陈述的，其避免了尖锐伪像，通过参考的方式将该专利申请结合到本文中。

在一个实施例中，可以使用色度暂时去除：例如，利用序列号为10/447,514的美国专利申请中所陈述的用于GOP的色度的单一场，通过参考的方式将该专利申请结合到本文中。

在一个实施例中，可以使用利用3D小波的暂时压缩。相反，本公开文件的某些实施例计算场对场(field-to-field)的暂时小波变换。这计算起来非常廉价。在一个方面上，还使用了利用提升方案的短整数滤波器。

在一个实施例中，可以使用双值量化算法。在本公开文件的某些实施例中，利用在系数位置范围上统一进行二进制移位操作来完成压缩处理的量化步骤。

在一个实施例中，可以使用打桩算法(piling algorithm)。例如，在本公开文件的一些实施例中，通过进行零运行(run-of-zero)转换来降低通过以下的熵编码器所处理数据量。在某些实施例中，序列号为10/447,455的美国专利申请中所披露的方法和公开文件被用于对平行处理架构的零运行进行计数，通过参考的方式将该专利申请结合到本文中。

在一个实施例中，可以使用循环效率熵编码。例如，可以利用将传统的表格查找与输入符号的直接计算结合起来的技术来完成压缩处理中的熵编码步骤。由于已经对符合分布进行了表征，可以使用诸如Rice-Golomb或exp-Golomb或动态单调的简单熵编码器。熵编码器的选择在细节上依赖于处理器平台能力。可以使用通过参考的方式结合到本文中的序列号为10/447,467的美国专利申请中所披露的方法以及通过参考的方式结合到本文中的序列号为11/232,726的美国专利申请。

本公开文件的多个方面还使得能够在小波变换域中完成视频编辑处理或操作，从而存储反向小波变换和正向小波变换的计算，并还存储通过对相比于像素数据值的传统操作所需的数据项目少的数据项目进行访问和改变来进行的计算。这种利用简化的计算来在小波变换域中完成的这种视频编辑处理的实例还包括但不限于：

1.褪色为黑色

在一个实施例中，开始于小波变换数据(系数而非像素数据值)，通过每个时间步骤中的某些量来降低图片(如果有块的话，或每个块)的Luma DC系数，从而使得整体的亮度水平平滑地降到黑色。当DC水平达到全黑色时，该降低停止，否则除了全黑之外将继续降低以确保图片的所有部分已达到黑色。注意，在Droplet的目前的商业编码译码器中所使用的块变换的情况中，在每个时间步骤访问和/或改变数据的约1/256，或者在非块全变换小波实现方式的情况中的数据的约1/300,000。

2.褪色为白色

根据一个实施例，这类似于褪色为黑色(除了将DC系数逐渐提高到全亮度水平之外)。

3.抹掉

在一个实施例中，开始于同样的小波变换数据系数，在每个连续时间步骤，我们按照精细到粗糙的空间细节顺序来替代接下来的系数。该顺序对应于JPEG和MPEG编码中的系数的“反向Z字型扫描”顺序。在最终时间步骤处，我们用代表中间灰色的值来替代DC系数。在块变换的情况中，在图片的每个块中完成该替换。该处理具有使图像模糊直到没有信息留下的效果。注意在每个时间步骤访问和/或改变数据的约1/256。

4.切希尔褪色(Cheshire Fade)(褪色为精细细节)

在一个实施例中，开始于同样的小波变换数据系数，在第一时间步骤，我们用代表中间灰色的值来替代DC系数。在每个连续的时间步骤，我们按照粗糙到精细的空间细节的顺序来替代接下来的系数。该顺序对应于JPEG和MPEG编码中的系数的“Z字型扫描”顺序。在块变换的情况中，在图片的每个块中完成该替换。注意在每个时间步骤访问和/或改变数据的约1/256。

5.颜色校正

开始于同样的小波变换数据系数，我们只改变色度DC系数。这具有改变跨越整个图像的颜色平衡的效果，并且只需要访问和改变数据元素的1/256或更少。

改进的移动成像手持装置架构

图10示出了根据一个实施例的由本公开文件的多个方面所使能的移动成像手持装置架构。

改进的视频处理和应用程序服务器架构

图11示出了根据一个实施例的视频处理和应用程序服务器架构，其中包含专用数据处理元件的单独的线卡被通用个人计算机(PC)中央处理单元(CPU)所替代，专用数据处理元件包括但不局限于：数字信号处理器(DSP)、特定用途集成电路(ASIC)、多媒体处理器、及可重新配置处理装置(RPD)。

图12示出了根据一个实施例的视频处理和应用程序服务器架构，其中，根据本公开文件的基于小波的SW视频代码转换机和编辑、存储、搜索、检索应用程序替代了运行在数字信号处理器(DSP)、特定用途集成电路(ASIC)、多媒体处理器、及可重新配置处理装置(RPD)上的基于DCT的视频处理。

本公开文件的各种实施例提供了对MMS应用程序服务器架构的增强。例如，可以考虑若干种实现方式选项，用于改进的视频处理和应用程序服务器(见图13)中的SW基于小波的视频处理和应用程序。可以经由OTN下载将成像应用程序安装到服务器的多媒体处理部。还可以在加工期间、在销售点、或在安装期间将该成像应用程序安装到服务器的多媒体处理部。另外的实现方式选项也是可能的。

根据本公开文件的多个方面，通过经由基于HW的处理资源来使一些计算元件加速以利用在移动装置计算HW(ASIC、DSP、RPD)和集成技术(SoC、SIP)方面的进展，可以改进视频处理和应用程序服务器的性能，并可以降低成本和功耗。若干全HW选项可以被实现用于将这些基于硬件的处理资源集成在服务器中(见图14)。

根据一个实施例，如图15所示，本公开文件的多个方面所提供的用于视频处理应用程序的混合架构可以通过在HW中实现一些计算加强的、重复的、固定的功能、以及在SW中实现一些功能(对于这些功能的后期加工和后期安装的改进式期望的且要求的)来提供增强。

改进的视频编辑、归档、及检索系统

图16示出了根据一个实施例的用于广播应用程序的分布式视频编辑系统的功能和元件，包括支持视频归档和检索功能的元件。本公开文件的多个方面使可以支持移动个人“媒体制造器”服务(而不仅仅是商业广播服务)的这种分布式虚拟演播室系统的设计和配置简化并加速。本公开文件的实施例还包括以下多项中的一项或多项：

1.视频编码、译码、和编辑的降低的计算复杂度；

2.在小波变换域中执行视频编辑步骤或操作，从而存储反向小波变换和正向小波变换的计算，并还存储通过对相比于像素数据值的传统操作所需的数据项目少的数据项目进行访问和改变来进行的计算；

3.允许移动视频应用程序运行在低成本、低功率的PC CPU上而非专用的、昂贵的、高功率的DSP或ASIC上；

4.更少的、不太昂贵的基于PC的服务器可以替代大量的专用视频应用程序服务器，降低每个订户的配置&操作成本；

5.降低执行在线编辑系统的所有实时功能所需的计算功率，并允许这些实时编辑功能的软件实现方式；

6.除了最终用户工作站之外，还使得最终用户能够支持经由移动手持装置、个人媒体播放器、膝上型计算机和个人计算机上的SW客户机来进行的自动视频编辑和其他处理；

7.使能移动视频服务的端对端功能性和性能；这是通过将诸如防抖摄像机运动补偿信息(可在移动装置中的成像器模块中获得该信息)的信息传送给以下多项中的一项或多项来使能的：手持装置中的随后的视频编码译码器、移动网络中的视频处理应用程序服务器、和/或接收视频回放装置。然后例如通过提供必须以其他方式由视频编码译码器从输入视频数据中提取出的额外的运动补偿信息，这种信息可以被用于进一步地降低视频编码译码器的计算要求。

这种信息还可以被用于进一步补偿摄像机运动，该摄像机运动发生在移动装置中的视频拍摄期间、随后在移动网络中的视频处理应用程序服务器中所进行的编辑以及进一步的视频处理期间。在一个实施例中，这种信息还可以被用于重新创建摄像机运动效果，该效果可能是在编辑期间以及随后在移动网络中的视频处理应用程序服务器中、和/或在接收视频回放装置中所进行的进一步的视频处理期间在移动装置中的摄像机模块中经由视频前期处理而先前去除的。

改进的移动成像服务平台架构

根据本公开文件的实施例的改进的移动成像服务平台架构的部件(见图17)包括以下多项中的一项或多项：

●移动手持装置

●移动基站(BTS)

●基站控制器/无线电网络控制器(BSC/RNC)

●移动交换中心(MSC)

●网关服务节点(GSN)

●移动多媒体服务控制器(MMSC)

●成像服务下载服务器

MMSC(见图17)中包括的功能包括以下多项中的一项或多项：

●视频网关

●Telco服务器

●MMS应用程序服务器

●存储服务器

本公开文件的实施例包括用于采用该改进的成像服务平台的处理，该改进的成像服务平台包括以下多项中的一项或多项：

处理1.

用信号通知网络视频编辑/处理应用程序可用于更新所配置的MMSC。可以经由自动OTN配置或经由手动步骤来安装该更新；

处理2.

经由自动OTN配置或经由手动步骤来安装和配置视频编辑/处理SW应用程序(见图17)；

处理3.

用信号通知订户手持装置移动视频成像应用程序可用于下载和安装；

处理4.

如果订户接受，并且成功完成交易结算，则下载并安装移动视频成像应用程序；

处理5.

用信号通知网络手持装置升级完成。激活服务和相关应用程序。按月更新订户的账单记录以反映移动视频成像应用程序的新的费用；

根据本公开文件的一个实施例，图18示出了通过将SW译码器集成在传送的视频流上而实现的“自译码”视频MMS功能，其消除了转换代码的需要并允许现有的视频处理/应用程序服务器对本公开文件所提供的视频格式进行处理。

根据本公开文件的多个方面，图19示出了所配置的视频处理和应用程序服务器的OTN升级。

根据本公开文件的一个实施例，图20示出了配置媒体制造器服务(诸如自动或手动编辑用户创建的视频、以及用户创建的视频的数据库存储、搜索及检索)所需的视频应用程序服务器的数量、成本、及复杂度上的降低。

根据本公开文件的一个实施例，图21示出了结合了改进的基于小波的编码译码器/可携式摄像机应用程序、以及改进的视频编辑/处理、及数据库存储、搜索和检索的视频消息/共享/呼叫平台的功能处理。

根据本公开文件的一个实施例，图22示出了就更快速的、更低成本的开发和配置更高质量的多媒体手持装置&服务而言的优点，包括配置新的个人多媒体市场平台的能力，在该个人多媒体市场平台中，用户能够预览、共享、购买、销售用户创建的音频/视频内容的“软”拷贝(下载)或“硬”拷贝(“DVD”)。本公开文件还允许更高效的用于数据库索引的视频“加标签”和网络(RSS)供给，并支持通向现有基于网络的市场(诸如E-bay、Google、Yahoo、Microsoft和其他入口)的接口。

根据本公开文件的一个实施例，图23示出了上述视频消息/共享/呼叫平台的应用程序，该平台结合了改进的基于小波的编码译码器/可携式摄像机应用程序和改进的视频编辑/处理和数据库存储、搜索、及检索以在以下网络上配置新的视频服务：固定无线网络、移动无线网络、及有线网络、以及组合了固定无线架构、移动无线架构、及有线架构的元件的“会聚”网络。

本公开文件，在一个实施例中，利用其基于小波的移动视频成像应用程序、手持装置架构、以及服务平台架构实现了更高的移动视频图像质量、更低的手持装置成本和复杂度、以及降低的服务配置成本的目标。

本公开文件的成像解决方案根本上降低了视频编辑服务器中的要求和处理器成本。与经由OTN下载来安装并升级视频编辑应用程序后期制造的能力相结合，该SW解决方案能够根本上降低视频消息和共享服务配置的复杂度、风险和成本。

本公开文件向移动操作者提供了第一移动视频消息和共享平台，该平台提供了消费者和企业客户所采用的巨大市场所需的视频质量和服务配置成本。本公开文件提供了一种SW可携式摄像机电话应用程序，该应用程序仅利用已经结合在绝大多数多媒体手持装置中的单一的标准RISC处理器就能够实时拍摄30帧每秒(fps)的全(VGA)尺寸的图像(640×480像素)。对于移动运营商，本公开文件的低复杂度视频处理和分布技术被集成到强大的软件平台中，该平台使得利用现有的移动手持装置和移动多媒体消息服务(MMS)基础结构能够进行转键(turnkey)配置。

根据一个实施例，对上述的SW移动可携式摄像机应用程序进行补充，本公开文件的内容管理平台向运营商提供了用于将根据本技术的压缩过的图像和视频连同声音和文本一起集成到完成的移动多媒体消息和“铃音(ring-stone)”中的模块，还有空中编辑、缩略图预览、多媒体邮箱、在线资料档案库、共享和交易服务、以及订阅管理。

典型的视频数据段通常还可以包括或结合其他类型的数据。这种其他数据可以包括获得的同步于视频的音频数据。其还可以包括包含元数据的其他数据，元数据包括拍摄时间、位置信息(起源于GPS、移动蜂窝信号楼位置、来自摄像机图像数据的景物标识、无线发射机(例如WIFI)标识等)、用户标识、移动装置标识、用户添加的信息(包括用户对包括视频服务查询的服务查询、加标题、命名、后添加的注释音频数据的响应)。

该数据还可以包括起源于这样的视频和音频数据的元数据，该视频和音频数据拍摄于或起源于视频拍摄处理。其还可以包括起源于额外的传感器装置的元数据，例如，起源于回转仪或角速率传感器的抖动数据。可以以各种方式将该额外的数据用在视频编辑、存储、搜索、检索、位置标识、与广告的集成、对摄像机用户的视频提供、以及本申请中描述的其他服务中。

在一个实施例中，视频传送是基于用户的位置的。例如，移动装置(例如，蜂窝电话、黑莓(BlackBerry)等)可以包括GPS追踪功能，从而可以识别移动装置用户的位置用于将地理专用视频数据传送给该用户。

基于位置的视频可以作为通过用户的位置来确定的风景旅行。例如，不熟悉维也纳的意大利旅行者可以请求来自移动装置的维也纳特有的信息。可以(例如)基于请求和/或基于用户设置自动地将现场旅行的流视频传送给该用户。类似地，基于识别出的用户地理位置可以向该用户建议和/或提供地理特有的视频模板。

可以基于用户设置在请求时提供或自动提供这种动态模板建议。例如，如果用户在纽约城中拍摄视频，则可以将(例如)帝国大厦、自由女神像等的模板提供给该用户。

此外，可以基于用户的地理位置来提供视频增强。例如，可以在提出请求时提供或自动提供预先录制的用户当前位置的视频，用于增强用户拍摄的视频。在一个实施例中，可以提供目标广告，例如，用户数据。

用户数据可以包括地理数据、年龄数据、订阅数据。可以从各种来源(诸如用户提供的信息、账单信息、订阅信息、实时收集的信息(例如，呼叫记录、用户地理位置等))来搜集用户数据。

可以使用这种用户数据来确定用户的偏爱和嗜好，以(例如)传送目标广告。在一些实施例中，可以提供对所观看的广告的服务费用抵消。

本公开文件的一个或多个实施例可以实现在一个系统中，例如，在一个示例性实施例中，下述的视频编辑服务系统(例如，自动视频编辑服务系统)。

自动视频编辑服务(AVES)系统

本公开文件优选实施例的一个实例可以包括自动视频编辑服务(AVES)。图24a示出了根据本公开文件的部件的一种可能的示例性概述，其可以包括AVES组成。

在一个实施例中，视频编辑服务响应于(例如)利用视频拍摄功能经由便携式装置所产生的用户请求来提供视频编辑服务。可以经由路由系统将该视频编辑同时提供给多个用户，若干个视频处理器。

在一个实施例中，路由器追踪一个或多个视频处理器的操作状态，使得可以将新的处理任务路由到不处于操作中的视频处理器，或者将新的处理任务路由到具有短一些的任务队列的处理器。因此，可以同时进行多个视频处理任务。

在一个实施例中，该视频编辑服务经由移动装置向用户提供一个或多个模板。一个或多个模板可以预先存储在移动装置中。在一些实施例中，可以经由移动装置(例如)基于用户的请求或者基于用户设置等自动地下载这些模板。在一些实施例中，可以基于用户特有的数据来提供这些模板，可以经由多种处理之一来收集这些数据，诸如(例如)GPS功能、经由信号楼获得的三角测量数据、用户订阅数据等。在一个实施例中，可以向用户提供模板以收取费用。

对视频编辑的请求可以包括如用户所选的视频片段和模板。可以在发送请求之前由用户来剪辑该视频。在接收到对视频编辑的请求时，视频服务器对该请求进行处理并执行用户所指定的编辑。这些编辑可以包括利用与用户所选的模板相关联的视频编辑。

可以将经编辑视频的至少一部分发送回用户，使得利于实时预览这些编辑。在用户指示同意编辑时，可以将经编辑的全长版视频发送回该移动装置。在一个实施例中，在用户请求时，可以经由移动装置将经编辑的视频发送回多个将要接收的接收者。在一些实施例中，基于用户设置，可以将经编辑的视频提供给多个用户，例如，以接收与特定主题的视频有关的视频。

参照图24a，AVES可以包括视频编辑服务客户机(VESClient)2410。该VESClient可以包括可以运行在指定的任意移动操作系统上的移动应用程序。优选地，VESClient可以包括将AVES协调为发送并编辑所编码的视频的应用程序。根据本发明的一个实施例，VESClient可以经由WiFi与AVES连接。应当注意到，可以使用未来开发的任意其他方法或任意已知方法来使VESClient与AVES连接起来。

VESClient可以包括许多特征。这些特征包括但不限于以下多项中的一项或多项：字幕屏幕(其可以包括诸如(例如)发送/编辑视频、我的好友、我的画室、我的视频的选项)，选择一个或多个视频的能力，支持具有MP3或WMA音频追踪的AVI存储器，调整(即，将视频截到特定长度)视频的能力，预览经调整(例如，截短)的视频的能力，重新调整的能力，给视频加字幕的能力，示出所激活模板的能力，将多个视频接合在一起，将视频和/或音频序列发送给AVES，预览经编辑的视频合成文件(在一些实施例中，可以在视频上传开始的10秒内开始该预览)，基于用户联络(可以通过网站来管理用户联络)显示接收者列表，直接接收期望的接收者的电话号码和/或邮件地址的输入的功能，以及示出从VESClient发送给AVES的最后N条视频的概要(其中，N可以是任意整数)。在一个实施例中，小波编码译码器(例如，3D小波编码译码器)可以用于视频压缩。

在一个实施例中，AVES包括一个或多个服务交换点(SSP)2420。图24b示出了与N个VESClient和X个TP相连接的SSP的一个示例性实施例(其中，N和X是可以彼此相等或可以彼此不相等的整数)。SSP可以包括交换机，该交换机处理输入的客户机连接并将它们分配给可用于视频编辑的模板处理器。例如，该SSP可以执行负载平衡并可以形成分布式网络以在任意时间对可连接到模板处理器或模板处理器阵列的并发VESClient的数目进行扩展。

该SSP可以包括许多特征。这些特征可以包括但不限于以下多项中的一项或多项：处理一个或多个VESClient，以及处理连接到一个或多个SSP的一个或多个模板处理器。可以通过在配置文件中指定参数值来配置该SSP。

在一个实施例中，该系统可以接受用户登录并确定该登录在AVES数据库中是否合法。在一个实施例中，该系统可以确定是否存在处理VESClient编辑请求的可利用的模板处理器。在一个实施例中，该系统可以基于所确定的模板处理器状态将忙碌状态通知给VESClient。在一个实施例中，该系统能够从AVES数据库获得联络和/或模板信息并将该信息发送给VESClient。在一个实施例中，该系统接收来自VESClient的编辑请求并将该信息存储到数据库中。在一个实施例中，该系统还能够将模板和编辑信息合并起来，并能够接收来自VESClient的数据组块并将数据组块转发给模板处理器。

在一个实施例中，该系统可能能够获得来自AVES数据库的预定数量的由该用户上传的视频(例如，最新10个视频)的概要并将该信息发送给VESClient，该系统可能还能够接收来自VESClient的预览请求并将该请求转发给模板处理器，能够接收来自模板处理器的用于预览的数据流(例如，AVI数据流)并转发给VESClient，该系统还可以接收来自VESClient的预览“跳过”并通知模板处理器。在一个实施例中，该系统还可以接收来自VESClient的预览“取消”并通知模板处理器。

在一个实施例中，该系统可能能够对AVES数据库进行扫描以识别新预定的作业，例如，管理模板处理器处理(例如，载入或无效)。在一个实施例中，该系统可能能够在视频被编辑后将新的视频通知发送到接收者。

AVES还可以包括一个或多个模板处理器(TP)2430。TP可以接收来自SSP的编辑请求。例如，可以将编辑请求发送到TP用于处理，并且TP还可以提供视频的按比例缩小预览版本用于在对被编辑视频进行合成时实时传送回VESClient。在一个实施例中，TP可能还能够监控每个用户的磁盘使用率以防止用户占用过多存储器。

TP可以包括特别配置的用于完成AVES的视频编辑处理或其一部分的软件系统。多个分立的TP可以在同一硬件平台上同时进行操作并共享同一处理器或处理器组。可以将TP配置为阵列，使得SSP可以将VESClient需要指向可利用的TP之一。因此，该架构是高度可扩展的，并能够利用相对低成本的普通平台(其具有在每个平台上可利用的多个软件TP引擎)来构建(即，不是定制视频编辑硬件平台)。每个硬件平台可以具有其自己的SSP，或者在一些实施例中，一个硬件平台上的SSP可以利用不同硬件平台上的TP进行功能性操作。

该TP可以包括许多特征。这些特征可以包括但不限于以下多项中的一项或多项：接收来自SSP的编辑信息(例如，除了用于产生经编辑视频的其他元数据之外，该编辑信息还可以包含视频编辑模板的XML描述)，对编辑信息进行分解以确定如何合成最终视频。

在本公开文件的一个实施例中，可以接收来自SSP的上传数据流(其可以是AVI)。在一个实施例中，可以存储最初的原始数据文件用于上传的视频。此外，来自AVI文件的视频和音频可以是多路解编的。其他实施例可以包括：接收经编辑的视频和音频(可以通过包含在相关联模板中的信息来指引TP)，以及在服务器上重新多路复用经编辑的视频和音频、和/或将经编辑数据存储为AVI文件。

一个实施例还包括以下能力中的一种或多种：将视频接合到上传供给的开始或结尾，将多个视频接合在一起，使具有与该目标编辑视频不同的分辨率的静止图片居中或伸展适应，混合音频追踪，根据所选模板或通过分析场景变换而在视频片段之间制造一些变换效果(在其他可能性中，该变换效果可以包括擦、叠象渐变、渐隐、飞行、放大、遮蔽、制成方格式、及消失)，将视频片段转换为黑&白或棕褐色，向视频添加时间戳、日期戳、和/或位置戳，从经编辑视频创建幻灯片秀，制造预览AVI流(该视频可以包括减小的帧尺寸和降低的帧率)。

本公开文件的实施例还包括以下多种能力中的一种或多种：接收来自SSP的“预览”请求并随后发送回预览视频数据流，接收来自SSP的“预览跳过”请求并随后停止制造预览流，根据用户选择了哪个模板来将多个媒体对象合并为一个AVI，应用视频和音频效果(其可以是基于用户所选的模板的)，在视频片段上应用颜色变形，在视频片段上应用黑和白变换，支持视频片段的动画和背景覆盖，和/或能够插入视频片段的文本说明。

AVES还可以包括网站2440。用户可以使用该网站来观看其视频的列表。例如，可以由该用户来创建视频，或者可以由其他用户将视频发送给该用户。用户还可以使用该网站编辑联络信息、激活模板、以及激活媒体。在一个实施例中，该网站还可以向用户提供以下能力中的一种或多种：邀请好友观看视频，载入模板编辑器，激活音频追踪，通过位置显示视频，显示用户上传的视频列表或发送给用户的视频列表，购买新的模板，以及允许用户维护联络列表。应当注意这不是用户经由该网站可获得的特征的详尽列表。可以包括其他特征。

AVES还可以包括模板编辑器(TE)2450。在一个实施例中，TE是用于创建定制模板的工具。该模板编辑器可以是基于并运行在用户浏览器上的Flash。在一个实施例中，TE可以通过互联网或任意其他类型的网络(诸如LAN，WAN)与AVES进行交互。

在一些实施例中，TE还可以提供一项或多项用户服务，诸如：创建可以对包括变换成分、背景音乐、和/或静止图片的视频片段进行组合的模板；将媒体添加到模板中；在两个视频片段之间插入变换；混合音频追踪；预览图片、音频追踪、和/或视频元素；在图片上设置属性(诸如(例如)如果需要使图片居中或伸展适应)；设置持续显示静止图片和变换；将视频槽插入到模板中；将制造出的模板上传到AVES；预览模板如何工作；为每个视频和音频元素设置属性；为视频片段设置属性，例如，颜色变形、动画、背景覆盖、和/或文本说明；相对于其覆盖的其他追踪来设置音频追踪的权重；以及示出用户激活的模板。

AVES还可以包括PHP服务2460，其可以包括网站和/或TE所使用的一组PHP文件以允许访问AVES数据库。这些PHP文件还可以为接收PC应用程序提供支持以得到关于何时可利用新视频的通知。

AVES还可以包括接收PC应用程序(ReceivingApp)。该接收PC应用程序可以是这样的应用程序，该应用程序对服务器进行周期性轮询以观察用户是否向服务器发送了新的视频。还可以将其设置为需要用户id和口令来进行登录。当新的视频到达时，它还能够用于登录网站，并且它还能够检测是否安装了小波编码译码器(例如，3D小波编码译码器)。另外，如果不存在编码译码器，则接收PC可以安装该编码译码器(如果编码译码器不存在)。可以从服务器获得该编码译码器。

AVES还可以包括数据库2470。在其他项目中，AVES数据库可以配置为保存来自TE的关于用户账户、上传的视频、经编辑的视频、媒体、模板、及所预定的作业的信息。应当注意到数据库可以配置为存储所期望的任意信息。

AVE设置实例

该实例示出了本发明的示例性实施例的架构设置和利用图案的一个实例。

VESClient

1.VESClient从本地配置文件中得到服务器信息并利用该信息来连接到AVES。优选地，用户不必配置服务器IP地址信息，因为这将被自动处理。

2.如果用户是第一次登录到AVES，则他/她必须输入他/她的移动电话号码。稍后VESClient可以利用所存储的该号码来自动登录。

3.如果对于AVES来说该移动电话号码是已知的，则登录成功。

4.在登录到AVES之后，AVES将模板列表和接收者列表返回给VESClient。

5.用户可以从模板列表中选择一个激活的模板，在本地系统中选择一些视频，并具有对这些视频中的一些进行调整的选项(可以在另一子窗口中实现调整操作，在另一子窗口中，用户可以设置所选视频的开始点和结束点，并且将利用所选的这两点来对视频进行调整)。用户可以反复调整视频直到用户满意。

6.对于给定模板，用户可以选择与模板中的槽数目相等的视频数量。在括号中会有指示符，建议一个槽中应当包含多少个片段。

7.用户还可以在上传之前为视频提供字幕。

8.VESClient可以将所选的经调整视频上传到AVES。

9.用户可以在上传发生的同时预览经编辑的视频。用户还可以直接取消预览或跳过预览。

10.在上传完成之后或者如果用户跳过预览，则用户可以通过从他们的联络列表中选择联络来决定谁接收经编辑的该视频。用户还可以管理其来自电话的联络。

11.在将经编辑视频发送给接收者之后，VESClient可以呈现该用户上传的最新10个视频。

12.用户可以返回到VESClient内的主屏幕。

SSP(服务交换点)

对于VESClient

1.VESClient连接到SSP并发送其移动电话号码。SSP可以进行检查来查看该移动电话号码是否存在于数据库中。

2.如果该号码不存在，则将通知用户他们需要签名加入账户。

3.在登录进入之后，SSP可以从AVES数据库中检索该用户的联络信息和模板列表并将其发送给VESClient。

4.然后SSP可以接收来自VESClient的编辑信息。

5.SSP可以从AVES数据库中检索用于所选模板的细节。然后SSP可以将该模板和编辑信息合并在一起并将该编辑信息存储到AVES数据库中。

6.然后SSP可以将合并后的信息发送给相应TP。

7.然后SSP可以接收来自VESClient的输入数据流并将该数据直接转发给TP。

8.SSP可以接收来自VESClient的对预览的请求。然后SSP可以告知相应的TP发回视频数据流。

9.然后SSP可以接收来自TP的视频数据流并将其转发给VESClient。

10.TP可以通知SSP其何时完成了该编辑处理。SSP可以告知VESClient该编辑处理已完成并在数据库中作批注。

11.SSP可以接收来自VESClient的字幕和接收者信息，并将该信息存储到数据库中。

12.SSP可以接收来自VESClient的对历史的请求，并然后可以返回由相应的用户创建的最新10个视频。

13.在完成整个处理之后，SSP可以清除AVES中的所有相关信息(诸如临时视频文件和在编辑处理期间所使用的数据库条目)。

对于TE

1.SSP可以定期检查预定的“现在就尝试(Try it now)”作业表格。

2.如存在等待作业，则SSP可以检查是否存在该作业可利用的TP。如果不存在可利用的TP，则可以保存该作业直到有了可利用的TP。

3.SSP可以读取关于该作业的信息并从数据库中检索新创建的模板。然后SSP可以合并该模板和作业元数据。

4.SSP可以将合并后的作业信息发送给TP。

5.在TP完成该处理之后，TP可以通知SSP。然后SSP可以通过更新数据库来通知网站该处理已完成。

6.在整个处理完成之后，SSP可以清除AVES中的所有相关信息。

TP(模板处理器)

1.TP可以接收合并后的模板并对其进行分解。

2.TP可以接收上传的视频数据流并将其存储为原始文件。

3.TP可以根据分解后的模板对数据流进行编辑。

4.TP可以将结果存储为经编辑文件。

5.TP可以制造用于预览的视频(该预览将存储在存储器中)。

6.TP可以接收预览请求，然后将该预览流发送回SSP。

7.如果TP接收到跳过预览的请求，则TP可以停止制造预览数据流并删除存储器中的所有预览组块。

8.在TP完成之后，TP可以通知SSP。

网站

根据网站是由用户来访问还是由管理员来访问，该网站可以具有不同的选项。该网站可以具有使用户和管理员登录和退出的能力。

该网络可以向用户提供以下能力：注册、管理联络、管理视频(例如，观看发送的视频、接收到的视频、上传的视频等)，管理媒体(例如，欣赏音乐、购买音乐、观看背景图像、购买背景图像、观看模板、购买模板等)，以及创建新模板。

该网站可以向管理员提供以下能力：管理媒体(例如，创建音乐、删除音乐、创建背景图像、删除背景图像等)，以及管理模板(创建和删除模板)。

TE(模板编辑器)

1.用户可以从网站载入TE。

2.用户可以向时间线添加静止图片、视频、变换等。

3.用户可以将背景音乐(以及其持续时间)设置到时间线中的视频槽。

4.在用户完成对模板进行编辑之后，用户可以将模板上传到AVES。

5.在用户上传模板之后，用户通过点击“现在就尝试(Try itnow)”可以预览效果。

6.“现在就尝试”可以指示用户为每个模板的空槽选择已上传到AVES的视频。

7.当“现在就尝试”作业已完成之后，用户就可以观看来自网站的最终结果。

ReceivingApp

1.当窗口开始时，可以载入ReceivingApp。

2.当ReceivingApp载入时可以弹出登录对话框(这可能仅在第一次登录时出现，在此之后用户登录信息可能被隐藏)。

3.用户输入其Droplet Id和口令以进行登录。

4.然后ReceivingApp连接到网站。

5.ReceivingApp可以进行周期性检查以查看对于当前用户是否有一些经编辑视频。

6.如果对于当前用户有一些经编辑视频，则ReceivingApp可以弹出气球通知。

7.如果用户点击该气球，则可以载入该网站。

8.用户可以右击窗口的状态栏中的ReceivingApp图标来打开该网站。

连接

作为分布式系统，AVES部件可以按两种方式进行连接：一种是基于TCP的，而另一种是基于HTTP的。

VESClient&SSP

VESClient和SSP之间的连接可以是套接字的和基于TCP的。在任意VESClient和SSP之间可以存在两种连接。一种连接是用于命令的，其可以是基于专用二进制协议(private binary protocol)。另一种连接是用于预览数据流的。

SSP&TP

SSP和TP之间的连接可以是套接字的和基于TCP的。在SSP和任意给定TP之间可以存在两种连接。一种连接是用于将来自SSP的消息发送给TP。另一种连接是用于接收从TP到SSP的预览数据流。这些消息可以是基于专用二进制协议的。

TE&PHP服务

TE和PHP服务之间的连接可以是基于HTTP的。这些连接可以是基于专用HTTP协议的。

ReceivingApp&PHP服务

ReceivingApp和PHP服务之间的连接可以是基于HTTP的。这些连接可以是基于专用HTTP协议的。

登录和上传处理

参照图25，以下是本公开文件的示例性实施例的涉及AVES的登录和上传处理的工作流程的实例。

1.VESClient将带有移动电话号码的登录消息发送给SSP。

2.SSP检查数据库以查看是否存在与该移动电话号码相匹配的记录。

3.SSP检查是否存在可用于VESClient的TP。

4.如果移动电话号码匹配且存在可用的TP，则成功进行登录。然后SSP从数据库获得模板和联络信息。

5.SSP将模板和联络信息返回给VESClient。

6.用户可以选择模板、选择视频、并对所选视频进行调整。

7.VESClient将编辑信息发送给SSP。

8.SSP从数据库中得到对于该请求的相应模板细节，将模板与编辑信息合并，并将编辑信息存储到数据库中。

9.SSP将合并后的模板发送给TP。

上传和预览

参照图26，以下是本发明的示例性实施例涉及的AVES的上传和预览处理的工作流程的实例。

1.SSP将接收到的视频组块发送给TP。

2.TP将这些组块存储为原始视频文件。

3.TP根据相应模板来编辑这些组块。

4.TP将经编辑的组块存储为经编辑的视频文件。

5.TP制造用于预览的组块。

6.用户可以决定预览何时开始。SSP接收来自用户的预览请求并然后通知TP开始预览。

7.TP将预览组块传送到SSP。

8.SSP将预览组块传送给VESClient。

9.VESClient在Windows媒体播放器中将这些组块显示为视频。

10.用户可以跳过该预览或等待其结束。

11.如果用户跳过预览，则SSP告知TP停止预览。

12.在完成编辑之后，TP告知SSP编辑完成。

13.SSP将必要信息存储到数据库中，并清理数据库。

在上传之后

参照图27，以下是本发明的示例性实施例的涉及在上传之后发生的AVES的处理的工作流程的实例。

1.用户可以选择接收该经编辑视频的接收者。

2.VESClient将所选字幕和接收者发送给SSP。

3.SSP将这些接收者存储到数据库中。

4.VESClient请求上传的最近10个文件的历史。

5.SSP从数据库得到历史。

6.SSP将历史返回到VESClient。

7.VESClient显示历史。

接收

参照图28，以下是本发明的示例性实施例的涉及AVES的接收处理的工作流程的实例。

1.当接收应用程序载入时，弹出登录对话框。

2.用户输入id和口令以进行登录。

3.接收应用程序查询PHP页面。

4.PHP页面检查数据库以查看是否存在任何要发给该用户的视频。

5.如果登录成功，则网站被载入。

6.如果存在要发送给用户的新的视频，则弹出指示符。

7.用户可以点击该指示符以到达该网站。

8.在该网站中，用户可以看到视频列表或带有可利用的视频的地图。

9.用户还可以点击计算机桌面上的应用程序以到达该网站。

登录、编辑&模板上传

参照图29，以下是本发明的示例性实施例的涉及AVES的登录、编辑、和上传模板的处理的工作流程的实例。

编辑

1.当用户创建模板时，他们可以将媒体元素插入到该模板中。这些元素可以包括字幕、静止图片、视频、音频追踪、变换效果等。

2.当用户想要为元素指定媒体资源(例如，图片文件)时，TE会将对可利用资源列表的请求发送给PHP服务。

3.PHP服务接收该请求并查询数据库以找到可利用资源。然后PHP服务将该列表发送回TE。

4.用户可以从该列表中选择资源。

上传模板

1.在用户完成创建模板之后，他们可以点击“上传”按钮以上传模板。

2.上传请求将被发送到PHP服务。

3.PHP服务接收模板脚本并将该模板脚本记录到数据库中。

现在就尝试

参照图30，以下是本发明的示例性实施例的涉及AVES的模板的现在就尝试(Try It Now)功能的工作流程的实例。

1.用户通过点击“现在就尝试”按钮可以尝试新创建的模板。

2.请求将被发送到PHP服务以查询服务器上的可利用视频。PHP服务将视频信息列表返回到TE。

3.弹出窗口列出这些视频。用户选择来自列表的适当数目的视频文件用于模板中的槽。

4.TE将编辑请求递交到PHP服务。

5.PHP服务通过将该作业添加到数据库来预定新作业。

6.SSP对数据库进行定期轮询以检查是否存在新预定的作业。如果发现新预定的作业，则其将查找用于执行该作业的可利用TP。如果找到可利用的TP，则该TP将处理该作业，否则TE将必须等待，直到TP可利用为止。在TP完成处理之后，SSP可以移除该新作业并将新记录添加到最终表格。

7.用户通过检查网页上的视频列表来确定视频何时可利用。

8.在完成编辑处理之后，用户可以点击用于视频列表页面中的经编辑视频的相应链接。这会使预览被载入。

用户经验实例

参照图31-55，该实例示出了用户对本发明优选实施例的经验的一个实例。

图31示出了根据本发明实施例的用户导航地图的一个实例。

图32示出了VESClient的字幕屏幕或主页的一个实例。在图32中所示的实施例中，主页屏幕具有4个按钮：发送/编辑视频、我的好友、我的画室、及我的视频。

点击发送/编辑视频按钮将用户导航到“视频-模板选择”页面，其一个实例被示出在图33a和图33b中。该页面可以允许用户选择视频和模板。图33a和图33b中所示的按钮的可能描述如下：

脚本：选择要使用的脚本。

视频列表：列出所有所选视频。

添加：将视频添加到列表。

字幕：添加视频的字幕。

向上：向上移动位置。

向下：向下移动位置。

移除：从“视频列表”移除视频。

调整按钮：启动视频调整屏幕以对所选视频进行调整。挨着经调整的视频有一个调整图标。

不调整按钮：使帧指针复位以从0开始并在最后一帧结束。

播放：预览该视频。

来自图33a和图33b中所示的屏幕的可能场景如下所示：

1.用户可以选择脚本。

2.用户可以点击“添加”按钮以添加视频。

3.用户可以设置所选视频的顺序。(用户可以从“视频列表”选择视频并然后点击“向上”按钮以向上移动位置。用户还可以从“视频列表”选择视频并然后点击“向下”按钮以向下移动位置。)

4.用户可以从“视频列表”选择视频并然后点击“移除”按钮以将该视频从“视频列表”移除。

5.用户可以从“视频列表”选择视频并然后点击“调整”按钮以弹出“视频调整”页面以调整该视频。

6.用户可以从“视频列表”选择经调整的视频并然后点击“不调整”按钮以取消调整。

7.用户可以从“视频列表”选择视频并然后点击“预览”按钮以预览视频。

8.用户可以从“模板”下拉列表选择模板。

9.用户通过点击“主页”菜单可以返回到VESClient主页屏幕。

10.在选择视频和模板之后，用户可以点击“上传”菜单项目。这将使用户进入“预览”页面。

图34示出了如果用户选择添加视频的话用户将看到的屏幕的实例。

图35示出了如果用户选择预览视频的话用户将看到的屏幕的实例。

图36示出了如果用户选择调整视频的话用户可以看到的屏幕的实例。当选择“调整”来调整视频时，视频可以开始播放。左边的菜单项目可以是“取消”，而右边的菜单项目可以是“设置开始”。如果点击“设置开始”，则右边的菜单项目可以变为“设置停止”。当视频完成播放或用户点击“设置停止”时，视频可以暂停，并且左边的菜单项目可以变为“接受”。视频调整页面可以被划分为三个页面：设置开始位置，设置结束位置，以及播放结束。

图37示出了设置开始位置页面的实例。在该实例中，如果用户选择“取消”菜单项目，则用户可以返回到视频-模板选择屏幕。如果用户选择“设置开始”菜单项目，则设置开始调整位置，并且右边的菜单可以自动变为“设置停止”。

图38示出了设置停止位置页面的实例。在该实例中，用户可以点击“设置停止”菜单项目来设置视频结束位置。如果用户不选择设置停止项目，则可以将视频结尾设置为结束位置。用户可以选择“取消”按钮来重新播放视频并使开始和结束位置复位。

图39示出了接受调整页面的实例。用户可以点击“取消”菜单项目以返回到视频-模板选择页面。然后用户可能能够选择再次调整视频或播放当前调整的选择。用户可以点击“接受”菜单项目以接受修剪后的视频并回到视频-模板选择页面。

如果用户选择预览视频，则可以显示一系列三个视频。图40示出了上传页面，上传页面可以是VESClient首先显示的。最初可以禁止该“预览”按钮，但是一旦预览可利用则为该用户使能该“预览”按钮。在视频正在上传期间可以在一段时间内显示广告。

图41示出了表示视频正被上传且尽管上传继续但预览“现在可利用”的屏幕。

如果选择“取消”，则用户可以返回到“视频-模板选择”页面。图42示出了当用户选择取消上传时的屏幕的实例。可以提示用户确认用户是否要取消视频的上传和预览。如果用户选择预览该视频，则该“预览”按钮可以变为“跳过”。

图43示出了向用户显示视频预览的屏幕的实例。如果用户选择跳过该预览，则可以将该用户指向“接收者选择”页面。

图44示出了如果用户选择取消上传的话的屏幕的实例。

图45示出了预览已完成播放的屏幕的实例。“跳过”按钮可以变为“完成”。用户可以选择“取消”项目以取消上传，取消预览，并返回到“视频-模板选择”页面。用户可以选择“完成”以通往“接收者选择”页面。

图46示出了用户可以选择接收视频的接收者的屏幕的实例。如果用户选择将视频发送给接收者，则用户可以从接收者下拉列表选择接收者并然后点击“添加”按钮以将接收者添加到“接收者列表”。用户可以从“接收者列表”选择接收者并然后点击“移除”按钮以从“接收者列表”中移除接收者。用户可以点击“取消”菜单项目以回到“视频-模板选择”页面。在选择接收者之后，用户可以点击“发送”菜单项目以发送经编辑的视频。

图46中所示出的屏幕项目的描述如下：

发送：如果未完成上传，则将禁止该项目。

取消：回到视频-模板选择页面。

接收者：列出所有的接收者。

接收者列表：列出所有所选接收者。

发送：当上传完成时，该项目将被使能。

图47示出了概要和历史页面的实例。在该实施例中，概要和历史页面示出用户发送的最近10个经编辑视频的字幕。如果用户要选择“主页”菜单项目，则可以重启视频编辑程序并且用户可以被发送到“视频-模板选择”页面。用户还可以选择“退出”以退出该VESClient应用程序。

图48示出了用于接收PC应用程序的登录页面的实例。在该示例性实施例的实例中，接收PC应用程序是位于Windows应用程序纸盒的微软基本类库(MFC)应用程序。

图49示出了如果用户登录失败的话的屏幕槽的实例。将发送警告消息并且用户可以重新输入用户名和口令。

如果登录成功，则图标(如图50的高亮方块中示出的)出现在任务栏上，并且可以载入网站。优选地自动载入网站。如果用户在该图标上双击鼠标左键，则应用程序自动打开该网站。如果用户在该图标上右击，则可以弹出菜单，如图51中所示。用户可以选择“网”以载入该网站，选择(或取消选定)“自动开始”以决定是否在Windows内自动运行该应用程序，或选择“退出”以结束该应用程序。

图52示出了气泡，其可以弹出以提醒用户新添加的经编辑视频是可利用的。如果用户左击该图标，则该应用程序可以自动载入该网站。

图53、图54和图55示出了模板编辑器的屏幕槽的不同实例。该模板编辑器页面的示例性实施例的特定部件和特征的实例如下：

视频面板

该面板可以包括图像、视频、以及槽。

1.图像-可以从服务器下载静止图片的列表。在选择图像之后，可以从服务器下载实际的图片数据并显示给用户。

2.视频-可以从服务器下载视频列表。

3.槽-点击槽按钮可以导致槽项目被创建。

变换部件面板

该面板包括变换部件(作为按钮)的不同实例。用户可以点击变换按钮并在视频时间线中创建变换项目。

视频线

视频时间线可以由表示静止图片、服务器上的视频、原始视频、和变换部件的元素组成。按照时间来排列这些元素。在元件或变换部件被添加到时间线之后，右击元素可以允许用户改变该视频元素的属性、添加背景音乐、或删除元素。如果用户选择添加背景音乐，则可以创建音频线。用户可以能够为添加的每个音频元素设置音量权重。这些权重可以用于在最终视频中混合重叠音频。

音频线

对于该版本，每个视频元素可以具有添加至其的至少一个音频追踪。使用中的模板编辑器的实例如下所示：

1.用户载入网站上的TE应用程序。

2.用户将鼠标移动到“图片”按钮上。(可以在弹出窗口中示出服务器上的图片列表。)

3.用户点击列表中的图片之一。(可以在视频线上创建图片元素。)

4.用户点击“变换面板”中的变换按钮。(可以在视频线上创建变换元素。)

5.用户点击“槽”按钮。(可以在视频线上创建空的槽。)

6.在槽元素上右击可以导致菜单被示出。选择“添加背景音乐”可以显示一列可利用的音乐追踪来添加。跨越多个槽，背景音乐可以播放到完成。

7.用户可以重复步骤2-6。

8.用户点击“上传”按钮以将模板上传到服务器。(这可以使能“现在就尝试”按钮)

9.在上传模板之后用户点击“现在就尝试”按钮。(可以为用户示出一个面板来选择他或她之前上传的视频用于模板中的空的槽。如果用户之前没有上传过用于该用途的片段，则AVES可以利用来自AVES的默认“现在就尝试”片段。)

10.如果执行“现在就尝试”，则在TP完成视频创建之后用户可以在网站上观看得到的视频。

在一个实施例中，提出了计算机系统的示例性形式的机器，在该机器中，可以执行用于使机器执行本文中所讨论的多个方法中的任一个或多个的一组指令。在可替换实施例中，机器为独立装置进行操作或者可以连接到(例如，联网到)其他机器。在联网配置中，该机器可以在客户服务器网络环境中的客户机或者服务器的能力下进行操作，或者作为对等(或分布式)网络环境中的对等机器进行操作。该机器可以是服务器计算机、客户机计算机、个人计算机(PC)、输入板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、网络仪器、网络路由器、交换机或桥、或任何能够执行一组指令(序列或别的)的机器，该指令指定由该机器执行的动作。

尽管在示例性实施例中将机器可读介质示为单独的介质，但是术语“机器可读介质”应当被理解为包括存储指令中的一组或多组的单独的介质和多重的介质(例如，集中式或分布式数据库、和/或相关联的高速缓冲存储器和服务器)。术语“机器可读介质”还应当被理解为包括能够存储、编码或携带一组由该机器执行的指令并使该机器执行本发明的多个方法中的一个或多个的任意介质。总而言之，所执行的用于实施本公开文件的实施例的例行程序可以被实现为操作系统或特定应用程序、部件、程序、对象、模块、或称作“计算机程序”的指令序列的一部分。计算机程序通常包括一个或多个指令组，在各个时间该指令组被设置在计算机中的各种存储器和存储装置中，当由计算机中的一个或多个处理器来读取并执行该指令组时，该指令组使计算机执行操作以执行本公开文件的各个方面所涉及的元素。

而且，尽管在全功能性计算机和计算机系统的上下文中描述了这些实施例，但是本领域技术人员会理解到能够以各种形式将各个实施例分配为程序产品，并且不管实际用于进行分配的机器或计算机可读介质的特定类型如何本公开文件都同等适用。计算机可读介质的实例包括但不限于：可记录类型媒体，尤其诸如易失性存储装置和非易失性存储装置、软盘和其他可移动磁盘、硬盘驱动器、光盘(例如，光盘只读存储器(CD ROM)、数字多功能盘(DVD)等)；以及传输型媒体，诸如数字通信链路和模拟通信链路。

尽管已参照特定示例性实施例描述了实施例，但是显而易见的是可以对这些实施例进行各种改变和变化。因此，说明书和附图应当视为示例性意义的而非限制性意义的。前述说明书参照特定示例性实施例提供了描述。显而易见的是在不背离权利要求的更宽的精神和范围的情况下，可以对其进行各种改变。因此，说明书和附图应当视为示例性意义的而非限制性意义的。

Claims (1)

1.一种方法，包括：

对视频数据进行处理；以及

提供经处理的视频用于移动传送。

Images