CN101160577A

CN101160577A - 移动成像应用程序、装置架构、服务平台架构及服务

Info

Publication number: CN101160577A
Application number: CN200680012489.8A
Authority: CN
Inventors: 约翰·D·罗尔斯顿; 史蒂文·E·桑德斯; 克拉西米尔·D·克拉罗夫
Original assignee: Droplet Technology Inc
Current assignee: Droplet Technology Inc
Priority date: 2005-02-16
Filing date: 2006-02-16
Publication date: 2008-04-09
Also published as: CA2611683A1; JP2008537854A; KR20070112461A; AU2006214055A1; WO2006089254A2; EP1856805A4; EP1856805A2; WO2006089254A3

Abstract

提供了用于在移动装置和监控应用程序中压缩和解压缩静止图像和视频图像的系统和方法。还提供了相应的移动装置及摄像机结构和服务平台架构，用于对无线网络和有线网络上的视频图像进行传送、存储、编辑和转换代码并在能够显示的装置上观看它们。

Description

移动成像应用程序、装置架构、服务平台架构及服务

相关申请

本申请要求于2005年2月16日提交的第60/654,058号美国临时申请的优先权。

本申请通过参考全部结合了以下申请：于2005年9月20日提交的第11/232,165号美国申请、于2005年9月21日提交的第11/232,726号美国申请、于2005年9月21日提交的第11/232,725号美国申请、于2005年10月12日提交的第11/249,561号美国申请、及于2005年10月13日提交的第11/250,797号美国申请。

本申请全部结合了以下内容：Sweldens、Wim，The LiftingScheme：A custom-design construction of biorthogonal wavelets.Appl.Comput.Harmon.Anal.3(2)：186-200，1996；于2003年4月17日提交的名为WAVELET TRANSFORM SYSTEM，METHOD ANDCOMPUTER PROGRAM PRODUCT的第10/418,363号美国专利申请，发明人：William C.Lynch、Krasimir D.Kolarov、及Steven E.Saunders；于2003年5月28日提交的名为CHROMA TEMPORALRATE REDUCTION AND HIGH-QUALITY PAUSE SYSTEM ANDMETHOD的第10/447,514号美国专利申请，发明人：Steven E.Saunders、Krasimir D.Kolarov、及William C.Lynch；2003年5月28日提交的名为PILE PROCESSING SYSTEM AND METHODFOR PARALLEL PROCESSOR的第10/447,455号美国专利申请，发明人：Wiliam C.Lynch、Krasimir D.Kolarov、及Steven E.Saunders；Golomb，S.W.(1966).“Run-length encodings.”IEEE Transactionson Information Theory，IT-12(3)：399-401；R.F.Rice，“Some PracticalUniversal Noiseless Coding Techniques，”Jet Propulsion Laboratory，Pasadena，California，JPL Publication 79-22，1979年3月；J.Teuhola，“A Compression Method for Clustered Bit-Vectors，”InformationProcessing Letters，vol.7，pp.308-311，1978年10月；于2003年5月28日提交的名为PILE PROCESSING SYSTEM AND METHODFOR PARALLEL PROCESSORS的第10/477,455号美国专利申请，发明人：William C.Lynch、Krasimir D.Kolarov、及Steven E.Saunders。

本申请是以下申请的部分继续申请：于2005年9月21日提交的名为“Multiple Technique Entropy Coding System and Method”的第11/232,726号美国专利申请，其要求于2004年9月22日提交的第60/612,652号美国临时申请的优先权；于2005年9月21日提交的名为“Permutation Procrastination”的第11/232,725号美国专利申请，其要求于2004年9月22日提交的第60/612,651号美国临时申请的优先权；于2005年9月20日提交的名为“Compression RateControl System and Method with Variable Subband Processing”的第11/232,165号美国申请，其要求于2004年9月21日提交的第60/612,311号美国临时申请的优先权；于2004年9月29日提交的名为“System and Method for Temporal Out-of-Order Compression andMulti-Source Compression Rate Control”的第10/955,240号美国专利申请现在的于2005年5月19日公开的第US2005/0105609号美国公开，其要求于2004年9月22日提交的第60/612,311号美国临时申请、均是于2003年9月30日提交的第60/507,148号美国临时申请和第60/507,147号美国临时申请的优先权；于2004年9月16日提交的名为“Multiple Codec-Imager System and Method”的第10/944,437号美国专利申请现在为于2005年5月19日公开的第US2005年/0104752号美国公开，其为于2004年11月30日公布的第6,825,780号美国专利的继续申请，第6,825,780号美国专利要求于2002年6月21日提交的第60/390,380号美国临时申请和于2002年4月19日提交的第60/374,061号美国临时申请的优先权；于2003年5月28日提交的名为“Pile-Processing System and Method forParallel Processor”的第10/477,455号美国专利申请现在为于2003年12月11日公开的第US2003/0229773号美国公开，其要求均在2002年5月28日提交的第60/385,253号和第60/385,250号美国临时申请的优先权；于2003年5月28日提交的名为“Chroma TemporalRate Reduction and High-Quality Pause System and Method”的第10/447,514号美国专利申请现在为于2003年12月25日公开的第US2003/0235340号美国公开，其要求均在2002年6月21日提交的第60/390,345号和第60/390,492号美国临时申请的优先权；于2003年4月17日提交的名为“System，Method and Computer ProgramProduct for Image and Video Transcoding”的第10/418,649号美国专利申请现在为于2003年9月6日公开的第US2003/0206597号美国公开，其要求于2002年4月19日提交的第60/374,069号美国临时申请的优先权；于2003年4月17日提交的名为“Wavelet TransformSystem，Method and Computer Program Product”的第10/418,363号美国专利申请现在为于2003年10月23日公开的第US2003/0198395号美国公开，其要求于2002年6月21日提交的第60/390,383号美国临时专利申请、于2002年5月28日提交的第60/385,254号美国临时专利申请、及均在2002年4月19日提交的第60/373,974号和第60/373,966号美国临时申请的优先权。

本申请还通过参考全部结合以下内容：于2005年1月25日公布的名为“System and Method for a Dyadic-Monotonic(DM)Codec”的第6,847,317号美国专利；以及于2004年9月30日公布的名为“Multiple Codec-Image System and Method”的第6,825,780号美国专利。

直接数字化的图像和视频占用很多比特；通常对图像和视频进行压缩来用于存储、传输、及其它用途。已知有几种基本压缩方法，这些压缩方法也可有许多具体的不同点。通常的方法的特征在于三阶段的处理过程：变换、数字转换、及熵编码(entropy-code)。大多数的图像和视频压缩器在存在不同点的同时共有此基本结构。

视频压缩器中的转换阶段的目的是利用图片或序列中的局部相似点和图案将源图片的能量或信息聚集为形式上尽可能紧凑。没有压缩器能够压缩所有可能的输入；我们将压缩器设计为在“典型的”输入上工作很好并忽略压缩器不能压缩“随机的”或“习惯的”输入。许多诸如MPEG-2和MPEG-4的图像压缩和视频压缩方法使用离散余弦变换(DCT)作为变换阶段。诸如MPEG-4静态纹理压缩(static texture compression)的一些较新的图像压缩和视频压缩方法使用各种小波变换作为变换阶段。

在转换阶段之后数字转换删除(discard)信息；重构的解压缩图像因此不能是原始图像的精确再现。熵编码一般是无损的步骤：该步骤取出数字转换之后剩余的信息并对其进行译码，从而能够在解码器中精确的再现该信息。因此，关于删除什么信息的设计决定并不受以下熵编码阶段的影响。

基于DCT的视频压缩/解压缩(编码译码器)技术的局限为：最初开发该方法用于视频广播及流的应用，它们依赖于在工作室(studio)环境下对视频内容进行编码，其中，在工作室环境下高复杂度的编码器能够在计算机工作站上运行。这种计算上复杂的编码器允许在用户重放装置上安装计算上简单的和相对不贵的解码器(播放器)。但是，这种不平衡的编码/解码技术对移动多媒体装置匹配较差，其中在移动多媒体装置中必须在手机本身中实时拍摄以及实时回放视频信息。因此，移动装置中的视频通常局限于比在其它用户产品中小得多的尺寸和低得多的帧率。

背景技术和发明内容

本发明涉及关于包括用于在无线和有线网络和系统上对静止图像和视频图像进行传输、存储、编辑、共享、销售、及自动译码并在可显示的装置上观看它们的移动装置、相应的移动装置的架构、服务平台架构、方法及服务、和与上述相关的网络及其它系统服务的装置中的静止图像和视频图像的方法、装置、系统、及结构。本发明还涉及图像记录方法中的改进、和移动装置及服务平台中的相应改进。

本发明的多个方面包括用于压缩和/或解压缩视频或静止图像的所有软件的视频编码译码器/摄像放像机应用程序。本发明的多个方面还包括用于与用于移动手机的软件视频编码译码器/摄像放像机应用程序和编辑及自动译码应用程序一起来配置视频通信和共享服务的基础结构的、包括移动多媒体服务(MMS)基础结构应用程序的基础结构产品、方法、和处理过程，以支持与其它一般配置的基于标准的和专用的视频格式的完整的互通性。本发明的多个方面还包括用于对新的MMS服务进行建立、允许、分配、及操作的方法、处理、及商务处理，新的MMS服务包括移动装置上的新的移动视频日志(博客)和用于由移动用户创建的视频内容的市场服务。

附图说明

图1示出了移动图像通信中的视频图像尺寸局限。

图2示出了用于联合源通道译码的系统的示意图：(a)编码器，(b)解码器。

图3示出了移动成像手机的架构。

图4示出了移动成像服务平台的架构。

图5示出了视频译码编码器方法的比较。

图6示出了用于改进的联合源通道译码的系统的示意图：(a)编码器，(b)解码器。

图7示出了改进的移动成像手机平台的架构。

图8示出了视频译码编码器性能的比较。

图9示出了改进的移动成像手机平台的架构。

图10示出了改进的移动成像手机平台的架构。

图11示出了改进的移动成像服务平台的架构。

图12示出了配置的MMSC视频网关的OTN升级。

图13示出了自播放(self-playing)视频MMS消除自动译码的必要。

图14示出了配置媒体制作服务器所需要的视频编辑服务器的复杂性、成本、及数目的缩减。

图15示出了移动视频服务平台。

图16示出了更高质量的多媒体服务的更快、更低成本的开发和配置。

图17示出了根据本发明的多个方面的移动视频服务的多个方面。

图18示出了根据本发明的多个方面的宽带多媒体装置和服务的应用程序。

图19示出了根据本发明的多个方面的用于软件成像应用程序的实施选件。

图20示出了根据本发明的多个方面的用于硬件加速(HW-accelerated)的成像应用程序的实施选件。

图21示出了根据本发明的多个方面的用于混和硬件加速软件成像应用程序的实施选件。

图22示出了应用程序：简化的多媒体手机平台的架构。

图23示出了GSM/GPRS网络上的移动视频通信演示的元件。

图24示出了根据本发明的多个方面的特定MMS功能性。

具体实施方式

基于小波的图像处理

小波变换可以包括在一个方向上或在多于一个的方向上对一组数据重复的应用小波过滤器对(filter pair)。对于静止图像的压缩，可以使用2维的小波变换(水平的和垂直的)。根据本发明的视频编码译码器可以使用3维的小波变换(水平的、垂直的、及时间的)。希望提出一种改进的、对称的基于3维小波的视频压缩/解压缩(编码译码器)装置，以将移动装置中的计算复杂性和功率消耗减少为远远低于基于DCT的编码译码器所需的，并且使得在一个编码译码器中同时支持处理静止图像和视频图像。这种在一个编码译码器中对静止图像和视频图像的同时支持可以消除或减少分离MPEG(视频)编码译码器和JPEG(静止图像)编码译码器的必要，或者大大的改善了压缩性能并因此大大改善了关于运动JPEG编码译码器的存储性能。还希望提出一种改进的、对称的、基于3维小波的视频处理装置，以减少用于支持自动或手动编辑用户创建的视频的MMS基础构造设备中的计算复杂性和功率消耗，并且减少用户创建的视频的数据库存储、搜索、及查找。

移动视频通信和共享服务

本发明的多个方面包括涉及对与移动装置相关的视频内容进行拍摄、压缩、传输、编辑、存储、及共享的新的方法、服务、及系统。本发明的多个方面可以应用于包括固定的和移动的无线服务供应商的电信(无线供应商和有线供应商)和互联网、线缆、及其它数据和多媒体操作者。本发明的多个方面可以为更丰富的内容、更高的宽带利用率、及更高的每个用户的平均收益(average revenueper user)(APRU)做准备。移动多媒体服务(MMS)是基于文本的短消息服务(SMS)的多媒体演进。根据本发明的多个方面，提出的一种有前途的新MMS应用程序是新的视频通信和共享，能够满足目标观众交流个人信息的需要。移动图像通信和共享可以要求添加数码相机功能性(静止图像)和/或摄像放像机功能性(视频图像)到移动手机上，从而用户既能够拍摄(编码)他们想要发送的视频信息，还能够回放(解码)他们接收到的视频信息。如果从根本上可以获得，则本发明的多个方面还可以以多种现有技术中难以获得的方式满足这些功能性。

根据本发明的多个方面，可以使得移动装置演进成集成的用户多媒体娱乐平台。在工业中的实质的投资已经指向允许传输到移动装置的并在移动装置上查看的重分组广播电视节目(例如，新闻片断、运动精彩场面、及流行电视节目的特殊“mobisodes”)和其它通常的演播室视频内容(例如，电影预览和音乐视频)的方法和平台。在稍后的情况下，将移动用户开发为新的一组视频用户。但是，该稍后的情况大大的利用较大的广播企业服务器中压缩的视频内容。但是，根据本发明的多个方面，世界范围的移动操作者还获得了重要的新机会作为媒体制造者而不仅是媒体消费者来支持他们的用户(这点通过本发明的多个方面来满足)。如本发明的多个方面所满足的，在移动装置上拍摄和分享与独立的数码相机和摄像放像机同样质量的照片和视频的能力、更高速的单元、及固定无线数据网络一起构成这种新服务的基础。本发明的多个方面还使得摄像放像机电话和视频通信/共享基础架构设备的开发成本和零售价格很大程度的降低，这对这种装置和相关移动多媒体/数据服务在成熟的市场上和新兴的市场上的大范围商业应用都是关键的。

现有移动图像通信/共享服务和应用程序严格的局限于拍摄和传输比在其它多媒体装置(例如，电视、个人计算机、数字视频摄像放像机、及个人多媒体播放器)上拍摄和显示的视频图像的尺寸更小的和低帧率的视频图像(见图1)。如根据本发明的多个方面提供的能够支持30fps或更高帧率的VGA(或更大的)视频移动图像通信服务和应用程序，将是更加可取的。

自适应联合源通道译码

因为与诸如文本、音频、及静止图像的其它数据/媒体类型的传输相比通常需要更高的数据速率，移动网络上的视频传输本质上是有挑战的。另外，有限的和变化的通道宽带与移动网络的波动噪音和错误特征一起在视频传送上施加了进一步的限制和困难。根据本发明的多个方面，可以将多种联合源通道译码方法应用于使视频比特流适应于不同的通道条件(见图2)。为了适应于变化的通道带宽和错误特征，根据本发明多个方面的该联合源通道译码方法是可升级的。另外，根据本发明多个方面，是支持多点传送脚本的可升级性，其中视频流的接收端处的不同装置在解码计算功能和显示能力上可以具有不同的限制。

如图2所示以及根据本发明的多个方面，源视频序列30可以是第一源编码器32(即，压缩的)，紧接着是纠错码(ECC)通道编码器34。在移动网络中，源译码通常使用诸如H.263、MPEG-4、或运动JPEG的基于DCT的压缩方法。实例的通道译码方法是Reed-Solomon代码、BCH代码、FEC代码、turbo代码。然后联合源和通道译码视频比特流传过速率控制器36以匹配通道带宽的要求，同时获得最好的重构视频质量。速率控制器在发送用于在通道38上传送的压缩视频比特流之前对压缩视频比特流进行离散速率变形计算。由于移动装置中的计算能力的局限，一般的速率控制器只考虑可利用的通道带宽，并且不明确考虑传输通道的错误特征。

希望并且能够通过本发明来基于具有更高计算效率的算法使用改进的自适应联合源通道译码，从而可以在源编码器32、通道编码器34、及速率控制器36三个中均利用即时的和预测的通道带宽和错误条件以同时最大化控制重构的视频信号的即时和平均的质量(视频速率与变形相比)。

根据本发明多个方面，该改进的自适应联合源通道译码方法的进一步的优点是无线通信装置和MMS服务供应商能够向他们的用户和企业客户提供更大范围的服务质量(QoS)性能和定价水平，因此将使用他们的无线网络基础构造产生的收入最大化。

多点传送场景需要能有由许多用户解码的单独的自适应视频比特流。这在现代的、大尺度的、不同种类的网络中尤其重要，在该网络中，网络宽带限制使得无法实施传输每个用户特定调定的多同时联播视频信号。单独的自适应视频比特流的多点传送降低了宽带要求，但是需要生成多个用户可译码的视频比特流，多个用户包括具有宽带无线或有线连接的有识别力的用户、及具有有限的带宽和错误倾向连接的无线电话用户。由于移动装置中的计算能力的限制，自适应速率控制器的粒度一般非常粗糙，例如只产生包括基极层和一个增强层的2层比特流。

为了能够支持就通道类型(无线和有线)、通道带宽、通道噪音/错误特征、用户装置、及用户服务而言的网络异质性的更加高的水平，希望并且能够通过本发明的一个方面来基于具有更高计算能力的算法使用改进的自适应联合源通道译码。

移动成像手机架构

添加数字摄像放像机功能性到移动手机一般需要添加以下功能在硬件、软件、或硬件和软件的结合中(见图3)：

●具有相应的预放大器和模拟数字(A/D)信号转换电路的图像阵列(通常是CMOS或CCD像素的阵列)；

●诸如预处理、编码/解码(编码译码器)、后期处理的图像处理功能；

●对无线或有线网络上的非实时传输或实时流的处理的图像的缓冲；

●一个或多个图像显示屏幕；以及

●内置或可移动存储器上的本地图像存储。

使用商业上可以利用的允许成像的移动手机的诸如MPEG-4的基于DCT变换的编码译码器，局限于拍摄比其它多媒体装置(例如，电视、个人计算机、数字视频摄像放像机、及个人多媒体播放器)上通常所拍摄和所显示的较小的尺寸和较低的帧率视频图像。诸如电视、个人计算机、数字视频摄像放像机、及个人多媒体播放器的多媒体装置通常以30帧每秒(fps)或更高的显示速率拍摄/显示VGA格式(640像素×480像素)或更大的视频图像，但是商业上可以利用的能够成像的移动手机局限于以15fps或更低的显示速率拍摄QVGA格式(320像素×240像素)、QCIF格式(176像素×144像素)、或更小的视频图像(例如，见图1)。这种缩小的视频拍摄能力是由于使用DCT转换来完成与视频压缩/解压缩相关的计算步骤的数目、类型、及序列所需要的过多的计算要求、处理能力消耗、及缓冲存储器。

使用商业上可以利用的视频编码译码器和微处理器方法导致用于定位于以30fps或更高的帧率拍摄VGA(或更大)的视频的移动成像手机的非常复杂、功耗大、及昂贵的结构。这样的手机结构需要利用软件程序和硬件加速器的结合的编码译码器，软件程序和硬件加速器在精简指令集(RISC)处理器、数字信号处理器(DSPs)、及特定用途集成电路(ASICs)的结合与较大的缓冲存储器块(一般为1兆字节或更多的存储容量)上一起运行。可以作为单独的集成电路(ICs)使用该RISC处理器、DSPs、ASICs、多媒体处理器、及RPDs，或者可以结合分组系统(system-in-a-package)(SIP)或片上系统(system-on-a-chip)(SoC)中的RISC处理器、DSPs、ASICs、多媒体处理器、及RPDs中的一个或多个，来实现这些编码译码器的功能。

在RISC处理器或DSPs上运行的编码译码器功能通常是软件例行程序，软件例行程序具有为了校对程序错误或升级功能性可以对它们进行改进的优点。作为软件实现复杂的、重复的编码译码功能的缺点是导致的全部处理器资源和功率消耗需求通常超过移动通信装置中所可以利用的。ASICs和多媒体处理器上运行的编码译码功能通常是固定硬件实现复杂的、重复的计算步骤，通常具有特别定制的硬件加速能够从本质上减少编码译码器的全部功率消耗的优点。在固定硬件中实现某个编码译码器功能的缺点包括：更长和更昂贵的设计周期，在固定硅器件中发现错误的情况下的昂贵的产品召回的风险，以及在新开发的特征要添加到成像应用程序中的情况下不能够升级固定硅功能。RPDs上运行的编码译码器功能通常是在最终的移动成像手机产品中既需要硬件加速又需要能够添加或改进功能性的例行程序。在RPDs上实现特定编码译码功能的缺点是更大数目的硅栅和与固定的ASIC实现相比支持硬件再配置性所需的更高的功耗。

为了简化上述架构并使得手机成本与高容量商业配置协调，减少或消除复杂、重复的编码译码功能以使得移动成像手机能够以30fps拍摄VGA(或更大)视频的具有全部软件结构的成像应用程序将是优选的。本发明是成功完成和允许这些目标的首选方法。

不仅要求多媒体手机支持图片和视频通信能力，还要求多媒体手机具有各种另外的多媒体能力(声音、音乐、图形)和各种固定的和移动无线的接入模式，接入模式包括(但不限于)2.5G和3G单元式接入、WiBro、HSDPA、WiFi、无线LAN、及蓝牙。为了更有效的配置新的生成收入的服务和应用程序以及避免高成本产品的回收，开发、配置、及支持这种产品所涉及的复杂性和风险使得多种功能和应用程序的无线(OTA)分布和管理高度受益。

为了使得手机制造商、移动操作者、及其它MMS服务供应商能够进行成像应用程序的OTA分布和管理，全软件成像应用程序将是优选的。再一次，本发明是成功实现这些目标的首选方法。

移动JAVA应用程序

Java技术带来了较宽范围的装置，均在同一种语言和同一种技术之下，从服务器到笔记本电脑到移动装置。尽管用于这个范围的装置的应用程序不同，但是Java技术在这些不同点之间架起了桥梁，使得负责一个领域的开发者将他们的技术用于更大范围的装置和应用程序。

最先由Sun Microsystems在1999年6月引入的Java组，J2ME(Java 2，Micro Edition)是宽主动的部分以更好的满足Java开发者多样化的需求。利用Java 2平台，Sun重新定义了Java技术的结构，将其分组为三个版本。标准版本(J2SE)提供了笔记本电脑开发的实际解决方案和低端商务应用。企业版本(J2EE)用于致力于企业环境应用的开发者。微版本(J2ME)用于研究具有诸如PDAs、手机、寻呼机、电视置顶盒、远程遥感单元、及其它用户电子和嵌入装置的有限硬件资源的装置的开发者。

J2ME是针对具有小到128 KB的RAM并具有远比那些用于典型的笔记本电脑和服务器计算机的处理器的功率小的处理器的机器。J2ME实际上包括一组设置(profile)。将每个设置定义为用于一种特定类型的装置——手机、PDAs、等——并且由特定类型的装置所需的最小组的类库和支持该装置所需的Java虚拟机器的规格组成。任意J2ME设置所指定的虚拟机器没有必要与Java 2标准版本(J2SE)及Java 2企业版本(J2EE)中使用的虚拟机器相同。

由于处理器功率、存储器、持久存储器、及其它接口中的不同，非常难为上述列出的所有装置确定最理想的或者是接近于理想的单独的J2ME技术。为了解决这个问题，Sun将适用于J2ME的装置的定义划分并然后再细分为部。首先，基于处理功率、存储器、及存储能力，不考虑应用用途，Sun将装置划分为两个宽的种类。该公司然后定义了Java语言的一个精简版本，该版本可以在每个种类中的装置的约束下工作，同时还提供至少最小的Java语言功能。

接下来，在具有类似作用的这两个种类装置中的每一类中确定的Sun——因此，例如，不考虑制造商，所有手机属于一类。在Java组处理(Java community process)(JCP)中的伙伴的帮助下，Sun然后定义了专用于每种装置的其它功能。

最初的划分创建了两种J2ME结构：连接的设备架构(CDC)和连接的有限设备架构(CLDC)。一种结构可以是Java虚拟机器(JVM)和最小组类库和为所选组的装置提供了运行时间环境的API。一种结构可以指定Java语言的至少普通的分母子集，该子集符合由为它开发的装置族所施加的资源限制。由于用户接口、功能、及用途存在很大变化，因此一般的结构没有将这么重要的条目定义为用户接口工具箱和永久存储APIs。相反，那个功能的限定属于被称为设置。

J2ME设置可以是由领导工业的小组指定的一组Java APIs，那意味着解决特定组的装置，例如，寻呼机和手机。将每个设置构造在由其结构所提供的Java语言的最小普通命名子集上，并且用于补充该结构。对于移动手持装置较重要的两个设置为：补充CDC的基础设置，以及补充CLDC的移动信息装置设置(MIDP)。更多的设置还处于研发当中，并且规格和参考实现还有待开发和发布。

用于无线工业(JTWI)规格JSR 185的Java技术定义了用于下一代能够使用Java技术的移动手机的工业标准平台。由领先移动装置制造商、无线通信公司、及软件销售商的专家组所开发的Java组处理(JCP)定义了JTWI。JTWI指定了必须包括在所有的允许JTWI的装置的技术：CLDC 1.0(JSR 30)、MIDP 2.0(JSR 118)、及WMA1.1(JSR 120)、以及可应用的CLDC 1.1(JRS 139)和MMAPI(JSR135)。用于定义用于移动多媒体装置的技术和接口的两种其它的JTWI规格是JSR-135(“移动媒体API”)和JSR-234(“高级多媒体补充”)。

JTWI规则提高了高容量装置的功能性的门槛，同时使API的分裂最小化，并实质上加宽了已经为移动电话开发的应用基础。

JTWI的优点包括：

●互用性：该努力的目的是为应用程序的开发商提供可预知的环境，并为装置制造商提供一组可交付使用的能力。目的是通过采用JTWI标准使以下两种人受益：制造商从较宽范围的兼容应用程序受益，软件开发商从支持他们的应用程序的较宽范围的装置受益。

●安全规格的说明：JSR 185规格根据MIDP 2.0规格中定义的

“用于适应GSM/UMTS的装置的推荐安全政策”为不可靠的应用程序引进了许多说明。它扩展了MIDP 2.0中定义的基础MIDlet组安全框架。

●路线图：JTWI中的一个关键特征是路线图，软件开发商能够在适应JTWI的装置中所预期的普通功能的概要。2003年1月在一系列预期在6到9个月的间隔出现的路线图中看到了第一个，它描述了与移动电话的发展一致的其它功能。该路线图使得所有组对计划未来更有信心：承载商能够更好的计划他们的应用程序策略，装置制造商能够更好的确定他们的产品计划，以及内容开发商能够看到他们的应用程序开发努力的更清晰的道路。特别是承载商将在未来依赖于JavaVM来拿走/防止下面的无线/网络功能受诸如病毒、蠕虫、及其它“攻击”的当前侵蚀公共网络的安全缺口的损害。

对于“一旦写入，任何地方都能运行”的携带性的所有允许Java的手机，对于Java VM安全和手机/网络对抗病毒、蠕虫、及其它移动网络安全“袭击”，以及对于简化OTA编码译码器和应用程序下载程序，基于Java的成像应用程序将是优选的。这种基于Java的成像应用程序将与JTWI规格JSR-135(“移动媒体API”)和JSR-234(“高级多媒体补充”)一致。本发明的各个方面提供了这些优点。

移动成像服务平台架构

根据本发明的各个方面的移动成像服务平台架构的关键元件(见图4)可以包括：

●移动手机60

●移动基站(BTS)62

●基站控制器/无线网络控制器(BSC/RNC)64

●移动交换中心(MSC)66

●网关服务节点(GSN)68

●移动多媒体服务控制器(MMSC)70

根据本发明的多个方面的MMSC中所包括的一般的功能(见图4)包括：

●视频网关72

●电视服务器74

●MMS应用程序服务器76

●存储器服务器78

根据本发明的多个方面，MMSC中的视频网关可以用于在由成像服务平台支持的不同视频格式之间转换代码。无线操作者也使用转换代码来支持移动电话网络中使用的不同的声音编码译码器，并且相应的声音转换代码器集成到RNC中。如果在现有结构中发现，则升级具有图4所示的结构的移动成像服务平台，这通常需要配置新的手机并手动添加新的硬件到MMSC视频网关。在一些移动视频通信和共享应用程序中，希望消除与转换代码相关的成本和复杂性。本发明的一个方面能够在每个发射的视频流插入软件解码器，在普通手机和PV视频播放器上允许“自播放”功能性。

MMSC中的MMS应用程序服务器可以支持诸如自动或手动编辑用户创建的视频的应用程序，也支持数据库存储、搜索、及检索用户创建的视频。实现这些功能所需的计算的复杂性需要由移动操作者根据视频处理功能安装专用的服务器，这些视频处理功能需要昂贵的和高功率的特定用途集成电路(ASICs)和数字信号处理器(DSPs)，而不是在标准的个人计算机(PCs)和服务器所使用的廉价和低功率的CPU芯片上运行的简单的软件应用程序。

通过本发明的多个方面解决了这一点，为了支持配置的手机的自动OTA升级、配置的MMSCs的自动OTN升级，以及支持使用标准的PCs和服务器的移动视频应用程序，根据本发明多个方面的所有软件移动成像应用程序服务平台将是优选的。就改进的手机/网络对抗病毒、蠕虫、及其它“攻击”的稳健性而言，根据本发明的多个方面，移动手机成像应用程序的Java实现可以是优选的，使得移动网络操作者提供国家标准(national regulator)所要求的质量和可靠性。

问题

移动视频通信和共享服务的使用已经暴露了视频压缩技术的基本限制。

在一方面，这样的移动视频服务正被投放到市场，这样的移动视频服务相当于具有家庭影院质量广播的视频——诸如每秒30帧的VGA的实际大小图像格式。在另一方面，处理使用现有视频技术(最初为广播和数据流(streaming)而开发的应用程序)的如此大体积的数据很大地超过了移动手机中实时视频拍摄(编码)可利用的计算资源和电池功率。广播和数据流应用程序依赖于演播室环境中的视频内容的编码，在演播室环境中高复杂性的编码器能够在计算机工作站上运行。由于必须在手机本身中实时拍摄视频信息，所以视频信息局限于较小的大小和较低的帧率。

因此，现在的移动视频服务很简单；与用户长期希望数字摄像放像机(功能性视频电话能够复制)所能够具有的相比较，图片较小(QCIF，QVGA)并且断断续续的(15fps或更小)。现在向移动用户提供的粗糙的视频图像质量还远远达不到在工业生活方式广告中起重要作用的明快的高清晰视频。移动用户在使用和支付用于摄像放像机电话和相关的移动视频服务的额外费用之前，他们要求VGA，30fps的性能(即，就像他们的摄像放像机)。

即使在高度昂贵和耗时的开发过程之后，不同于本发明的竞争视频编码译码器提供者还仅能够提供复杂的混和的软件编码译码器+硬件加速器的解决方案以提供VGA 30fps的性能，其全部成本和功率消耗远远超出商业营业要求和技术能力。因此手机局限于小的断断续续的图像，或昂贵的耗费功率的配置。服务配置太昂贵，并且服务质量太低，不能够吸引大量的市场应用。

如果需要新的或专用的硬件，则升级MMSC内部结构也很昂贵。为了允许手机的自动OTA升级、MMSC视频网关的OTN升级，以及支持使用标准的PCs和服务器的移动视频应用程序，全部-软件应用程序和服务平台将是优选的。在两种视频格式之间的转换代码的需要还增添了额外的费用和复杂性。

解决方案

特别地根据本发明的多个方面，这个问题的解决方案是能够实现为移动手机上的全软件应用程序的较低复杂性的成像应用程序(编码译码器)，减少了手机结构的复杂性和移动成像服务平台架构的复杂性。根据本发明的某些方面，全软件视频编码解码解决方案根本上减少或消除了基带处理器和视频加速器的成本和多媒体手机的必备要求。与经由OTA下载安装编码解码器后-产品(post-production)的能力相结合，这种全软件解决方案根本上减少了复杂性、风险、及手机的开发和视频通信服务的结构及配置的成本。根据本发明的软件视频代码转换机和编辑、存储、搜索、检索应用程序能够自动在网络上(over-the-network，OTN)升级配置的MMS控制(MMSC)内部结构，也能够使用标准的PCs和服务器来运行这样的应用程序。另外，本发明的小波代码转换机提供了具有小波视频格式和其它基于标准的及专用视频格式之间的全部的互通性的载波。本发明还使得软件编码器嵌入在每个发送的视频流中，使得在普通手机和PV视频播放器上“自播放”，并且一起消除费用和转换代码的复杂性。本发明的全软件视频平台能够快速配置新的MMS服务(也是本发明的部分实施例)，可以平衡在其它现有技术中不能获得的处理速度和视频产品的准确性。这种新的MMS服务本身是本发明的某些方面。本发明的小波编码解码器在它们同时有效处理静止图像和视频的能力上是独一无二的，并且因此能够使用可以同时支持移动图像邮件和视频信息服务的低成本和低功率的解决方案来替代分离的MPEG和JPEG编码解码器。

在上述的描述中，作为“Droplet”方面或实施例来描述某些方面、图片、或实施例。在上述应用程序中，应该理解“Droplet”是指本发明的实施例。

改进的基于小波的图像处理

本发明的多个方面利用具有比基于DCT的编码解码器的计算复杂性低的多的视频压缩/解压缩(编码译码器)(图5提供了传统DCT编码解码器技术的相关计算要求与本发明的示例性技术的比较)中的3-D小波转换。小波转换阶段的应用还使得量化和熵编码阶段具有大大减少的计算复杂性。用于移动成像应用程序、装置、及服务的本发明的3-D小波编码译码器的其它优点包括：

●对称、低复杂性视频编码和解码

●对软件和硬件编码解码器实现的较低处理器功率要求

●对具有与现有商业移动手机兼容的处理器要求的帧率在30fps(或更高)的VGA(更大的)视频进行全软件的编码和解码，既作为本地代码又作为Java应用程序。

●用于SoC集成的较低门数ASIC核心

●较低缓冲存储器要求

●单一编码解码器同时支持静止图像(～JPEG)和视频(～MPEG)

●较短的图片组引起的(shorter group of pictures)(GOP)简化的视频编辑(剪切、插入、文本覆盖)

●较短的图片组引起的简化的同步声音编码解码器

●较短的图片组引起的增强的视频流的低等待时间

●自适应比率控制、多信道广播、及联合源通道(jointsource-channel)代码的颗粒可扩展性(grain scalability)

●对新兴HDTV视频格式的低复杂性性能扩展

●压缩软件解码器(例如，诸如在大小上小于40kB)能够与每个传送的视频流集成以使得“自播放”视频信息与普通手机及PC视频播放器兼容

上述优点通过本发明的多个方面实现，包括：

使用提升(lifting)结构中的短二元整数过滤系数(dyadic integerfilter coefficient)的小波应用程序：在某些实施例中使用Haar 2-6和5-3小波及其变化。这些可以只要求添加、剪掉、以及小的固定变换——不需要乘法或浮点操作。

提升方案计算：使用允许原地计算的提升方案来计算过滤。尽量减少使用寄存器和临时RAM位置，并且本地保持参考以有效利用高速缓冲存储器。

具有定制的金字塔结构的金字塔形式的小波转换：本发明的某些实施例部分地根据前面的小波级别导致的数据计算小波转换序列的每个级别，从而全部的计算几乎与级别的数目无关。本发明的多个方面专用金字塔结构以利用上述提升方案的优点并进一步节约寄存器的使用和高速缓冲存储器存储带宽。

块结构(block structure)：与大多数的压缩实现方式形成对比，本发明的多个方面可以将图片分割成矩形块并彼此分别处理每个块。这使得存储参考本地保持并对保留在处理器高速缓存储器中的数据进行全部转换金字塔，在大多数处理器中节约了大量的数据移动。由于该块结构避免了信号流中的大量的中间存储容量的需求，在硬件实施例中特别有帮助。

块边界过滤：本发明还可以在每个块的边界利用避免了美国专利申请序列号第10/418,363号所提出的尖锐的伪像(artifacts)的改进的过滤计算，其结合于此作为参考。

色饱和度临时移除：本发明的多个方面还可以避免对每个场处理色饱和度差分，改为使用美国专利申请序列号第10/447,514号中所提出的对GOP使用单个场的色度，其结合于此作为参考。

利用3D小波的时间压缩：本发明的某些方面可以不使用诸如MPEG的传统视频压缩方法的非常昂贵的运动搜索和运动补偿操作。相反，那些实施例计算场到场的时间的小波转换。这对于计算很便宜。在这方面，有时还使用具有提升(lifting)方案的短整数过滤。

双值量子化(dyadic quantization)：在本发明的某些实施例中，可以对一定范围的系数位置一律使用二进制转换操作来完成压缩处理的量子化步骤。这避免了传统量子化所需的每个样品的乘法或除法。

打桩(piling)：在本发明的某些实施例中，减少了由下面的熵编码器通过进行零的运行(run-of-zeros)转换而处理的数据的量。在某些实施例中，美国专利申请序列号第10/477,455号中披露的方法和发明被用于在平行处理结构中对零的运行计数。

循环效率(cycle-efficient)熵编码(平均信息量编码)：在本发明的某些实施例中，使用将传统的表格查询(table lookup)与对输入的符号直接进行计算相结合的技术来完成压缩处理的平均信息量编码步骤。由于已经描述了符号分布的特性，因此能够使用像Rice-Golomb、或exp-Golomb、或Dyadic Monotonic的这么简单的平均信息量编码器。平均信息量编码器的具体选择经常随着处理器平台的能力而变化。

改进的自适应联合源通道编码

根据本发明的多个方面的基于小波的编码译码器的良好颗粒扩展性(fine grain scalability)允许改进的自适应比率控制、多点传送、及联合源通道编码。该小波算法的减少的计算复杂性和更高的计算效率使得瞬时及预计的通道宽度和错误条件的信息能够用于源编码器、通道编码器、及比率控制器的所有三个中，以最大化控制重构的视频信号的瞬时及平均质量(视频比率vs失真)(见图6)。本发明的改进的自适应联合源通道编码技术使得无线承载商和MMS服务提供者能够向它们的用户和企业用户提供更大范围的服务质量(QoS)性能和价格水平。就通道类型(无线和有线)、通道带宽、通道噪音/错误特性、用户装置、及用户服务而言，使用基于具有更高计算效率的算法的改进的自适应联合源通道编码能够支持更高程度的网络异质性(heterogeneity)。

改进的移动成像手机平台架构

图7示出了根据本发明的多个方面和多个实施例的改进的移动成像手机平台架构。根据本发明的多个方面的成像应用程序可以实现为在RISC处理器上作为本地代码或作为Java应用程序运行的全软件的应用程序。可以在RISC处理器本身内实现Java代码操作的加速，或者使用分离的Java加速器IC。这样的Java加速器可以实现为单机IC，或可以将该IC与SIP或SoC中的其它功能集成。

图7所示的改进的移动成像手机平台架构消除了用于移动成像应用程序的分离DSP、ASIC、多媒体处理器、或RFD处理块的必要，(在现有装置或系统中要求这一点)，并且大大的减少了用于移动手机中的图像处理的缓冲存储器的需求。

图8示出了本发明的多个方面所提出的用于全VGA 30fps视频编码的计算要求(与在基于MPEG-4和H-264视频编码译码器提交的本申请的优先权的提交日之后所达到的本领域的现有状态的工业解决方案相比较)的减少。

图9示出了商业移动GSM摄像放像机电话机平台上的本发明的多个方面的一个实现方式。尽管现有GSM基带/多媒体SoC(图9所示的Texas Instrument OMAP 850)需要用于QCIF/15fps摄像放像机功能性的硬件加速器、DSP、及RISC处理器，但是本发明只利用运行在RISC处理器上的软件来提供该平台上的VGA/30fps摄像放像机功能性，而不需要硬件加速器或DSP。

图10示出了本发明的多个方面在商业移动CDMA摄像放像机电话机平台上的一个实施例。尽管现有CDMA基带/多媒体SoC(图10所示的Qualcomm MSM6500)需要用于QCIF/15fps摄像放像机功能性的硬件加速器、DSP、及RISC处理器，但是本发明只使用运行在RISC处理器上的软件来提供该平台上的VGA/30fps摄像放像机功能性，而没有硬件加速器或DSP。

改进的移动成像服务平台架构

根据本发明的多个实施例的改进的移动成像服务平台架构的组件可以包括(见图11)：

●移动手机160

●移动基站(BTS)162

●基站控制器/无线网络控制器(BSC/RNC)164

●移动交换中心(MSC)166

●网关服务节点(GSN)168

●移动多媒体服务控制器(MMSC)170

●成像服务下载服务器171

MMSC中包括的典型功能可以包括(见图11)：

●视频网关172

●电信服务器174

●MMS应用程序服务器176

●存储服务器178

根据本发明的某些实施例的一些方面，配置改进的成像服务平台所涉及的一些步骤可以包括：

步骤1

用信号通知网络视频网关代码转换机应用程序和/或视频通信/共享应用程序可用于更新配置的MMSCs。可以经由自动的OTN配置或经由手动步骤安装更新。

步骤2

经由自动的OTN配置或经由手动步骤安装并设定视频网关代码转换机软件应用程序和/或视频通信/共享软件应用程序(见图12)。

步骤3

用信号通知用户手机移动视频成像应用程序可用于下载和安装。

步骤4

如果用户接受，并且成功地完成了交易结算，则下载并安装移动视频成像应用程序。

步骤5

用信号通知网络手机更新完成。激活服务和相关应用程序。每月向用户更新帐单记录以反映用于移动视频成像应用程序的新的费用。

根据本发明的某些方面，图13示出了通过将软件解码器与发送的视频流集成所获得的“自播放”视频MMS功能性。

根据本发明的某些方面，图14示出了配置诸如自动或手动编辑用户创建的视频的媒体制作服务以及数据库存储、搜索、及检索用户创建的视频所需的视频应用程序服务器的复杂性、成本、及数目的减少。

根据本发明的某些方面，图15示出了结合改进的基于小波的编码译码器/摄像放像机应用程序、改进的联合源通道编码、及改进的视频编辑和数据库存储、搜索、及检索的视频通信/共享/呼叫平台的功能元素。

根据本发明的某些方面，图16示出了在更快、更低成本的开发和配置更高质量的多媒体手机和服务方面的优点，包括能够配置创新的个人多媒体市场空间平台，在该市场空间中用户能够预览、共享、并销售用户创建的音频/视频内容的“软”拷贝(下载)或“硬”拷贝(DVD)。本发明的还提供用于数据库索引和网络(RSS)供给的更有效的视频“标签”，并且支持到诸如E-bay、Google、Yahoo、Microsoft、及其它门户的现有的基于网络的市场空间的接口。

根据本发明的某些方面，图17示出了基于改进的基于小波的编码译码器/摄像放像机应用程序、改进的联合源通道编码、和改进的视频编辑和数据库存储、搜索、及检索的几种创新的新移动视频服务。

根据本发明的某些方面，图18示出了上述的结合改进的基于小波的编码译码器/摄像放像机应用程序、改进的联合源通道编码、和改进的视频编辑和数据库存储、搜索、及检索的视频通信/共享/呼叫平台在固定无线、移动无线、和有线网络上以及在结合了固定无线、移动无线、和有线结构的“集中”网络上配置新的视频服务的应用。

性能

本发明的多个方面与它们改进的基于小波的移动视频成像应用程序、联合源通道编码、手机结构、及服务平台架构一起达到了更高的移动视频图像质量、更低的手机费用及复杂性、和减少的服务配置费用的目标。

多个实施例

本发明的多个方面的多个实施例提供了对移动成像手机结构的改进。例如，对于全软件基于小波的成像应用程序可以考虑几种实现方式选择(见图19)。可以经由OTA下载(400a、400b、400c)来安装成像应用程序到手机402a的基带多媒体处理部、到可移动的存储装置402b、或到成像模块402c。如果希望的话，也可以在制造期间或者在销售点将成像应用程序安装到手机的基带多媒体处理部、到可移动的存储装置、或到成像模块。移动设备架构涉及的其它实现选择也是可能的。

根据本发明的多个方面，通过经由基于硬件的处理资源加速一些计算元素以利用移动装置计算硬件(ASIC、DSP、多媒体处理器、RPD)和集成技术(SoC、SIP)正在进行的优势，可以进一步改进移动成像手机的性能，并且可以进一步减少费用和功率消耗。几种全硬件的选择可以用于实现将包括手机的基带多媒体处理部、可移动的存储装置、或成像模块的这些基于硬件的处理资源集成到手机中(见图20)。

如图21所示，由本发明的多个方面提供的用于成像应用程序的混和结构可以通过在硬件中实现一些计算加强的、重复的、固定的功能以及在软件中实现希望或需要的制造之后的修改的那些功能，来提供改进。

根据本发明的多个方面，图22示出了移动摄像放像机设备架构、配置、及维护中的潜在的简化。

优点

本发明的全软件成像解决方案本质上减少了多媒体手机中的基带处理器和视频加速器的费用和需要。结合经由OTA下载来安装并维护编码译码器后产品(post-production)的能力，这种全软件解决方案能够从本质上同时减少手机开发和视频通信服务配置的复杂性、风险、和费用。

本发明向移动操作者提供用户和企业用户的大量市场采用所需的传送图像质量的一流的视频通信和共享平台、移动手机价格点、及服务配置价格。本发明提供能够以30帧每秒(fps)实时拍摄全(VGA)-大小的图像(640像素×480像素)的全软件摄像放像机电话机应用程序，而仅使用根据本发明的某些方面和实施例的已经结合在大多数多媒体手机内的标准RISC处理器。对于移动承载商，本发明的低复杂性视频处理和分配技术能够集成到强大的新的全软件平台，全软件平台利用现有的移动手机和移动多媒体通信服务(MMS)内部结构允许转键(turnkey)配置。对上述的全软件移动摄像放像机应用程序进行补充，本发明的多个方面的内容管理平台向承载商提供根据该技术的用于将压缩的图像和视频与声音和文本一起集成到完整的移动多媒体消息和“铃声(ring-tones)中的和带有快速(on-the-fly)编辑、缩略浏览、多媒体邮箱、在线存储库、共享、及市场服务、及订阅管理的模块。

下面实例1描述了由本发明的多个方面的只有软件的移动视频通信平台一个实施例提供的功能性和优点的介绍性的示范性组件、设置、及操作。该示范性利用商业上可获得的GSM/GPRS多媒体手机，并且被设计为在任意商业的GSM/GPRS网络上工作。该示范工作的非常成功。还能够容易地采用该示范用于CDMA手机，并且用于在任意商业的CDMA网络上工作。实例1中的该示范运行一个示范和一组名为“Droplet”的文件代码，如实例1中所标识的。

实例1

如图23和24所示，该示范包括以下5个部分：

1.从MMS服务供应商的服务器无线(OTA)下载本发明的全软件“DVD”视频编码译码器应用程序，并在多媒体手机中安装。

2.在多媒体手机中利用DTV视频编码译码器来压缩高质量(VGA，30fps)视频信息。

3.以用于在计算机/TV上转寄/回放的全VGA/30fps分辨率或者以是用于在另外的多媒体手机上转寄/回放的大小缩小的较低的分辨率(QCIF/15fps)，发送压缩的视频信息(本发明的DTV格式)到MMS服务器。

4.经由提示联网的计算机的电子邮件或提示另外的手机的SMS，由MMS服务器通知压缩的视频图像可用于下载。

5.与用于“自播放”功能的本发明的DTV解码器一起下载压缩的视频信息，“自播放”，即，在联网的计算机上解码(VGA/30fps)或在另外的手机上解码(QCIF/15fps)并使用PC或手机上已经安装的普通的视频播放器进行重放。

视频通信示范所使用的设备

2.1手机

对于该实例1中所描述的示范性版本，使用以下描述的两种商业上可获得的GSM/GPRS多媒体手机。还可以使用多种其它的相当的多媒体手机。

2.1.1 T-Mobile MDA-II PDA-Phone(由HTC制造)

●必须在本地GSM/GPRS网络上可工作

●应该激活数据/网络访问服务

●带有将手机连接到PC的USB 2.0线的MDA-II电话机托架

●操作系统：带有电话版本的Windows Mobile 2003 Pocket PC

2.1.2 O2 Xphone Smartphone(由HTC制造)

●必须在本地GSM/GPRS网络上可工作

●应该激活数据/网络访问服务

●将手机连接到PC的USB 2.0线

●操作系统：Windows Mobile 2003 Smartphone Edition

2.2计算机

2.2.1 PC(便携式电脑或桌上型电脑)

对于实例1中描述的示范的版本，使用具有以下配置的便携式计算机：

●型号(model)：Sony Vaio PCG-K33P

●处理器/存储器：3.06 GHz Pentium 4,512MB RAM

●图像：带有64MB RAM的ATI Radeon IGP 345M

●存储器：60GB

●I/O：一个1394(火线(firewire))端口，两个USB 2.0端口

●操作系统：Windows XP

●预安装的视频应用程序：Windows Movie Maker

2.2.2远程服务器

对于实例1所描述的示范的版本，使用基于UNIX的远程服务器来执行以下MMS功能：

存储DTV编码译码器用于由MDA-II手机来下载

●存储DTV播放器应用程序用于由Xphone来下载

●接收来自MDA-II手机的压缩的视频信息用于存储/快进

●发送SMS信息来通知Xphone视频信息可用于下载

●使得Xphone能够访问(经由浏览器)DTV播放器应用程序和QCIF/15fps视频信息以用于下载

2.3视频拍摄

对于实例1所描述的示范性版本，使用以下的商业的摄像放像机来提供用于由运行在手机上的本发明的DTV编码译码器来压缩的高质量的视频输入序列的外部源：

●Canon ZR65 DV摄像放像机(带有将摄像放像机连接到PV的1394火线线缆)

使用外部摄像放像机，而不是使用当前在大多数商业摄像放像机电话机中可获得的性能低的多的图像模块，获得了本发明的DTV编码译码器和移动视频通信能力的优点的更加引人注目的示范。

首先在PC中将由摄像放像机拍摄的压缩的DV视频文件转换为解压的UYVY视频格式，并然后输入到MDA-II手机用于由本发明的DTV编码译码器来编码/压缩。UYVY是输入到多媒体手机中的视频编码译码器的典型的视频格式。

用于示范的设备设置/配置

3.1对PC进行配置

3.1.1下载根据本发明的多个方面的Droplet示范数据包

●打开PC网络浏览器中的URL http://droplet-tech.com/demo_partner_access.html

●选择链接“Demo Package-January 2005”(WinZip存档)

●点击该链接以启动下载该示范数据包到PC

●将压缩文件放在你选择的文件夹

●对该文件进行解压缩则你将看到以下内容：

示范数据包“自述文件”文件(Demo_package_readme.html)

以下目录：

MDA_DTV：MDA-II用户UI应用程序

Xphone_DTV：Xphone UI用户应用程序

PC_player：用于在PC上播放DTV的文件

Virtual_Dub1.6.3：用于在不同的视频格式之间转换的PC软件应用程序(app)

MMS_server：用于服务器的样品监控脚本

Canon_driver：摄像放像机驱动软件

PHMRegEditor：用于在MDA-II和Xphone上进行安装的注册编辑器

Ewesoft：用于Xphone的JVM

3.1.2下载J9 JVM(Java虚拟机)安装数据包

●打开PC的网页浏览器中的URL http://droplet-tech.com/ftp_access.html

●选择链接“J9_JVM”(WinZip存档)

●点击该链接以启动下载该J9 JVM数据包到PC

●将压缩文件“weme57prod_pp_wm_1.zip”放到你所选择的文件夹

3.1.3下载并安装DirectX 9.0 SDK(由DTV PC播放器使用)

●能够从下面的微软网站下载免费SDK：

http://msdn.microsoft.com/library/default.asp？url＝/downloads/list/directx.asp

●注意这是个非常大的下载(～230MB)

●运行DirectX Utilities->GraphEdit功能以证实已成功安装

3.1.4在PC上安装本发明的Droplet DTV PC播放器

●能够在PC_player目录下的示范数据包找到软件数据包。该

文件名为PC_player.zip。

●将数据包解压到测试PC上的“C:”驱动器作为文件夹

“C:\DTV_PCplayer_Demo\”。如果实际的路径不同，则编辑RegisterFilter.bat和UnRegisterFilter.bat。

●打开该文件夹并通过双击批量文件“RegisterFilter.bat”来注册DirectShow过滤器

3.1.5在PC上下载并安装Virtual Dub

在该示范版本中，Virtual Dub用于在PC中将摄像放像机拍摄的压缩DV视频文件转换为解压缩UYVY视频格式。然后将这些解压缩的视频文件输入到MDA-II手机用于由本发明的DTV编码译码器进行编码/压缩。UYVY是输入到多媒体手机中的视频编码译码器中的典型的视频格式。

●在Virtual_Dub目录下的示范数据包中找到该软件数据包。

●可选地，还能够在以下的URL找到该软件数据包：

http://jaist.dl.sourceforge.net/sourceforge/virtualdub/VirtualDub-1.6.3.zip。

●在Virtual_Dub目录中的是一个名为VirtualDub.exe的文件。

选择该文件并验证该应用程序可运行。

3.1.6在PC上安装Canon ZR65摄像放像机驱动器

●在Canon_driver目录下的示范数据包中找到Canon驱动器数据包。

●可选地，还能够在http://www.canon.com找到该驱动器。

●打开Canon_driver目录，然后选择子文件夹“ZR65WI503EN”和子文件夹“English”然后运行“SETUP.EXE”执行程序，以安装Canon摄像放像机驱动。

●注意：如果使用其它类型的摄像放像机，则必须在PC上安装适当的驱动器。摄像放像机必须能够在连接到PC的同时拍摄DV视频。

3.2对远程MMS服务器进行配置

在该示范中，远程MMS服务器的功能既是FTP服务器(允许下载视频编码译码器文件到手机，以及下载来自记录手机的视频文件的网路存储)，又是邮件服务器(允许电子邮件/SMS提示和通过联网的计算机和其它手机下载视频信息)。为了支持对其它手机的即将到来的视频信息的SMS提示，在功能上，该服务器必须能够发送SMS信息。

●配置具有以下目录的FTP站点：

public_html

●在服务器上预安装DTV编码译码器(文件DtvMDADemo.exe)，用于MDA-II手机的后续下载。以二进制模式在顶层将该文件传送到FTP服务器。

●在服务器上预安装DTV解码器(文件DtvXphoneDemo.exe)，用于Xphone的后续下载。以二进制模式在顶层将该文件传送到FTP服务器。

●示例监控脚本位于MMS_server目录下的Droplet示范数据包中(文件名字：monitor.php)。

●该监控脚本在基于Unix的服务器上的crontab中参考。该脚本将在每分钟监控ftp:/public_html目录中的新文件(以.lnk结尾)的出现。

●如果用户选择在Droplet示范服务器之外的服务器上使用上述样品监控脚本，则必须定制局域服务器/网络环境。

3.3对MDA-II进行配置

经由托架/USB线将MDA-II连接到PC(如部分3.1所描述的预配置)。

3.3.1为了稳定的GPRS连接更改注册项目

为了确保稳定的GPRS连接，将超时(timeout)时间提高到大于默认设置的60秒。该手机制造商(HTC)已经提供了推荐的注册更改。如果在装置上没有安装注册表编辑器，则首先安装“PHMRegEditor”目录下的Droplet示范数据包中包括的注册编辑器。

●将文件PHMRegEdit.msi放在你的PC的临时目录中

●将CAB文件regedit.Mrln_ARM.CAB放在PC上的相同的目录中

●通过双击PHMRegEdit.msi来运行它并跟随指示

●与MDA-II同步

●将文件regedit.Mrln_ARM.CAB复制到MDA-II上的Windows目录

●双击MDA-II中的那个文件，它将正确安装CAB文件

●运行PHMRegEdit.msi并跟随指示

在MDA-II上将结果程序PHMEditor安装在目录\ProgramFiles\PHM Tools中

●从上述目录启动程序注册表编辑器(注册表编辑器)

选择

HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\ConnMgr\Planner\Settings

将用于CacheTime的设置改为300(即5分钟的超时时间)

将用于SupspendResume的设置改为～GPRS！(允许没有超时)

●退出注册表编辑器

●执行软重启以使得更改的设置生效

3.3.2安装IBM J9 JVM

●在PC上对先前下载的“weme57prod_pp_wm_1.zip”文件进行解压缩(部分3.1.2)。有5个文件。

inst_pp_wm.html

readme_pp_wm.html

weme-wm2003-arm-ppro10-5.7.1-P-20040723-1833.bin

weme-wm2003-arm-ppro10-5.7.1-P-20040723-1833.exe

weme57_ppc_pp_1.pdf

●打开文件inst_pp_wm.html。阅读并跟随安装指示。

3.3.3安装MDA-II手机UI应用程序

注意将在如部分3.1.1所描述的已经在PC上的解压缩的文件中找到该应用程序。

●从示范数据包，目录MDA_DTV包括名为“mms_client”的子文件夹。有3个文件：

“application.properties”

“Droplet.jar”

“Droplet.lnk”

●将文件“application.properties”和“Droplet.jar”从PC复制到MDA目录：\ProgramFiles\J9\PPRO10\examples。

●将文件“Droplet.lnk”复制到MDA目录\Windows\Start Menu。

●为了验证已经正确配置MDA-II，点击开始菜单。现在将获得称作Droplet的图标。

●为了验证该功能性，选择Droplet图标，则会出现新的窗口。

它有3个按钮：

Download/install codec

Capture Video

Send Video Message

注意：作为参考，在目录MDA_DTV\mms_client_src下能够获得用于MDA-II手机UI应用程序的源代码。

现在已经配置了用于示范的MDA-II。

3.3.4安装Pictpocket Cinema视频播放器(可选)

该步骤是可选的，由于MDA-II上的默认视频播放器能够观看解码的Droplet视频文件。通过安装第三部视频播放器，展示了本发明的解码的视频文件能够与多种移动装置视频播放器兼容。

●在MDA-II手机上，已经安装了来自Digisoft的“PictpocketCinema”应用程序。

●可以从厂家的网站：www.digisoftdirect.com下载PictpocketCinema的14天试用版本。

3.4对Xphone进行配置

经由USB线将Xphone连接到PC。

3.4.1为了稳定的GPRS连接更改注册表项目

为了确保稳定的GPRS连接，将超时时间提高到大于默认设置的60秒。该手机制造商(HTC)已经提供了推荐的注册变更。如果在装置上没有安装注册表编辑器，则首先安装“PHMRegEditor”目录下的Droplet的示范数据包中包括的注册编辑器。

●将文件PHMRegEdit.msi放在你的PC的临时目录中

●将CAB文件regedit.Mrln_ARM.CAB放在PC上的相同的目录中

●通过双击PHMRegEdit.msi来运行它并跟随指示

●将PC与Xphone同步

●将文件regedit.Mrln_ARM.CAB复制到Xphone上的Windows目录

●双击Xphone中的该文件，则它将正确地安装CAB文件

●运行PHMRegEdit.msi并跟随指示

在Xphone上将结果程序PHMEditor安装在目录\ProgramFiles\PHM Tools中

●从上述目录启动程序注册表编辑器(注册表编辑器)

选择

HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\ConnMgr\Planner\Settings

将用于CacheTime的设置改为300(即5分钟的超时时间)

将用于SupspendResume的设置改为～GPRS！(允许没有超时)

●退出注册表编辑器

●执行软重启以使得更改的设置生效

3.4.2安装Ewesoft JVM

●从Droplet示范数据包，目录Ewesoft中的将是名为Ewe143-CAB-SmartPhone.zip的文件。在PC上将该文件解压缩。使用名为Ewe-SmartPhone2003.arm.CAB的文件。

●将Ewe-SmartPhone2003.arm.CAB文件复制到名为：Storage\windows\Start Menu\Accessories的Xphone目录

●到Start-＞Accessories。CAB文件将被作为菜单项目显示。

选择CAB文件，则然后将安装VM。

●该安装将会创建一个出现在开始菜单上的新的Ewe文件夹。

在那个文件夹内你将找到Ewe VM本身和“Solitaire”示范应用程序，利用该应用程序可以验证正确安装。

3.4.3安装Xphone手机UI应用程序

●从Droplet示范数据包，目录Xphone DV中的将是名为“mms_client”的子文件夹。有3个文件。

“application.properties”

“Droplet.jar”

“Droplet.lnk”

●将文件“application.properties”和“Droplet.jar”从PC复制到Xphone目录：/Storage/windows/StartMenu/Ewe/。

●将文件“Droplet.lnk”复制到Xphone目录：/Storage/windows/StartMenu/。

●为了验证已经正确配置了Xphone，点击开始菜单。一个名为Droplet的图标将会可用。

●为了证实功能性，选择Droplet图标，则会出现一个新的窗口。它有3个按钮：

Dowload/install codec

Capture Video

Send Video Message

现在已经配置了用于示范的Xphone。

运行示范

4.1在MDA-II上下载并安装视频编码译码器

●从MDA点击开始菜单，则Droplet图标将会出现在菜单上。

●选择Droplet图标，则会出现新的窗口。它有3个按钮选项：

Dowload/install codec

Capture Video

Send Video Message

●点击Dowload/install codec按钮

●将会出现以下信息

连接到FTP主机：xx.xx.xx.xxx(这是服务器的IP地址)

已连接

登录服务器

已登录

开始下载编码译码器文件

完成下载

成功安装了视频编码译码器。断开连接

●为了验证成功安装了编码译码器，到MDA上的MyDocuments目录。将会出现一个带有下载的日期和时间信息的名为DtvMDADemo.exe的文件。

4.2使用手机记录视频信息

在该示范的版本中，MDA-II手机用于对从外部视频摄像放像机输入的高质量的未压缩的现场视频进行编码/压缩。虽然MDA-II带有VGA拍摄摄像头，但是它只能够拍摄那个分辨率下的静止图像。MDA-II的视频拍摄局限于在装置上以3GPP格式自动压缩的QCIF，10fps视频。

4.2.1将摄像放像机连接到PC

●使用火线(1394)缆将Canon摄像放像机连接到PC。该摄像放像机带有4-引线的连接器接口。

●一旦连接了火线线缆并将摄像放像机旋到“摄像”模式，则PC操作系统(在该示范版本中为Windows XP Professional)将迅速拍摄并带有几个选择。

●选择将引进Movie Maker应用程序的“Windows MovieMaker”。

4.2.2从PC上的摄像放像机拍摄视频序列

●在Movie Maker中选择“Capture from video device”并在PC上为拍摄的文件选择名字和存储它的位置。

●下一个屏幕将询问视频设置；选择“Digital Device Format(DV-AVI)”。它将以DV格式拍摄视频，DV格式是高质量(几乎无损失)的视频拍摄格式。

●下一个屏幕将示出所拍摄视频的预览窗口以及“StartCapture”和“Stop Capture”的界面。由于许多无线手机没有大量的随机附带的存储，所以建议记录2-3秒的全运动视频(60-90帧)以更快的运算。

●一旦记录了视频序列，则可以退出Windows Movie Maker程序。

●对于该文件，假设该记录文件的名字为“testDV.avi”(注意该文件是AVI格式的——带有一个接着另一个的独立帧的插帧的音频-视频文件)。

4.2.3在PC上对该DV视频序列进行解压缩

●以上述步骤记录的视频是带有集成的音频的压缩DV格式(720像素×480像素，约28Mbps处的30fps)。为了模拟全运动拍摄，以普通UYVY格式解压缩该视频，并将大小降为VGA大小(640×480像素)，并去掉音频信息。

●对于该示范，有必要为要编码的MDA创建两个源文件：一个为30fps的VGA(640×480)，一个为15fps的VGA(160×144)。

●从VirtualDub 1.6.3目录运行可执行的“VirtualDub.exe”。

a.在“File”中使用“Open video file”选项来下载“testDV.avi”文件。

b.在“Audio”中选择“No audio”选项。

c.在“Video”中选择“Filtes”选项。选择“Add”并向下滚动菜单以选中“resize”过滤器。将“New width”设置为640，将“Newheight”设置为480。将“Filter Mode”设置为“Precise Bicubic(A＝0.75)”。

d.在“Video”中选择“Color depth”。在右边栏中将输入格式设置为“4:2:2 YCbCr(UYVY)”格式。

e.确定在“Video”中“Compression”选择被设置为“Uncompressed RGB/YCbCr”。

f.如果拍摄了特别长的视频序列，则通过在“Video”中选择“Select range”选项来缩短它。通常60-90帧(2-3秒的视频)是可操作的合理的视频大小。根据所拍摄的视频，可以从序列的开头(0的“Start offset”)或中间的某个地方开始。例如，在计算机上2秒(60帧)的解压缩的UYVY视频VGA(640×480)序列是36MB的数据。

g.选择“File”和“Save as AVI...”来存储最终的解压缩的文件。将该文件取名为“testVGA_UYVY.avi”。现在这是将要在MDA-II手机上编码/压缩的未加工的(解压缩的)UYVY VGA输入文件。

●为QCIF创建文件(建议经由GPRS连接将视频片断发送到另外的手机上)：

在步骤c，为“New width”输入160。为“New hight”输入144。

在步骤g，将文件取名为“testQcif_UYVY.avi”。

4.2.4将解压缩的视频序列传送到MDA-II手机

●将解压缩的视频文件“testVGA_UYVY.avi”和“testQcif_UYVY.avi”从PC传送到MDA。

●将这些文件复制到MDA-II上的My Documents目录用于压缩。

●为了中间存储，还可以将上述的大的源文件(解压缩的视频输入)放在装置的“Storage Card”上，然后复制到MyDocuments目录用于压缩。

●将MDA从PC断开连接。

现在解压缩的视频序列位于手机中，并且做好准备与之前下载并安装在手机上的本发明的“Droplet”编码器软件压缩在一起。

4.2.5在MDA-II手机中压缩本地视频序列

既然视频编码译码器和解压缩的视频序列已经成功的下载到了MDA-II手机上，那么手机已准备好执行编码/压缩。

●在MDA上，到MyDocuments目录

●找到并选择“DtvMDADemo”应用程序

●将出现允许用户输入以下信息的UI窗口：

源文件：包含UYVY格式的解压缩视频的文件的名字

(这是在先前步骤中生成的文件)。

目的文件：存储压缩视频序列的文件的名字(该压缩文件将带有dtv的扩展结尾)。对于该示范，将该文件名字取名为bitstream.dtv。

水平和垂直帧的大小

对于编码的VGA视频，这两个参数将分别是640和480。

对于编码的QCIF视频，这两个参数将分别是160和144。

输入文件的类型：默认为YUV 4:2:2。

压缩比率：默认为级别12。

要压缩的帧的范围：一般设置为“全部”。(注意：如果用户选择改变这一点，则由于DTV将2帧作为一图片组进行处理所以指定的帧的总数必须是偶数)。选择“Encode”，“Decode”，或两者都选。

选择开始。

●一旦成功完成，将在MDA-II上的目录“My Documents”中创建上述目的文件域中指定的压缩的bitstream.dtv文件。

●如果要改变文件名称，则一定要保留.dtv文件扩展名。

●提示：上述的编码要做两次，一次为VGA/30fps，一次为QCIF/15fps。

●解压缩的QCIF文件也保留在MDA-II上的“MyDocuments\DTV Output”中，用于经由GPRS网络到其它手机的MMS传送。

4.3在PC上传送/回放VGA/30fps视频信息

为了在PC上播放编码的VGA文件需要将该文件从MDA-II传送到PC。以当前的GPRS数据传送比率(～20-40Kb/s)，在移动网络上需要大约16秒来发送1秒的压缩VGA视频。更高速度的3G或WiFi网络将最终允许更有效的传送全VGA/30fps视频文件。对于该示范，MDA-II手机和PC之间的USB连接用于加速文件传送。

●经由托架/USB将MDA-II连接到PC。(注意这是标准方法，通过该方法当前的数码相机和摄像放像机被连接到家庭PCs上以传送数码照片和视频)

●将编码/压缩的VGA文件(\My Document\bitstream.dtv)从MDA-II复制到PC。该文件将被复制到以下目录：

“C:\DTV_PCplayer_Demo\”。

●由于MDA-II装置安装有USB1端口，所以能够通过首先将它们复制到MDA-II中的可移动存储卡，然后移走卡并通过将卡直接连接到PC上的USB2端口来使用USB2读卡器传送，能够完成更快速的传送VGA/30fps文件到支持USB2的PC上。

●一旦完成了文件传送，到PC中的“C:\DTV_PCplayer_Demo\”目录并双击文件“dtvpalyer.grf”或“dtvplayer_Win2K.grf”(取决于操作系统)，然后点击“Play”按钮(或选择“Play”菜单条目)以观看VGA/30fps视频。

●要停止片断的话，你可以简单地退出该应用程序

(GraphEdit)。

4.4经由GPRS将QCIF/15fps视频作为MMS信息发送

这部分将展示将压缩的QCIF/15fps视频从MDA-II手机经由GPRS发送到MMS服务器的能力。从那里，SMS提示将被发送到目的手机(在该情况中为Xphone)，提示已准备好用于下载和回放的视频MMS。可选地，如果目的接收装置是联网的计算机，则将会发送电子邮件提示。

4.4.1经由GPRS将QCIF/15fps视频发送到MMS服务器

●点击MDA-II开始菜单，Droplet图标将会出现在菜单列表上。

●选择Droplet图标，新窗口将会出现。它有3个按钮选项：

Download/Install codec

Capture Video

Send Video Message

●点击“Send Video Message”按钮

●用于选择文件的新窗口将会被打开

选择你想要发送的文件(在该情况下是压缩的QCIF/15fps视频文件)。

用于输入目的电话号码/邮件地址的新窗口将会被打开。

如果输入了邮件地址(通过@符号的出现来确定)，则将会带有邮件提示来发送选择的文件。

如果输入了一串没有@的数字，则文件/SMS提示将会被发送到“string”@tmomail.net，相应地在这种情况下发送到了所输入的“string”的电话号码的T-Moblie用户。

●为了将压缩视频作为MMS信息发送到Xphone，输入手机的电话号码。

●用户将立刻建立GPRS连接。这(例如)通过运行InternetExplorer并进入任意已知的URL来完成。

●一旦成功地建立了GPRS连接，点击“OK”。

●会出现以下的状态信息的新窗口被打开。

连接到FTP主机：xx.xx.xx.xxx(这是MMS服务器的IP地址)

已连接

登录服务器

已登录

将目录更改为：public_html

已更改

开始上传视频文件：<所选择的视频文件名字>.dtv

上传完成

开始上传链接文件：<所选择的视频文件名字>.lnk

上传完成

成功发送了该视频文件。断开连接

注意：在ftp服务器的public_html目录中将会出现两个新的文件(<filename>.dtv和<filename>.lnk)。

4.4.2从MMS服务器发送SMS提示

●在服务器上运行的脚本轮询ftp位置public_html，并确定新的文件的出现。

●当有新文件出现时，服务器脚本将解析<new file>.lnk并提取用于发送的视频文件的名字和目的手机#或邮件地址。

●然后脚本经由电子邮件或移动SMS将SMS提示信息发送到目标目的地。

4.4.3接收手机下载视频信息和DTV解码器

这一部分将展示在Xphone上接收SMS提示并连接到MMS服务器及下载带有DTV解码器的QCIF/15fps视频文件的能力。一旦接收了视频文件和解码器，该文件将会被解码并在Xphone上播放。

● Xphone将接收SMS信息

●打开SMS信息。里面的将是可以下载该视频文件的位置。

●下载DTV视频文件。

打开Internet Explorer

输入视频文件所位于的URL

该视频文件将会被下载到Xphone

另外，需要下载Xphone视频解码器(如果Xphone上

还没有它)。一旦下载完毕，Xphone解码器文件

(DtvXphoneDemo.exe)将会被放到Xphone上的MyDocuments目录。

●运行DtvXphoneDemo.exe

●允许用户输入以下信息的UI窗口将会出现(应用程序将会默认处理bitstream.dtv文件)：

水平和垂直帧大小。

对于解码的QCIF视频，这两个参数将分别是160和144。

要压缩的帧的范围：一般设置为“全部”。(注意：如果用户选择改变这一点，则由于DTV将2帧作为一图片组进行处理所以指定的帧的总数必须是偶数)所有其它的文件将会被忽略。

选择“Decode”。

选择开始

这将创建一个解压缩的AVI文件，可以由大多数的建立在移动手机的视频播放器来播放该AVI文件。

●要在Xphone上播放视频文件，只需点击所创建的文件，则固有Microsoft Media Player将会播放该视频。

4.4.4在Xphone上使用可选的FTP连接

为了展示本发明的Droplet全软件视频通信平台所允许的灵活性，还展示了使用简单的Smartphone FTP应用程序来下载QCIF/15fps视频信息和Droplet解码器到Xphone手机。

●使用用于Xphone上的Windows Smartphones装置的OrnetaFTP应用程序。

●可以从以下地址将Orneta FTP应用程序安装程序下载到PC上：

http://www.handango.com/PlatformProductDetail.jsp？productT

ype＝2&platformld＝11&siteld＝1&Sectionld＝0&catalog＝1&pro

ductld＝87548

●使用连接了Xphone的PC跟随指令来安装Orneta FTP

●从以下地址获得免费注册代码：

http://x.msmobiles.com/free-smartphone-software/default.aspx

●在Xphone上使用Orneta FTP应用程序以从MMS服务器下载视频信息和Droplet解码器：

启动GPRS连接

从开始菜单启动Orneta FTP应用程序

在Menu/Settings/Set Download Folder下，选择选项

\windows

连接到指定的MMS服务器(例如，和部分4.1相同)

下载：选择Droplet视频解码器“DtvXphoneDemo.exe”

在Menu/Settings/Set Download Folder下，选择

\Storage\My Documents\

再次连接到MMS服务器

下载：选择QCIF/15视频文件，即，“bitstream.dtv”

退出

以下总结了实例1的讨论

本发明的多个方面部分地包括能够以30帧每秒(fps)实时拍摄全(VGA)-大小的图像(640×480)的全软件摄像放像机电话机应用程序，该应用程序可以只利用在大多数的多媒体手机中已有的单一标准RISC处理器。相反，在移动手机的电池功率的限制下，现有的基于MPEG的摄像放像机电话机支持以4-15fps实时拍摄局限于QCIF或CIF大小(VGA大小的1/16或1/4)的图像。但是即使这么小，粗糙的视频片断仍需要复杂又昂贵的手机平台设计，其中，视频功能被实现为硬件和软件的结合物，并被多处理装置之间分割：RISC处理器、ASIC、及DSPs。

根据移动操作环境，本发明的多个方面的低复杂性视频处理和分配技术被集成到了强大的新的和创造性的全软件视频通信平台，允许利用现有的移动手机和移动多媒体通信服务控制器(MMSC)内部结构来进行转键配置。对上述的移动摄像放像机应用程序进行补充，本发明的实施例的内容管理平台提供了用于将本发明的压缩图像和视频与声音和文本以及“铃声(ring-tones)”一起集成到完成的移动多媒体信息中的和带有快速编辑、缩略预览、多媒体邮箱、在线储藏室服务、及订阅预览的模块。

性能比较

本发明的多个方面的视频编码译码器当与当与最优化的MPEG-2/MPEG-4编码译码器比较时向用户提供功率上的30-40X的减少。通过所需的CMOS网关的数目的10X的减少(从大约～1,000,000到～100,000)并因此减少了相应的硅的实际估计需求，硬件产品的实现成本大大的降低了。对于全大小(VGA)和全-帧-比率(30fps)视频处理，本发明的新的视频编码译码器设计还将内部存储需求从几个兆字节降低到了128千字节，使得移动手机中的机载存储资源可用于其它的生成收益的特征和应用程序。本发明的编码译码器还能够有效地同时处理静止图像和视频，从而能够用单一的低费用和低功率消耗的解决方案代替分离的MPEG和JPEG编码译码器。

尽管可以大量的应用于支持配置VGA，30fps摄像放像机电话机和相关的服务，本发明的独特的移动视频平台技术还能够通过以下内容的结合来向大范围的其它移动视频服务提供重要的优点：可缩放的图像尺寸：(176×144)-D1(720×480)、简化的视频编辑(剪切、插入、文本覆盖等)、简化的与视频编码译码器的同步、及提高的视频流性能的低的等待时间。

硬件编码译码器(ASIC)
硬件编码译码器(ASIC)				公司	图像格式	帧率	功率消耗(mW)
Hantro^ref1	QCIF	15fps	11	公司	图像格式	帧率	功率消耗(mW)
Hantro^ref1	QCIF	15fps	11	Fujitsu^ref2	QCIF	15fps	13
Droplet	VGA	30fps	10	Fujitsu^ref2	QCIF	15fps	13

软件编码译码器
软件编码译码器				公司	图像格式	帧率	处理器利用(ARM-9上的MHz)
Hantro/Motorola^ref3	QCIF	15fps	190	公司	图像格式	帧率	处理器利用(ARM-9上的MHz)
Hantro/Motorola^ref3	QCIF	15fps	190	Droplet	QCIF	15fps	30
Droplet	VGA	30fps	150	Droplet	QCIF	15fps	30

表1.编码译码器性能对比：移动手机应用程序

本发明还包括MMS内部结构产品，该产品允许配置与本发明的软件视频编码译码器/摄像放像机应用程序结合的用于移动手机的另外的视频通信服务。本发明的其它方面包括高级的转换代码应用程序，支持与其它普通配置的基于标准的格式和专用的视频格式的彻底的通用性。另外包括的是内容管理平台，提供用于将本发明的压缩图像和视频与声音及文本一起集成到完整的移动多媒体信息和“铃声(ring-stone)”的和带有一套相应的MMS信息管理能力的模块。无线操作者和MMS服务供应商能够将该内容管理平台作为一组软件模块用于快速且低费用的升级到现有的MMS内部结构，并作为单机服务器用于新的MMS控制器的安装。本发明的MMS内部结构产品可以包括：

产品描述

DTV-VGT视频网关代码转换软件转换代码应用程序，用于升机：级现有的MMS视频网关以支持

视频内容在Droplet DTV格式和

其它视频格式(例如，MPEG-2、

MPEG-4、Motion-JPEG、

Microsoft Media、及RealVideo)

之间的转换。

DTV-CMP软件内容管理平一套内容管理软件模块，用于升台：级现有的MMS信息应用程序服

务器：创建集成了本发明的压缩

图像和视频与声音和文本、快速

编辑、缩略预览、多媒体邮箱、

在线存储库服务、及订阅管理的

MMS信息和“ring-tones”。

DTV-CMS内容管理服务器：基于服务器的集成的软件内容管

理平台，用于新的MMSC配置。

本发明还包括带有软件模块或单机服务器的内容管理服务平台，软件模块或单机服务器可以包括：

移动多媒体创作器：将本发明的改进的压缩小波的图像和视频与声音和文本集成在一条信息中。

预览播放器：提供本发明的压缩小波的图像、视频、及集成的MMS信息的“缩略”预览。

移动多媒体编辑器：允许利用工具和过滤器快速编辑本发明的压缩小波的图像、视频、及集成的MMS信息。

多媒体Ring-Tone创建器：允许用户通过将多调的ring-tones及其它声音与压缩小波的图像和视频混和来创建个人多媒体“ring-tones”。

移动多媒体相册或“Mblog”：用于本发明的压缩小波的图像、视频、及集成的MMS信息的存储库。

移动对媒体订阅管理：复制/转寄本发明的压缩小波的图像、视频、及集成的MMS信息；购买另外的存储；购买DVD硬拷贝。

移动多媒体邮箱：用于本发明的集成MMS信息的管理SMS的收件箱和发件箱。

移动多媒体地址簿：管理移动多媒体联系。

应该注意到本发明的多个实施例可以提供：

灵活、快速、和节约费用的OTA/OTN升级从安装的MMS内部结构提高ROI。

先进的转换代码支持与其它普通配置的基于标准的格式和专用视频格式的彻底的通用性。

作为一组用于升级现有的MMS内部结构的软件模块或作为用于新的MMS安装的单机服务器的可利用的内容管理平台。

JSR-135：移动媒体API详述

本发明的DTV-JVC Java视频编码译码器生成解压缩的视频图像，该视频图像支持包括以下内容的Java共用处理器JSR-135中定义的所有播放器的功能性：

Int getDisplayHeight()

返回当前提供视频的实际高度。

Int gerDisplayWidth()

返回当前提供视频的实际宽度。

Int getDisplayX()

根据显示视频的GUI目标返回视频的X坐标。

Int getDisplayY()

根据显示视频的GUI目标返回视频的Y坐标。

byte[] getSnapshot(java.lang.String imageType)

获得所显示内容的缩略图。

Int getSourceHeight()

返回源视频的高度。

Int getSourceWidth()

返回源视频的宽度。

java.lang.Object initDisplayMode(int mode，java.lang.Objectarg)

建立显示视频的格式。

Void setDisplayFullScreen(Boolean fullScreenMode)

设置用于全屏显示视频片断的提供区域的大小。

Void setDisplayLocation(int x，int y)

根据显示视频的画布设置视频的位置。

void setDisplaySize(int width，int height)

调整视频图像的大小。

Void setVisible(Boolean visible)

显示或隐藏视频。

JSR-234：高级多媒体补充

本发明的DTV-JVC Java视频编码译码器生成解压缩的视频图像，该视频图像支持包括以下内容的Java共用处理器JSR-234中定义的所有播放器的效果控制：

mageFilterControl

ImageFilterControl是能够用于设置诸如单色和反色的多种图像过滤器的图像效果。

ImageTonalityControl

ImageTonalityControl是能够用于设置诸如亮度、对比度、及伽马(gamma)的多种图像设置的效果。

ImageTransformControl

ImageTransformControl是用于修剪、最大化、镜像(mirror)、反转、拉伸、及旋转图像。

OverlayControl

OverlayControl控制视频或静止图像上方的叠加图像的设置。

WhiteBalanceControl

WhiteBalanceControl是用于改变白平衡的图像/视频效果。

本发明还包括用于建立、提供、及操作移动视频日志服务的产品、方法、及处理。该服务向具有视频电话机的每个用户提供以下能力：拍摄、编辑、存储、共享、及“发表”他们的个人视频和在线电影。

对用户，本发明的多个方面的代号为“Mobedia”的用于移动视频日志服务的产品提供：

1.Mobedia软件摄像放像机应用程序，能够将其预安装在移动手机中，或者用户能够将其下载并安装到任意的支持Java的视频手机上。

2.利用Mobedia软件摄像放像机应用程序，用户使用他们的移动手机能够记录全VGA/30fps(或者甚至更高质量)的视频。

3.利用Mobedia软件影院应用程序，用户使用本发明的软件摄像放像机应用程序能够浏览/编辑所获取的、添加题目等，并且“接合”多个所获取的以创建个人电影。

4.Mobedia软件影院应用程序的简化版本可以免费分配给用户，但是更强大的“Cinema-Pro”版本需要由用户购买。

对于服务器，即Mobedia服务器，本发明的多个方面可以包括：

5.使用Mobedia手机用户软件，用户能够经由移动、固定无线、或有线连接将所获取的视频发送到Mobedia服务器。

6.Mobedia订阅服务使得用户能够在服务器上存档所获取的视频和电影(付费存储器)、开展进一步的在线编辑、以多种常用格式下载和存储视频、或者定购DVD的拷贝(付费)。

7.Mobedia订阅服务使得用户能够在Mobedia站点创建电影影集、并邀请朋友、家人、同事等浏览他们的电影、或定购他们自己的DVD拷贝(付费)作为礼物等。

对于朋友、家人等，本发明的多个方面的Mobedia类型提供：

8.朋友、家人、同事等接收观看用户的电影、下载并保存拷贝(付费)、或定购他们自己的DVD拷贝(付费)的电子邮件邀请。

对于普通观众(影院模式)，本发明的多个方面的Mobedia提供：

9.Droplet’s Mobedia订阅服务使得用户能够“发表”他们的电影，用于普通公众在Mobedia影院站点观看。

10.普通的观众能够通过排列、主题、分类等搜索发表的电影的存档，并在Mobedia影院站点观看免费预览。

11.普通观众能够付费观看、下载、或定购DVD拷贝。

以下方法和处理包括本发明的多个方面且仅通过本技术生效。

收益来源/商业模型：

●电影制造者：为服务器空间、下载文件、及定购DVD付费。为编辑软件的升级版本付费。

●朋友、家人等：为下载文件和定购DVD付费。

●普通观众：为观看全部电影(只有预览免费)、定购DVD和下载付费。

——电影制造者可以得到由普通观众付的共享的费用。

●移动操作者：通过收益共享模式为增加的数据通信量付费。本发明的多个方面的服务组成部分包括：

●本发明的用于拍摄、发送、及管理个人视频内容的移动视频通信平台(服务器和手机软件应用程序)

●本发明的Mobedia软件视频摄像放像机应用程序允许在任意java/视频手机上的视频拍摄

●本发明的Mobedia软件视频影院用户应用程序包括基本的视频生产、编辑、及观看技术(简化版本和专业版本)

●本发明的Mobedia软件视频影院基于网页的内容管理应用程序支持Mobedia软件视频影院电影影集、个人电影共享、及Mobedia影院“发表”。

本文所提出的是改进的移动成像应用程序、手机结构、及服务平台架构，它们结合在一起从根本上减少了技术复杂性和与向移动用户提供高质量静止和视频成像服务相关的费用。改进的自适应联合源通道编码技术是无线承载商和MMS服务提供者向它们的用户和企业用户提供更大范围的服务质量(QoS)性能和价格水平的相应的能力，从而利用它们的无线网络内部结构使所创造的收入最大化。基于具有更高计算效率的算法，就通道类型(无线和有线)、通道带宽、通道噪音/错误特征、用户装置、及用户服务来说，改进的自适应联合源通道编码能够支持更加高的网络均一性(homogeneity)水平。另外所提供的是在移动电话领域中提供静止和移动视频领域中的新的和改进的服务的方法、装置、处理、及商业方法。

作为本发明的多个方面另外所提供的是以下总结形式的内容。

移动成像应用程序利用改进的基于小波的编码译码器作为全软件实现方式、全硬件实现方式、和混和软件+硬件实现方式。

还提供了包括利用上述改进的基于小波的编码译码器的良好颗粒扩展性的改进的联合源通道编码的系统和方法，利用在全部三个源编码器、通道编码器、及自适应比率控制器中的瞬时和预测的通道宽度和错误条件信息，以最大化控制重构的视频信号的瞬时及平均的质量(视频比率vs失真)。还提供了系统和方法，能够应用于对用户和企业MMS用户的更大范围的服务质量(QoS)性能和价格水平，就通道类型(固定无线、移动无线、及有线)、通道带宽、通道噪音/错误特征、用户装置、及用户服务而言，能够用于支持包括改进的多点传送的更高程度的网络异质性。

还提供了移动摄像放像机应用程序——将两个前述段的多个方面与相关的图像前处理和后处理功能、及声音记录结合，用于移动装置中的全摄像放像机能力，作为全软件实现方式、全硬件实现方式、或者作为混和软件+硬件实现方式。

还提供了移动成像应用程序，移动成像应用程序利用改进的基于小波的编码译码器，作为Java应用程序、全软件实现方式、全硬件实现方式、或混和软件+硬件实现方式。

还提供了移动摄像放像机应用程序——将上面的前述段与相关的图像前处理和后处理功能、及声音记录结合，用于移动装置中的全摄像放像机能力，作为全软件实现方式、全硬件实现方式、或作为混和软件+硬件实现方式。

利用该总结的前述段的多个方面和特征，还提供了能够成像的移动手机结构，其中，移动成像应用程序结合在了手机的手机基带多媒体处理部、图像模块、或可移动存储介质中。

还提供了OTA传输或升级上述总结的上述特征到上述能够成像的手机中。

还提供了允许在销售点安装或升级上述特征和上述系统到能够成像的手机中的系统。

还提供了用于该总结的上述特征与其它基于标准或专用成像格式的普遍兼容的移动成像代码转换机——经由自动OTN升级或经由手动步骤传送到或安装在MMSC视频网络的全软件应用程序。

还提供了移动成像服务平台架构、方法、及系统——结合了该总结的所有特征。

尽管上述是本发明的多个实施例的一些方面的描述，但是可以使用各种选择、变化、及等同物。因此，上述描述不用于限制由所附权利要求限定的本发明的范围。

Claims

1.一种配置成像服务平台的方法，包括以下步骤：

在连接到网络的下载服务器上提供代码转换机应用程序；

用信号通知所述网络所述代码转换机应用程序可用于配置；以及

通过所述网络从所述下载服务器将所述代码转换机应用程序配置到位于所述网络上的视频网关。

2.根据权利要求1所述的方法，进一步包括以下步骤：将配置的所述代码转换机应用程序自动安装到所述视频网关上。