CN101390392A - 视频监控应用、设备结构、及系统结构 - Google Patents

Abstract

本发明提供了用于压缩和解压缩移动设备和监控应用中的静止图像和视频图像数据的系统和方法。本发明还提供了用于通过无线和有线网络传输、存储、编辑、和转换编码静止图像和视频图像，并在可显示的设备上观看它们的相应的移动设备和摄像机结构、以及服务平台结构。

Description

视频监控应用、设备结构、及系统结构

相关申请

本发明要求于2004年10月13日提交的题为“Video MonitoringApplication，Device Architecture，and System Architecture”的第60/618,938号美国专利申请的优先权；并且也要求于2005年2月16日提交的题为“Mobile Imaging Application，Device Architecture，and Service Platform Architecture And Services”的第60/654,058号美国专利申请的优先权；其中每个的全部内容结合于此以供参考。

本申请为2005年9月21日提交的题为“Multiple TechniqueEntropy Coding System and Method”的第11/232,726号美国专利申请(其要求于2004年9月22日提交的第60/612,652号美国临时申请的优先权)的部分延续；2005年9月21日提交的题为“PermutationProcrastination”的第11/232,725号美国专利申请(其要求于2004年9月22日提交的第60/612,651号美国临时申请的优先权)的部分延续；2005年9月20日提交的题为“Compression Rate ControlSystem and Method with Variable Subband Processing”的第11/232,165号美国申请(其要求于2004年9月21日提交的第60/612,311号美国临时申请的优先权)的部分延续；2004年9月29日提交的题为“System and Method for Temporal Out-of-OrderCompression and Multi-Source Compression Rate Control”的第10/955,240号美国专利申请、现在是2005年5月19日公开的第US2005/0105609号美国公开(其要求于2004年9月22日提交的第60/612,311号美国临时申请、以及都于2003年9月30日提交的第60/507,148号美国临时申请和第60/507,147号美国临时申请的优先权)的部分延续；2004年9月16日提交的题为“Multiple Codec-ImagerSystem and Method”的第10/944,437号美国专利申请、现在为2005年5月19日公开的美国公开第US 2005/0104752号(它是要求于2002年6月21日提交的第60/390,380号美国临时申请和2002年4月19日提交的第60/374,061号美国临时申请的优选权的2004年11月30日公开的第6,825,780号美国专利的延续)的延续；2003年5月28日提交的题为“Pile-Processing System and Method for ParallelProcessors”的第10/447,455号美国专利申请、现在是2003年12月11日公开的第2003/0229773号美国公开(其要求都于2002年5月28日提交的第60/385,253号和第60/385,250号美国临时申请的优先权)的部分延续；2003年5月28日提交的题为“Chroma TemporalRate Reduction and High-Quality Pause System and Method”的第10/447,514号美国专利申请、现在是2003年12月25日公开的第2003/0235340号美国公开的部分延续；其要求于2002年6月21日提交的第60/390,345号和第60/390,492号美国临时申请的优先权；2003年4月17日提交的题为“System，Method and Computer ProgramProduct for Image and Video Transcoding”的第10/418,649号美国专利申请、现在是2003年11月6日公开的第US2003/0206597号美国公开(其要求于2002年4月19日提交的第60/374,069号美国临时申请的优先权)的部分延续；2003年4月17日提交的题为“WaveletTransform System，Method and Computer Program Product”的第10/418,363号美国专利申请、现在是2003年10月23日公开的第2003/0198395号美国公开(其要求于2002年6月21日提交的第60/390,383号美国临时专利申请、2002年5月28日提交的第60/385,254号美国临时专利申请、以及2002年4月19日提交的第60/373,974号和第60/373,966号美国临时申请的优先权)的部分延续；其中每个的全部内容结合于此以供参考。

本申请还结合2005年1月25日公开的题为“System and Methodfor a Dyadic-Monotonic(DM)Codec”的第6847317号美国专利，以及2004年11月30日公开的题为“Multiple Codec-Imager System andMethod”的第6825780号美国专利的全部内容以供参考。

技术领域

本发明涉及数据压缩，更具体地涉及视频监控系统中的静止图像和视频图像记录、以及用于通过无线和有线网络传送、存储、编辑、处理、和代码转换静止图像并在可显示的设备上对其进行观看、并且通过网络和设备来分配和更新编码译码器的相应设备结构、以及系统结构。

背景技术

直接数字化的静止图像和视频需要许多“位”。因此，通常为了存储、传输、和其它应用而压缩图像和视频。已知几种基本的压缩方法，以及这些方法的很多特定变体。一般方法以三个阶段过程为特征：变换、量化、和熵编码。很多图像和视频压缩器都共用这种基本结构和变化。

视频压缩器中的变换阶段的目的在于，通过利用图片或序列中的局部相似性和图案来将源图片的能量和信息聚集为一种尽可能紧凑的格式。压缩器被设计为适用于“典型”输入并且可以忽略它们不能压缩“随机的”或“不合理的”输入。诸如MPEG-2和MPEG-4的许多图像压缩和视频压缩方法在变换阶段使用离散余弦变换(DCT)。诸如MPEG-4静止纹理压缩的一些较新的图像压缩和视频压缩方法在变换阶段使用各种小波变换。

变换阶段之后的量化通常会丢弃信息。于是，重构的解压图像不是原始图像的精确再现。

熵编码通常是一个无损耗的步骤：该步骤取得量化后残留的信息并通常对其进行编码，以使其可以在解码器中精确再现。因此，有关在变换和量化阶段中丢弃什么信息的设计决策不受后面的熵编码阶段的影响。

基于DCT的视频压缩/解压缩(编码译码器)技术的局限在于，它们最初是为视频广播和流应用而开发的，它们依赖于高复杂度的编码器可以在计算机工作站上运行的演播室环境中视频内容的编码。这种计算复杂的编码器使得计算简单且相对便宜的解码器(播放器)可以被安装到用户回放设备中。然而，这种不对称的编码/解码技术对于许多新出现的视频监控设备和应用来说并不理想，其中，在这些新出现的视频监控设备和应用中，可以在具有有限计算资源的设备中实时捕获视频信息，并对其进行编码。

发明内容

本发明提供了针对现有技术的压缩技术的缺点的解决方案，并提供了一种高度复杂但计算上非常高效的、可以实现为在手持移动终端、静止图像和视频监控摄像机上的全软件(或混合)应用程序的图像压缩(编码译码器)，以减少设备结构的复杂性和成像服务平台结构的复杂性。本发明的全软件或混合视频编码译码器解决方案的多个方面充分减少或消除了基带处理器和视频加速器的成本以及多媒体手持终端和摄像机的要求。与通过OTA下载来安装编码译码器后期产品的能力相结合，本发明的全软件或混合解决方案充分减少了手持终端或摄像机设备开发以及视频监控服务体系结构和部署(deployment)的复杂性、风险、和成本。此外，根据本发明的多个方面，软件视频代码转换器可以自动通过网络(OTN)来升级所部署的MMS控制(MMSC)基础结构，并可以部署或升级移动手持终端和摄像机设备的编码译码器。本发明的小波代码转换器提供了在小波视频格式与其他的基于标准和专用视频格式之间具有完全互操作性的载体。本全软件或混合视频平台使得促进(leverage)现有技术不可获得的处理速度和视频产品准确度的新型MMS服务的快速部署成为可能。本小波编码译码器在有效处理静止图像和视频方面也具有独特的能力，因此，可以用单个的较低成本和较低功率的解决方案取代单独编码译码器格式，其中，该解决方案能够同时支持监控应用和其它服务中的静止图像和视频图像。

附图说明

图1示出了使用模拟CCTV摄像机的视频监控系统的结构。

图2示出了使用数字视频摄像机和IP网络的视频监控系统的结构。

图3示出了使用具有外部数字视频编码译码器和IP网络接口的模拟摄像机的视频监控系统的结构。

图4示出了使用具有集成视频显示功能的无线设备的数字视频监控系统的结构。

图5示出了具有集成IP网络接口的数字监控摄像机的结构。

图6示出了普通视频显示格式之间的物理显示尺寸和分辨率差别。

图7示出了移动成像手持终端的结构。

图8示出了移动成像服务平台的结构。

图9示出了用于联合信源信道编码的系统。

图10示例性地比较DCT编码器和本发明的改进的小波编码器之间在处理资源方面的差别。

图11示出了用于联合信源信道编码的改进系统。

图12示出了具有集成IP网络接口的数字监控摄像机的改进结构。

图13示出了改进的移动成像手持终端平台结构。

图14示出了使用具有集成的基于小波的编码译码器、成像应用程序、以及联合信源信道编码的数字网络摄像机的改进的视频监控系统结构。

图15示出了使用模拟摄像机和外部的基于小波的编码译码器、成像应用程序、以及联合信源信道编码的改进的视频监控系统结构。

图16示出了使用具有集成的基于小波的编码译码器、成像应用程序、以及联合信源信道编码的视频使能的无线设备的改进的视频监控系统结构。

图17示出了使用具有集成的基于小波的编码译码器、成像应用程序、以及联合信源信道编码的视频使能的无线设备的改进的移动成像服务平台结构。

图18示出了部署的多媒体通信服务控制器视频网关的通过网络的升级。

图19示出了网络摄像机或无线手持终端中的软件成像应用程序的实现选项。

图20示出了网络摄像机或无线手持终端中的硬件加速成像应用程序的实现选项。

图21示出了网络摄像机或无线手持终端中的混合硬件加速和软件成像应用程序的实现选项。

图22示出了用于管理和传送小波压缩图像、视频、和集成的多媒体通信服务消息、和提供多媒体通信集(multimedia messagingalbum)应用程序的改进的内容传送平台。

具体实施方式

基于小波的图像处理

小波变换包括重复将小波滤波器对应用于一维或多于一维的一组数据。对于静止图像压缩，可以利用2-D小波变换(水平和垂直)。视频编码译码器可以使用3-D小波变换(水平、垂直、和时间)。期望改进的对称3-D的基于小波的视频压缩/解压缩(编码译码器)设备能够将视频监控设备和应用中的计算复杂度和功耗减小到远低于基于DCT的编码译码器所需的计算复杂度和功耗的水平，以及能够在单个编码解码器中同时支持对静止图像和视频图像的处理。这种在单个编码译码器中同时支持静止图像和视频图像将会消除对单独的MPEG(视频)和JPEG(静止图像)编码译码器的需要，或者大大提高压缩性能，从而提高相对于运动JPEG编码译码器的存储效率。

视频监控系统结构

在零售业、银行、学校、企业、政府机关、机场、运输部门、军用设施、以及许多其它组织中，对安全关注的逐渐增强引起了对视频监控系统需求的逐渐增大。

参照图1，许多部署的视频监控系统的结构通常包括一个或多个模拟闭路TV(CCTV)摄像机110，其远程连接到一个或多个硬盘记录器(HDR)单元120。HDR中包含的功能通常包括：

·数字化从CCTV摄像机输入的模拟视频信号

·压缩数字化的视频信号，以减少硬盘存储需求

·存储压缩的视频信号

·解压缩存储的压缩视频信号，以在本地视频监视器130上观看

·通过专用或共享的网络连接140传送压缩的视频信号，以在远程视频解压单元和观看监视器150上远程解压和观看。

可以通过诸如中央视频监控设备中的HDR120来本地观看图像，也可以通过专用或共享网络连接140传输图像来进行远程观看，从而使大量授权观众能够同时观看实时或记录的视频图像。

参照图2，为了利用新的、更灵活、更低价、以及更高速的数字网络传输、存储、和处理技术，一些较新的视频监控系统利用了数字IP摄像机210。这种摄像机210能够在摄像机210中对视频信号直接进行数字化和压缩，然后，压缩的视频可以通过网际协议(IP)网络220从摄像机210直接传输到用于远程存储、观看、和进一步分析的PC或基于服务器的设备。这种设备可以包括视频监控设备230、视频存储设备240、视频分析设备250、视频处理设备260、和/或视频分配设备270，其中的每一个均连接到联网的PC和/或服务器280。

参照图3，为了支持对使用模拟CCTV摄像机310的传统视频监控系统的升级，也可以将独立数字编码译码器312和IP网络接口314提供给模拟CCTV摄像机310，以便与诸如330、340、350、360、370、和380的设备(与上述参照图2描述的设备相似)相互连接。

此外，参照图4，一些较新的视频监控系统能够使用配备有视频显示能力的固定或移动无线设备410通过网络412来访问和观看数字压缩视频。除了视频显示能力之外，期望能够在连接到视频监控网络的无线设备中实时捕获视频，其中，该视频监控网络具有诸如上面参照图2和图3所述的414、420、430、440、450、460、470、和480的组件。

数字视频监控摄像机

参照图5，数字视频监控摄像机510是一种能够对模拟视频和音频进行数字化和压缩以最小化传送带宽和对存储器512的需求的视频监视系统。这种摄像机510也可以包括集成的IP网络接口514，该网络接口允许摄像机510通过诸如局域网(LAN)518的IP协议网络516以流的形式传送(stream)视频，而不需要使用笨重的同轴电缆。这种数字视频监控摄像机510的核心子系统包括：

·透镜子系统520

·成像阵列(CCD或CMOS)和读出电子元件522

·模拟处理和A/D转换524：执行前置放大、信号调节、和模/数(A/D)信号转换的电路，连接到或集成到模拟成像器阵列上，以输入到数字处理。

·数字处理526：执行运动补偿和其他相似的实时图像捕获处理、颜色空间转换、压缩/解压、以及诸如图像定标和速率转换的后续处理

·处理存储器528：存储执行代码和数据/参数

·接口逻辑和控制器530：向集成的存储器和显示器提供接口，以及向本地外部显示监控器和诸如PC的其它显示/处理设备提供接口连接

·网络接口514：提供用于通过IP网络516来进行数据通信的数据包，以及通过IP网络516来传送和接收音频/视频数据包

图5中未示出的其它核心子系统包括：

音频接口：与麦克风/扬声器连接，并使用音频编码译码器来数字化音频信号

功率转换：转换来自AC适配器或电池电源的输入功率，以运行各种功能模块

以上子系统可以以硬件或软件、或者硬件和软件的组合的形式来实现。可以使用内置或可移动存储器来存储音频/视频数据，并且/或者可以通过IP网络以非实时文件传送或实时流的形式传送。

参照图6，使用基于DCT变换的编码译码器(例如，MPEG-4)，将商业可用的数字视频监控摄像机限制为与使用模拟CCTV摄像机和其它多媒体设备(例如，TV、个人计算机、和数字视频便携式摄像放像机)捕获和显示的视频图像相比，捕获较小尺寸和较低帧速率的视频图像。如图6所示，最小的当前格式SubQCIF 610(SubQ共用中间格式)是128像素(像元)宽乘以96像素高，QQVGA620(QQ向量图形阵列)是160乘以120像素，QCIF 630是176乘以144像素，QVGA 640是320乘以240像素，CIF 650是352乘以288像素，VGA 660是640乘以480像素，以及最大当前格式D1/HDTV 670(高清晰度电视)是720乘以480像素。视频监控应用通常需要以VGA 660(640×480像素)或D1 670(720×480)、或更大的格式，以30帧每秒(fps)或更快的显示速度来捕获/显示视频图像，而商业可用的数字视频监控摄像机通常被限制为以CIF650(352×288)格式或QCIF 630格式(176×144像素)或者更小的格式，以15fps或者更低的显示速度来捕获视频图像。这种降低的视频捕获能力是由过量的处理器功耗和完成与使用DCT变换的视频压缩/解压缩有关的计算步骤的数量、类型、和顺序所需的过量的缓冲存储器造成的。

使用商业可用的视频编码译码器和微处理器技术导致以30 fps或更高的帧速率来捕获VGA 660(或更大)的视频为目标的数字视频监控摄像机非常复杂、高耗电、且结构昂贵。这种摄像机结构将包括这样的编码译码器：采用在精简指令集(RISC)处理器、数字信号处理器(DSP)、特定用途集成电路(ASIC)、和可重新配置处理器件(RPD)、以及较大的缓冲存储器块(通常，存储能力为1M字节或者更大)的组合上运行的软件程序和硬件加速器的组合的编码译码器。这些编码译码器功能可以通过使用诸如RISC处理器、DSP、ASIC、和RPD的独立集成电路(IC)来实现，或者可以与集成到系统封装(SIP)或者系统芯片(SoC)中的RISC处理器、DSP、ASIC、和RPD中的一个或多个结合。

当前，数字视频监控摄像机制造者在使用运动JPEG、MPEG-1、或者MPEG-4编码译码器的摄像机(即，QCIF 630或者CIF 650@15 fps)中提供低分辨率、低质量的视频编码。这些编码译码器可以作为芯片组而从多个制造者处获得，其对于以上所限的图像格式和帧速率具有从10mW到60mW变化的功耗。对于视频监控系统，更期望根据本发明多个方面的改进的视频编码译码器和成像应用程序具有以下的特性：

·支持静止图像和视频

·视频监控和IP网络分配可接受的数字图像质量：30 fps的完全VGA 660(640×480)或者D1 670(720×480)

·在100mW(对于30 fps的VGA)的全部功耗中，为传感器预留50mW

·能够在产业标准多媒体处理器上运行的全软件实现

也期望根据本发明多个方面的这种改进的视频编码译码器和成像应用的全软件实现能够被下载、安装在已经部署的数字监控摄像机中，并能够在已经部署的数字监控摄像机中被“修正程序缺陷”、和升级。

为了支持使用模拟CCTV摄像机110或310的传统视频监控系统的升级，也期望将这种改进的视频编码译码器和成像应用程序作为外部设备。

此外，期望在固定或移动无线设备410中提供这种改进的视频编码译码器和成像应用程序，以能够通过固定或者移动无线连接，在视频监控网络中捕获高质量的视频监控信号、以及将这些信号传送到PC或者基于服务器的设备中，以及能够从其他视频监控设备中接收用于在无线设备410上远程观看的视频信号。这种无线设备可以是专用的视频监控设备，或者是商业的视频使能的移动手持终端(即，便携式摄像放像机电话)。

使用视频使能的无线设备的视频监控

参照图7，无线视频监控包括将数字摄像机功能(静止图像)或者便携式摄像放像机功能(视频图像)添加到移动手持终端，以便用户可以捕获(编码)他们期望发送的视频消息，并回放(解码)他们接收的视频消息。将数字便携式摄像放像机功能添加到移动手持终端可包括将下列功能添加到硬件、软件、或者硬件和软件的组合中：

·成像器阵列710(通常为CMOS或CCD像素的阵列)，具有相应前置放大器和模/数(A/D)信号转换电路

·图像处理功能712，例如，预处理、编码/解码(编码译码器)、后处理

·用于通过无线或有线网络非实时传输或者实时流式传输的处理的图像的缓存714

·一个或多个图像显示屏，例如，触摸屏716或者彩色显示器718

·在内置存储器720或者可移动存储器722上的本地图像存储。

使用基于DCT变换的编码译码器(例如，MPEG-4)，商业可用的可成像移动手持终端被限制为捕获比视频监控应用通常所需的视频图像尺寸更小且帧速率更低的视频图像。视频监控应用通常需要以VGA 660(640×480像素)或者D1 670(720×480)格式或者更大格式，以30帧每秒(fps)或更快的显示速度来捕获/显示视频图像，而商业可用的可成像移动手持终端通常被限制为以QCIF630(176×144像素)或者更小的格式，以15fps或者更低的显示速度来捕获视频图像。这种降低的视频捕获能力是由过量的处理器功耗和完成与使用DCT变换的视频压缩/解压缩有关的计算步骤的数量、类型、和顺序所需的过量的缓冲存储器引起的。即使对于商业可用的移动手持终端的这种降低的视频捕获能力，也需要将特别设计的集成电路芯片设置在手持终端的硬件中以完成压缩和解压缩。

使用商业可用的视频编码译码器和微处理器技术会导致试图以30 fps或更高的帧速率来捕获VGA 660(或更大)的视频的移动成像手持终端非常复杂、高耗电、且结构昂贵，具有较长的设计和制造周期。这种手持终端结构将需要这样的编码译码器：采用在精简指令集(RISC)处理器724、数字信号处理器(DSP)726、特定用途集成电路(ASIC)728、和可重新配置处理器件(RPD)730、以及较大的缓冲存储块714(通常，存储能力为1M字节或者更大)的组合上运行的软件程序和硬件加速器的组合的编码译码器。这些编码译码器功能可使用诸如RISC处理器724、DSP 726、ASIC 728、和RPD 730的单独集成电路(IC)来实现，或者可以与集成到系统封装(SIP)或者系统芯片(SoC)中的RISC处理器724、DSP 726、ASIC 728、和RPD 730中的一个或多个结合。

在RISC处理器724或DSP 726以及上述硬件上运行的编码译码器功能可以是软件程序，其具有这样的优点：可以通过对它们进行修改以校正误差或者升级功能。以软件来实现某些复杂、重复的编码译码器功能的缺点在于，所导致的总的处理器资源和功耗需求通常超过移动通信设备中可用的资源和功耗。在ASIC 728上运行的编码译码器功能通常是复杂、重复的计算步骤的固定硬件实现，其具有这样的优点：特制的硬件加速基本上可以降低编码译码器的整个功耗。以固定硬件来实现某些编码译码器功能的缺点包括：更长或更昂贵的设计周期、在固定的硅实现(silicon implementation)中发现误差的情况下昂贵的产品召回的风险、以及在新开发的特征将要被添加到成像应用程序中的情况下不能升级固定的硅功能。在RPD 730上运行的编码译码器通常是例行程序，其需要硬件加速和在最终的移动成像手持终端产品中添加或更改功能的能力。在RPD730上实现某些编码译码器功能的缺点在于，与固定的ASIC 728实现相比，支持硬件再配置性所需的硅栅的数量更大且功耗更高。

根据本发明一些方面构造的成像应用程序减少或消除了复杂、重复的编码译码器功能，从而使得无线视频监控手持终端能够通过全软件结构，以30 fps的帧速率捕获VGA 660(或者更大)的视频。该配置简化了上述结构，并使手持终端的成本与大量的商业运用相适应。

不仅需要新的多媒体手持终端支持图片和视频通信能力，而且需要支持各种附加的多媒体能力(声音、音乐、图形)和无线存取模式(2.5G和3G蜂窝式存取、无线LAN、蓝牙、GPS...)。开发、部署、和支持这种产品过程中所涉及的复杂性和风险使得多种功能和应用的无线电(OTA)分配和管理更加符合期望，以便更有效地部署新的赚取收入的服务和应用，进而避免昂贵的产品召回。通过本发明多个方面提供的全软件成像应用程序能够使连接到商业或专用无线网络的无线视频监控设备中的成像应用程序的OTA分配和管理成为可能。

移动视频监控系统结构

参照图8，能够支持诸如视频监控的成像服务的典型移动无线网络的关键组件可以包括：

·移动手持终端810

·移动基站(BTS)812

·基站控制器/无线网络控制器(BSC/RNC)814

·移动交换中心(MSC)816

·网关服务节点(GSN)818

·移动多媒体服务控制器(MMSC)820

包括在MMSC(见图8)中的典型功能包括：

·视频网关822

·电信(teleco)服务器824

·MMS应用服务器826

·存储服务器828

MMSC820中的视频网关822用于在成像服务平台支持的不同视频格式之间进行代码转换。无线运营商也利用代码转换来支持用在移动电话网络中的不同的声音编码译码器，并且相应的声音代码转换器被集成到了RNC 814中。升级这种具有图8所示的结构的移动成像服务平台包括：部署(deploy)新的手持终端810；以及将新硬件手动添加到MMSC 820视频网关822中。

根据本发明多个方面构建的全软件移动成像应用程序服务平台支持部署的手持终端810的自动OTA升级、以及部署的MMSC820的自动OTN升级，以支持新的视频监控服务和应用的部署。

自适应联合信源信道编码

随着视频监控设备、应用、和服务扩展的部署，基本的网络结构变得非常不同，所以需要通过各种专用和公共联网基础设施来支持视频传输，这些联网基础设施包括但不限于基于LAN、WAN、CATV、和IP技术的有线网络、固定的无线网络、移动无线网络、以及卫星网络。

与诸如文本、音频、和静止图像的其他数据/媒体类型的传输相比，由于通过移动无线网络进行视频传输通常需要较高的数据率，所以其表现为一种极端的挑战。此外，移动网络的受限且变化的信道带宽、以及波动噪声和误差特性进一步对视频传输施加了限制和困难。根据本发明的多个方面，可以应用各种联合信源信道编码技术，以使视频位流适应于不同的信道条件(见图9)。此外，本发明的联合信源信道编码方法是可升级的，以适应变化的信道带宽和误差特性。此外，它支持多播模式(multicast scenarios)的可升级性，其中，视频流接收端的不同设备可以具有对解码计算功率和显示能力的不同限制。

如图9所示，根据本发明的多个方面，源视频序列910首先由源编码器920进行源编码(即，压缩)，后面跟着误差校正编码(ECC)信道编码930。在现有技术的移动网络中，源编码通常使用诸如H.263、MPEG-4、或者移动JPEG的基于DCT的压缩技术。这些编码技术不能像本发明的编码技术一样被调整，以提供在源编码器中实现的压缩程度的实时调整。特别是在通过通信网络来实时或者接近实时地捕获、编码、和传送(与捕获、编码、和存储以用于稍后传送的视频的实施例相比)视频时，本发明的这方面具有显著优势。示例性的信道编码方法是Reed-Solomon编码、BCH编码、FEC编码、和turbo编码。然后，联合信源信道编码的视频位流通过速率控制器940，以匹配信道带宽的需要，同时获得最好的重建视频质量。速率控制器在发送用于通过信道960传送的视频位流950之前，对压缩的视频位流执行离散的速率失真计算。由于移动设备的计算能力的限制，典型的速率控制器只考虑可用的信道带宽，而不明确地考虑传输信道960的误差特性。根据本发明的多个方面，源编码器具有调整压缩从而实现压缩率小到从1％至5％以及从1％至10％变化的能力。当将经过改变的压缩系数应用到共同表示一个或多个视频图像的数据的独立的数据子频带(subband)时，这种编码器特别可用。

如图9b所示，在解码期间，在步骤970中，通过信道960接收联合信源信道编码位流950，并进行ECC信道解码；在步骤980中进行源解码以呈现重建的视频990。

本发明提供了基于具有较高计算效率的算法的改进的自适应联合信源信道编码，从而可以在源编码器920、信道编码器930、和速率控制器940这所有三个之中利用即时和预测的信道带宽和误差条件来最大化对重建的视频信号990的即时和平均质量(视频速率与失真的比)的控制。

由本发明提供的改进的自适应联合信源信道编码技术还使得无线载波和MMS服务提供者能够向他们的用户和企业用户提供更大范围的服务质量(QoS)特性和定价等级，从而最大化使用他们的无线网络基础设施所产生的收入。

多播模式需要可以由许多用户解码的单一自适应视频位流。这对于现代的、大型、不同种类的网络特别重要，其中，网络带宽的限制使得为每个用户传送经过特别调谐的多个多播视频信号是不切实际的。单个自适应视频位流的多播大大减少了对带宽的需求，但需要生成可以由多个用户解码的视频位流，其中，这些用户包括具有宽带无线或有线连接的高端用户、以及具有有限带宽且易于产生错误的连接的无线电话用户。由于移动设备的计算能力的限制，自适应速率控制器的粒度通常都非常粗糙，例如，仅生成包括基础层和一个增强层的两层位流。

本发明的基于具有更高计算效率的算法的自适应联合信源信道编码提供的另一优点在于，根据信道类型(无线和有线)、信道带宽、信道噪声/误差特性、用户设备、和用户服务，它能够支持更高等级的网络异构性。

移动Java应用

Java技术将很宽的范围的设备(从服务器和台式计算机到网络摄像机和移动设备)集中到一种语言和一种技术之下。虽然这一范围设备的应用有差异，但Java技术努力为它所认为重要的那些差异提供桥梁，能够使在一个范围中起作用的开发者将其技术扩展到多种设备和多种应用中。

首先由Sun Microsystems在1999年6月介绍到Java社区(Javacommunity)的J2ME(Java2，微型版)是用于更好的满足Java开发者的各种需求的主要首创的部分。通过Java2平台，Sun重新定义了Java技术体系，将它分成了三个版本。标准版(J2SE)提供用于桌面开发和低端商务应用的实际的解决方案。企业版(J2EE)针对专攻用于企业环境的应用的开发者。微型版(J2ME)被引进针对致力于具有有限的硬件资源的设备(例如，PDA、蜂窝式电话、寻呼机、电视机顶盒、联网摄像机、远程遥测单元、和许多其他用户电子设备和嵌入式设备)的开发者。

J2ME针对具有小到128KB的RAM以及具有比典型的台式计算机和服务器机中所使用的处理器的功能差的处理器的机器。J2ME实际上包括一组简表(profile)。每个简表是为特定类型的设备(蜂窝式电话、PDA等)定义的，并且每个简表都由特定类型设备所需的类库的最小集合和支持设备所需的Java虚拟机的规范组成。在任何J2ME简表中指定的虚拟计算机不必与在Java2标准版(J2SE)和Java2企业版(J2EE)中所使用的虚拟机相同。

很显然，不可能定义对于以上所列出的所有设备都是最佳或者甚至接近最佳的单个J2ME技术。处理器能力、存储器、永久性存储器、以及用户接口方面的不同简直非常严重。为了解决这个问题，Sun将适用于J2ME的设备的定义划分、然后再细分为多个部分。通过第一划分，Sun基于处理能力、存储器、和存储能力(而不考虑计划的用途)将设备分成两个主要类型。然后，该公司定义Java语言的简化版(stripped-down version)，该Java语言将在每个类别的装置的约束下工作，同时仍然至少提供最小的Java语言功能性。

接下来，Sun在这两种类型的扮演相似角色的设备中的每一种中进行识别。例如，所有蜂窝式电话都属于一种类型，而不考虑制造者。接着，在Java标准化组织(JCP)中它的伙伴的帮助下，Sun定义了每个垂直部分(slice)特有的额外功能。

第一划分创建了两种J2ME配置：连接的设备配置(CDC)，以及连接的、受限的设备配置(CLDC)。一种配置是Java虚拟机(JVM)，以及为选取的一组设备提供运行时间环境的类库和API的最小集合。一种配置指定了Java语言的最小公分母子集，该子集适合由一族设备(该子集是为其开发的)所强加的资源限制。由于即使一个配置中的用户接口、功能、和使用也存在很大变化，所以典型的配置不将这些重要的部分定义为用户接口工具包和永久存储器API。相反，这种功能性的定义属于被称作简表的东西。

J2ME简表是由工业领导组织制定的一组Java API，其用于寻址特定类型的设备(例如，寻呼机和蜂窝式电话)。每个简表都构建在由其配置提供的Java语言的最小公分母子集的上部，用于补充配置。对于移动手持终端设备很重要的两个简表是：补充CDC的基础简表，以及补充CLDC的移动信息设备简表(MIDP)。更多的简表在准备中，并且不久将开始出现规范和参考实施。

无线领域的Java技术(JTWI)规范，JSR185，定义了用于下一代可使用Java技术的移动电话的产业标准平台。JTWI是由领先的移动设备制造者、无线通信公司、和软件厂家的专家组通过Java标准化组织(JCP)定义的。JTWI指定了必须包括在所有符合JTWI的设备中的技术：CLDC 1.0(JSR 30)、MIDP 2.0(JSR 118)、和WMA 1.1(JSR 120)、以及合适情况下的CLDC 1.1(JRS 139)和MMAPI(JSR 135)。定义用于移动多媒体设备的技术和接口的另外两个JTWI规范是JSR-135(“移动多媒体API”)和JSR-234(“高级的多媒体补充”)。

JTWI规范提高了大容量设备的功能性的标准，同时最小化了API片段并拓宽了已经为移动电话开发的应用程序的物质基础。JTWI的优点在于：

·互操作性：这种努力的目标在于，为应用程序开发者提供可预测的环境，并为设备制造者提供可交付使用的一组性能。通过采用JTWI标准，制造者从很宽的范围的可兼容的应用程序受益匪浅，软件开发者从支持他们的应用程序的很宽的范围的设备受益匪浅。

·安全规范的说明：JSR 185规范引入了关于MIDP 2.0规范中定义的“符合GSM/UMTS的设备的推荐安全策略”的大量非置信应用程序的说明。它扩展了MIDP 2.0中定义的基础MIDlet套件安全架构。

·路线图：JTWI规范的关键特征是路线图，软件开发者能够期望的、符合JTWI的设备中的公共功能的概要。2003年1月出现了期望以六至九个月的间隔出现的一系列路线图中的第一个，其将描述与移动电话的发展相符的额外功能。路线图能够使所有参与者更有信心地为将来作打算：通信公司可以更好地计划他们的应用部署策略，设备制作者可以更好地确定他们的产品计划，以及内容开发者可以看到他们的应用程序开发努力的更清晰路径。具体地，将来，通信公司将根据Java VM来提取/保护基础无线/网络功能不受诸如病毒、蠕虫、和当前折磨公共互联网的其他“攻击”的破坏安全性的东西的破坏。

根据本发明的多个方面，前述的用于视频监控的视频编码译码器和成像应用程序是基于Java的，以便为在宽范围的能够使用Java的数字视频摄像机和无线手持终端中“一次写入，到处运行”的便携性做好准备，以及为避免Java VM安全性和设备/网络健壮性受到病毒、蠕虫、和其他移动网络安全性“攻击”做好准备，以及简化了OTA编码译码器下载过程。根据其他方面，基于Java的成像应用程序遵循JTWI规范JSR-135(“移动媒体API”)和JSR-234(“高级多媒体补充”)。

在不同种类的网络中部署视频监控应用和服务暴露了当前视频压缩技术的基本限制。一方面，这种视频监控应用和服务正被投放到现在将视频与专业质量的广播(例如，30帧每秒的、VGA和D1的全尺寸图像格式)等同的市场中。另一方面，最初针对广播和流应用程序而开发的使用现存视频技术的对这种大量数据的处理，大大超过了用于在设备(例如，数字网络摄像机和移动手持终端)中实时视频捕获(编码)和分析的计算资源和电池能量。广播和流应用以演播室环境中视频内容的编码为依据，其中在该演播室中高复杂性的编码器可以在计算机工作站上运行。由于视频信息必须在数字视频监控摄像机和无线手持终端自身中实时捕获，所以他们被限定到更小的尺寸和更低的帧速率。

结果，与用户一直期望的模拟CCTV摄像机和用户数字便携式摄像机相比，今天的网络摄像机和移动视频成像服务是初级的；照片较小(≤CIF)且紊乱(choppy)(≤15fps)。在广泛采用数字视频监控系统升级和新部署并向数字视频监控系统升级和新部署付费之前，视频监控系统用户要求全VGA/D1，30fps的性能。

即使在非常昂贵和耗时的开发程序之后，竞争的视频编码译码器提供者仍会仅向VGA/D130fps特性提供复杂的混合软件编码译码器+硬件加速器的解决方案，该方案具有远超过商务事业需要和技术能力的全部成本和功耗。因此，数字网络摄像机和无线手持终端被限制为用于小的紊乱图像或者高耗电的结构。

如果需要新硬件，则升级固定的视频监控网络和无线MMSC基础设施也是很昂贵的。为了能够自动升级OTA/OTN和管理网络摄像机、无线手持终端、以及MMSC视频网关，优选地使用全软件的ASP平台。

改进的基于小波的图像处理

根据本发明的一个方面，可以利用3-D小波变换来设计在计算复杂性方面低于基于DCT的编码译码器1020(见图10)的视频压缩/解压缩(编码译码器)设备1010。通过利用根据本发明一些方面的3-D小波编码译码器，可以显著减少由诸如颜色恢复和解调1030、图像变换1040、存储1050、运动估计1060/时间变换1070、以及量化、速率控制、和熵编码1080的处理所使用的处理资源。小波变换阶段的应用也能够以大大降低了的计算复杂性设计量化和熵编码阶段。为移动成像应用、设备、和服务开发的根据本发明的某些方面的3-D小波编码译码器1010的其他优点包括：

·对称、低复杂性的视频编码和解码

·软件和硬件编码译码器实现所需的较低的处理器能力

·全软件编码和译码30 fps帧速率的VGA(或更大)视频，处理器需求与现存的商业移动手持终端兼容，不但作为本机码而且作为Java应用

·用于SoC集成的较低门数ASIC核心

·较低的缓存需求

·单个编码译码器支持静止图像(-JPEG)和视频(-MPEG)

·由于较短的图片组(GOP)，而简化的视频编缉(截取、插入、文本覆盖)

·由于较短的GOP，而简化的与音频编码译码器的同步

·由于较短的GOP，而减少的对于增强的视频流的等待时间

·对于自适应速率控制、多播、和联合信源信道编码的精细粒度可升级性(fine grain scalability)

·可针对新兴的HDTV视频格式进行升级的低复杂度特性

根据本发明的多个方面，通过我们的以下技术的独特组合获得上述优点。

使用提升结构(lifting structure)中的短二元整数滤波器系数的小波变换：例如，可以使用Haar、2-6、和5-3小波、以及它们的变换。这些只使用加法、除法、和小的固定移位，而无需使用乘法或者浮点运算。

提升方案计算：可以使用允许进行原地计算的提升方案来有利地计算上述滤波器。可在Sweldens，Wim，The Lifting Scheme：Acustom-design construction of biorthogonal wavelets.Appl.Comput.Harmon.Anal.3(2)：186-200，1996中找到提升方案的完整描述，其全部内容结合于此以供参考。在该应用中实施提升方案最小化了寄存器和临时RAM存储单元的使用，并可以保持本地引用以高效使用高速缓冲存储器。

以具有定制的塔型(pyramid)结构的塔型小波变换：可以在由前面的小波等级生成的数据的一半数据上有利地计算小波变换序列的每个等级，以使整个计算基本与级数无关。可定制塔型，以利用上述提升方案的优点，并进一步节省寄存器的使用和高速缓冲存储器的带宽。

块结构：与大部分小波压缩实现不同，可以有利地将图片分成多个矩形块，其中，分别对每个块进行处理。这使得存储器引用将被保存在本地，全部变换塔型都可以用保存在处理器高速缓冲存储器中的数据来完成，从而节省了在大多数处理器中的许多数据移动。在硬件实施例中，块结构特别重要，这是因为它避免了信号流中的大的中间存储容量的需求。

块边界滤波器：有利地，可以在每个块的边界处使用修改的滤波器计算，以避免清晰的伪像(sharp artifacts)，如申请人在2003年4月17日提交的题为WAVELET TRANSFORM SYSTEM，METHOD AND COMPUTER PROGRAM PRODUCT的申请号为第10/418,363号，公开号为第2003/0198395号的美国专利申请中所述，其全部内容结合于此以供参考。

色度时间去除：在某些实施例中，可以避免对每个场的色度差信号(chroma difference signal)进行处理，相反，对于GOP使用单一场色度。这在申请人于2003年5月28日提交的题为CHROMATEMPORAL RATE REDUCTION AND HIGH-QUALITY PAUSESYSTEM AND METHOD的申请号为第10/447,514号，公开号为第2003/0235340号的美国专利申请中进行了描述，其全部内容结合于此以供参考。

使用3D小波的时间压缩：在某些实施例中，没有使用诸如MPEG的传统视频压缩方法的计算上花费很大的运动搜索和运动补偿操作。相反，可以计算场对场的时间小波变换。这计算起来花费不大。这里使用具有提升方案的短整数滤波器也是优选的。

二元量化：在某些实施例中，使用二进制移位操作在系数区的范围内均匀地实现压缩处理的量化步骤。这避免了传统量化所需的对每个采样进行乘法或除法的运算。

堆积(piling)：在某些实施例中，通过首先进行零流(run-of-zeros)转换来减少将由熵编码器处理的数据量。优选地，如在申请人于2003年5月28日提交的题为PILE PROCESSINGSYSTEM AND METHOD FOR PARALLEL PROCESSORS的申请号为第10/447,455号，公开号为第2003/0229773号的美国专利申请中所述，使用在并行处理结构上对零流进行记数的方法。注意，大多数现代处理平台都具有一些可这样使用的并行能力。

循环高效熵编码：在某些实施例中，使用将传统的查表与对输入符号直接计算相结合的技术来进行压缩处理的熵编码步骤。描绘源静止图像或视频中的符号分布的特征，导致诸如Rice-Golomb、exp-Golomb、或者二元单调(Dyadic Monotonic)的简单熵编码器的使用。熵编码器细节的选择经常根据处理器平台的能力而改变。在“Run-length encodings”，IEEE Transactions on Information Theory，IT—12(3)：399—401；R.F.Rice，“Some practical UniversalNoiseless Coding Techniques，”Jet Propulsion Laboratory，Pasadena，California，JPL Publication 79—22，Mar.1979，以及J.Teuhola“ACompression Method for Clustered Bit-Vectors”Information ProcessingLetters，vol.7，PP 308-311，October 1978(引入的术语“exp-Golomb”)中描述了Rice-Golomb和exp-Golomb的编码器的细节。在申请人的2005年1月25日公开的题为SYSTEM AND METHOD FOR ADYADIC-MONOTONIC(DM)CODEC的美国专利第6,847,317号的申请中描述了二元单调编码器的细节。以上参考中的每一个均将其全部内容结合于此以供参考，以供参考。

速率控制

调整压缩量以及所生成输出位的速率的一种方法是改变在计算的量化阶段舍弃的信息量。传统上通过用预先选择的数(“量化参数”)来除每个系数，并舍弃除法的余数来进行量化。因此，系数值的范围可以由相同的单一值(除法的商)来表示。

当解压压缩的图像或GOP时，逆量化处理步骤用(已知的)量化参数乘以商。这将系数恢复到其原始的幅度范围，以用于进一步的计算。

然而，在很多实施中，在消耗的功率和时间以及在硬件成本方面，除法(或者等效地，乘法)是一种花费很大的运算。注意，对每个系数施加量化运算，并且通常存在与输入像素的个数一样多的系数。

在另一种方法中，代替除法(或乘法)，将量化限制为2的幂的除数。这具有可以通过对二进制数的移位运算来实现的优点。在很多实施中，移位是花费很小的运算。一个实例为集成电路(FPGA或者ASIC)实现；乘法器电路非常大，但移位器电路要小很多。另外，在许多计算机上，与移位相比，乘法需要较长的时间来完成或者很少能够并行执行。

虽然通过移位进行的量化在计算上非常高效，但其在某些方面具有缺点：它仅能允许压缩率(输出位速率)的粗糙调整。根据本发明的多个方面，实际上注意到，最小可能量(+1或-1)的量化移位参数的改变将导致生成位速率的接近2倍的改变。对于一些压缩应用，这是可以接受的。对于其他应用，则需要更精细的速率控制。

为了克服现有技术的上述粗糙性问题，而不放弃移位量化的效率，将量化进行一般化。代替使用如前所述的用于每个系数的公共移位参数，我们提供了将应用到每个单独零流压缩的存储区或者堆(pile)的独特的移位参数。每个这种区域或堆的参数值被记录在压缩输出文件中。堆是一种数据存储结构，其中，数据以压缩的零(或者其他公共值)的序列来表示。应当注意，子频带可以包括几个单独的堆或者存储区。可选地，堆或者存储区可以包括几个单独的子频带。

现在，这种解决方案使得有效位速率的范围在一律地应用到所有系数的量化参数而产生的最接近的两个速率之间。例如，考虑除了一个(子频带x)之外的所有子频带都使用相同的量化参数Q，并且该一个(子频带x)使用Q+1的情况。与在量化中对所有子频带都使用Q相比，由量化步骤生成的总的位速率被减小了，但没有减小到对所有子频带均使用Q+1的程度。这里提供了在Q或者Q+1的一律应用所获得的位速率之间的中间位速率，从而提供了对压缩的更好、更精细的控制。

注意，由于应用于每个系数的运算通常仍然是移位，所以计算效率几乎正好是纯移位量化的效率。可以使用任意数量的子频带。典型的是4至100个子频带。最典型的是32个。在申请人于2005年9月20日提交的题为COMPRESSION RATE CONTROLSYSTEM AND METHOD WITH VARIABLE SUBBANDPROCESSING的美国申请第_______号(代理人文档第74189-200301/US号)的申请中提供了有关速率控制的其他信息，该申请的全部内容结合于此以供参考。

改进的自适应联合信源信道编码

现在，参照图11，上述改进的基于小波的编码译码器的精细粒度可升级性使改进的自适应速率控制、多播、和联合信源信道编码成为可能。改进的小波算法的降低的计算复杂性和更高的计算效率使得即时和预测的信道带宽上的信号以及误差条件能够被应用在源编码器1120、信道编码器1130、和速率控制器1140这三个中来最大化影响重建的视频信号1190(见图11)的质量(视频传输率与失真的比)的即时和平均压缩率的控制。例如，移动设备810和蜂窝式发射塔812(图8中所示)之间的可用传输带宽可以基于特定时间访问塔812的用户数量而改变。类似地，移动电话810和塔812之间的传输质量(即，误码率)可以基于电话810和塔812之间的距离和障碍而改变。当前可用带宽上的信息和误码率可以通过电话810来接收，从而可以用于调整压缩率。例如，当带宽下降和/或误码率上升时，可以降低压缩率(从而降低相关的再生图片质量)，从而仍可实时传送整个压缩信号。相反地，当可用带宽增大和/或误码率降低时，可降低压缩率，以传输较高质量的图片。基于该反馈，可通过在源编码器1120、信道编码器1130、或速率控制器1140中进行实时处理改变，或者通过对这些元件的组合进行改变来调整压缩率。

实例速率变化增量可以从1％至5％、从1％至10％、从1％至15％、从1％至25％、以及从1％至40％进行变化。

改进的自适应联合信源信道编码技术使得视频监控网络运营商、无线通信公司、和MMS服务提供者能够向它们的用户提供更大范围的服务质量(QoS)性能和定价水平。利用基于具有更高计算效率的算法的改进的自适应联合信源信道编码可以根据信道类型(无线和有线)、信道带宽、信道噪声/误差特性、用户设备、和用户服务来支持更高等级的网络异构性。视频编码译码器的计算复杂性的降低也能够使相应视频处理和分析应用程序的复杂性降低。然后，可以更容易地将这种应用程序与使用在网络摄像机和无线手持终端中可用的有限计算资源的视频编码译码器集成到一起。

改进的视频监控摄像机结构

图12示出了根据本发明多个方面的改进的数字视频监控摄像机结构1210，其中，其具有与图5中标有相同参考标号的组件相似的组件。如图所示，成像应用程序可以被实现为在RISC处理器1226或DSP上作为本机代码或Java应用程序而运行的全软件应用程序。可以在RISC处理器1226自身内部、或使用独立的Java加速器IC来执行Java编码运算的加速。这种Java加速器可以被实现为独立的IC，或者可将该IC与其他功能结合到SIP或SoC中。

图12中所示的改进的数字视频监控摄像机结构大大减小了视频编码译码器和成像应用程序所需的计算和缓冲存储器1228，并支持静止图像和视频的处理，且能够减小相应视频处理和分析应用程序的复杂性，能够使这种应用程序与使用在网络摄像机中可用的有限计算资源的视频编码译码器结合到一起，以及使自适应联合信源信道编码支持更大异构范围内的网络结构1232和基础设施设备的连接。

改进的无线视频监控设备平台结构

图13示出了改进的移动成像手持终端平台结构。成像应用程序被实现为在RISC处理器1324上作为本机代码或作为Java应用程序而运行的全软件应用程序。可以在RISC处理器1324自身内部，或者使用单独的Java加速器IC1332来执行Java编码运算的加速。这种Java加速器可以被实现为独立的IC，或者可将该IC与其他功能一起结合到SIP或SoC中。

图13中所示的改进的移动成像手持终端平台结构大大减小了视频编码译码器和成像应用程序所需的计算和缓冲存储器1314，并支持静止图像和视频的处理，且能够减小相应的视频处理和分析应用程序的复杂性，能够使这种应用程序与使用在网络摄像机中可用的有限计算资源的视频编码译码器结合到一起，以及使自适应联合信源信道编码支持更大异构范围内的网络结构和基础设施设备的连接。

改进的视频监控系统结构

图14示出了使用集成有基于小波的编码译码器、成像应用程序、和联合信源信道编码的数字网络摄像机1410的改进的视频监控系统结构。该结构使得视频监控网络运营商能够利用新的、更灵活、成本更低、且速度更高的数字网络传输、存储、和处理技术。

图15示出了使用模拟摄像机1510和外部的基于小波的编码译码器、成像应用程序、联合信源信道编码、和联网接口的改进的视频监控系统结构。该结构使得视频监控网络运营商能够升级使用模拟CCTV摄像机的传统的视频监控系统。

图16示出了使用集成有基于小波的编码译码器、成像应用程序、和联合信源信道编码的视频使能的无线设备1610的改进的视频监控系统结构。该结构使得视频监控网络运营商能够通过连接到视频监控网络的无线设备来实时捕获、存储、显示、传送、接收、处理、和分析视频。

所有上述的三种结构都能够使用具有较低成本和复杂性并降低了服务部署的成本的网络摄像机和无线设备来传送较高质量的数字视频和图像，并能够通过更大异构范围内的网络结构和基础设施设备来进行操作。

改进的移动视频监控系统结构

参照图17，能够支持诸如视频监控的成像服务的改进的移动无线网络的关键组件可以包括：

·移动手持终端或者无线摄像机1710

·移动基站(BTS)1712

·基站控制器/无线网络控制器(BSC/RNC)1714

·移动交换中心(MSC)1716

·网关服务节点(GSN)1718

·移动多媒体服务控制器(MMSC)1720

·成像平台服务器1734

包括在MMSC(见图17)中的典型功能部件可包括：

·视频网关1722

·电信服务器1724

·MMS应用程序服务器1726

·存储服务器1728

MMSC 1720中的视频网关1722用于在成像服务平台支持的不同视频格式之间进行代码转换。无线运营商已经利用代码转换来支持用在移动电话网络中的不同声音编码译码器，相应的声音代码转换器被集成到了RNC 1714中。

部署改进的成像服务平台涉及的步骤包括：

步骤1

发信号通知网络该视频网关代码转换器应用程序1730可以用于对部署的视频网关1722进行更新。换句话说，当新的代码转换器软件1730可用时，下载服务器1721向网络上的视频网关1722发信号通知该可用性。

步骤2

通过自动OTN部署1732或通过手工程序来安装和配置视频网关代码转换器软件应用程序1730。

步骤3

发信号通知无线手持终端1710或者数字监控摄像机1710’和/或用户该移动视频成像应用程序1734(例如，更新的视频编码译码器)可以用于下载和安装的。

步骤4

如果用户接受，且成功完成事务的安排，则通过OTA 1736程序将移动视频成像应用程序1734下载并安装到无线手持终端1710或者数字监控摄像机1710’。移动视频成像应用程序1734的编码器部分、解码器部分、或者编码器和解码器这两个部分都可以下载和安装。

步骤5

向网络发信号通知该无线手持终端1710或数字监控摄像机1710’的升级已经完成。激活服务和相关的应用程序。更新用户的账单记录，以反应移动视频成像应用程序1734的任何新的重复收费。

全软件的基于小波的视频编码译码器和成像应用程序、联合信源信道编码、网络摄像机结构、和无线手持终端结构被结合到上述无线视频监控服务平台结构中，以使用成本较低且复杂性较低的网络摄像机和无线设备来传送较高的数字视频图像质量，通过OTA/OTN部署降低了服务部署的复杂性、风险、和成本，并可在更大异构范围内的网络结构和基础设施设备上进行操作。

改进的视频监控/通信应用程序和服务

上述改进的基于小波的视频编码译码器和成像应用程序、联合信源信道编码、网络摄像机结构、无线手持终端结构、视频监控网络结构、和无线视频监控服务平台结构还可以部署下述的改进的视频监控和视频通信应用程序和服务。

1.多媒体通信集：包括但不限于以下模块：

·MMS创作者：将改进的小波压缩图像和视频与声音和文本结合在一条消息中

·移动媒体集：存储小波压缩的图像、视频、和结合的MMS消息

·移动媒体箱：MMS收件箱和待发送箱

·移动媒体播放器：预览小波压缩的图像、视频、和结合的MMS消息

·定购管理：复制/转发和附加的存储购买

·地址簿：联系管理

·图片编辑：利用工具和滤波器对小波压缩的图像、视频、和结合的MMS消息进行快速编辑

·多媒体铃声创作者：创建将声音与小波压缩的图像和视频结合起来的个人多音铃声

2.内容传送平台(见图22)：管理和传送小波压缩的图像、视频、和结合的MMS消息；其包括但不限于下列部分：

·集中式内容存储

·动态的前端表现(rendering)

·支持多个入口

·支持基于web、WAP、和PDA的浏览器

·支持收费(premium)SMS

·支持使用SMS、MMS、WAP-Push、OMA-下载、以及J2ME下载的多个传输信道

·内容到设备的映射

·设备管理服务

·内容代码转换

·数字权限管理(DRM)保护

·通过应用服务提供者(ASP)商业模型的平台传送

性能

这里描述的改进的基于小波的视频编码译码器和成像应用程序、联合信源信道编码、网络摄像机结构、无线手持终端结构、视频监控网络结构、无线视频监控服务平台结构、以及视频通信/监控应用和服务实现了使用具有较低成本和复杂性的网络摄像机和无线设备来传送较高质量的数字视频和图像、降低服务部署成本、以及在更加异构范围内的网络结构和基础设施设备上操作的目的。

增强

现在，参照图19，作为上述的网络摄像机和移动成像手持终端结构的增强，在一些实施例中，可以为全软件的基于小波的成像应用程序考虑几种实施选项。可以通过OTA将成像应用程序下载到摄像机或手持终端的基带多媒体处理部、可移动存储装置、或者成像模块或其他位置中。如果希望的话，也可以在制造期间或者销售点，将成像应用程序安装到摄像机或手持移动终端的基带多媒体处理部、可移动存储设备、或者成像模块或其他位置中。随着网络摄像机和移动设备结构的发展，也可以使用其他的实施选择。

为了利用移动设备计算硬件(ASIC、DSP、RPD)和集成技术(SoC、SIP)的不断进展，可以通过基于硬件的处理资源来对一些计算元件进行加速，从而进一步改进网络摄像机或移动成像手持终端的性能，并进一步降低成本和功耗。可以考虑几个全硬件选项以将这些基于硬件的处理资源集成到摄像机或手持移动终端(见图20)中，该全硬件处理资源包括基带多媒体处理部、可移动存储装置、或成像模块。

如图21所示，用于成像应用程序的混合结构可以通过在硬件中执行一些计算上的加强的、重复的、固定的功能，以及在软件中执行可能期望或要求的制造后更改的那些功能，来提供增强。

优点

这里描述的全软件的基于小波的视频编码译码器和成像应用程序、联合信源信道编码、网络摄像机结构、无线手持终端结构、视频监控网络结构、无线视频监控/通信服务平台结构、以及视频通信/监控应用和服务，分别或结合在一起以使用较低成本和较低复杂性的网络摄像机和无线设备来传输较高数字视频图像质量，从而通过OTA/OTN部署降低了服务部署复杂性、风险、和成本，并且能够在更异构的范围内的网络结构和基础设施设备上进行操作。

也应当注意，当使用根据本发明多个方面的某些视频编码译码器时，表示特定压缩的视频的数据可以通过电信网络传送到MMSC并且数据可能附加了用于压缩的视频的解码器。在根据本发明多个方面的这种方式中，可以除去否则对于进入MMSC的代码变换器视频数据来说必需的全部或者部分视频网关。在某种程度上，这变得容易了，这是因为由于每个压缩的视频片段都可具有附加于其上的自身的解码器，因此MMSC不必将视频格式转换编码成接收无线设备指定的特定视频格式。相反，诸如1710的接收无线设备可以通过附加的解码器来接收压缩的视频，并仅在接收设备1710的平台上播放视频。这大大提高了MMSC结构及其操作的效率，并节约了成本。

本发明的另一方面在于，可设计小波处理，以在被处理的视频上实现另外的视频处理。例如，可设计小波处理，以实现颜色空间转换、黑/白平衡、图像稳定、数字变焦、亮度控制、和恢复尺寸、以及其他功能。

本发明多个方面的另一特定优点在于，所实现的显著改进的声音同步。通过本发明的多个实施例，可以将声音同步到每隔一个的帧的视频上。通过比较，MPEG4仅将声音与每第15个帧同步。这导致声音与视频的严重不同步，特别是在象在移动网络中经常出现的那样，实现视频的不完全传输时。此外，当视频被包含在MMSC中时将声音同步到每隔一个帧的视频上，为在MMSC中高效和加速的编辑视频做好了准备，其中，这可以在诸如可以自动或远程进行视频编辑的程序中实现。此外，本发明的多个方面存在于尽可能多的当前的编码技术中，允许将相当多的或相当容易嵌入的元数据嵌入到所生成和压缩的视频中。这种元数据可以包括(除了其他项以外)时间、捕获到视频(如从移动手持终端的定位系统中看到的)的位置、以及拍摄胶片的用户。此外，由于本发明的某些实施例中存在每隔一个帧的视频中的参考帧，所以与MPEG-4压缩视频中的每15帧视频中的参考帧相比，本发明实施例提供了高度有效的视频搜索和视频编辑，并提供了大大改进的音频同步。

结论

通过本发明的各个方面提供了改进的基于小波的视频编码译码器和成像应用程序、联合信源信道编码、网络摄像机结构、无线手持终端结构、视频监控网络结构、无线视频监控/通信服务平台结构、以及视频通信/监控应用程序和服务。这些改进结合起来，充分减少了与向零售业、银行、学校、企业、政府机关、机场、运输部门、军事设施、以及许多其它组织提供高质量的静止和视频监控应用和服务相关的技术复杂性和成本。

改进的自适应联合信源信道编码使视频监控网络运营商、无线通信公司、和MMS服务提供者能够向其用户提供更大范围的服务质量(QoS)特性和定价等级，从而最大化使用其网络基础设施设备带来的收入。基于具有较高计算效率的算法的改进的自适应联合信源信道编码可以根据信道类型(无线和有线)、信道带宽、信道噪声/误差特性、基础设施设备、用户设备、和用户服务来支持更高等级的网络异构性。

虽然以上详细描述了本发明的优选实施例，但是也可以使用各种替换方案、改变、和等同物。因此，以上所述不应该被看做是对本发明的范围的限制，本发明的范围由所附的权利要求限定。

Claims (21)

1.一种部署成像服务平台的方法，包括以下步骤：

在连接到网络的下载服务器上提供代码转换器应用程序；

发信号通知所述网络：所述代码转换器应用程序可用于部署；以及

通过所述网络从所述下载服务器向位于所述网络上的视频网关部署所述代码转换器应用程序。

2.根据权利要求1所述的方法，进一步包括以下步骤：

在所述视频网关上自动安装所部署的代码转换器应用程序。

3.根据权利要求2所述的方法，进一步包括以下步骤：

在所述视频网关上自动配置所述安装的代码转换器应用程序。

4.根据权利要求1所述的方法，进一步包括以下步骤：

在所述视频网关上手动安装所述部署的代码转换器应用程序。

5.根据权利要求4所述的方法，进一步包括以下步骤：

在所述视频网关上手动配置所述安装的代码转换器应用程序。

6.根据权利要求4所述的方法，其中，所述发送信号通知所述网络的步骤包括：指示可用于部署的所述代码转换器应用程序是最新版本。

7.一种部署成像服务平台的方法，包括以下步骤：

在连接到网络的下载服务器上提供移动视频成像应用程序；

发信号通知连接到所述网络的视频使能设备：所述移动视频成像应用程序可用于部署；以及

通过所述网络从所述下载服务器向所述视频使能设备部署所述移动视频成像应用程序。

8.根据权利要求7所述的方法，其中，所述视频使能设备是电话手持终端。

9.根据权利要求8所述的方法，其中，所述手持终端与所述网络进行无线通信。

10.根据权利要求7所述的方法，其中，所述视频使能设备是数字监控摄像机。

11.根据权利要求10所述的方法，其中，所述摄像机与所述网络进行无线通信。

12.根据权利要求7所述的方法，其中，所述发信号通知视频使能设备的步骤包括：发信号通知所述设备的用户所述移动视频成像应用程序可用于部署。

13.根据权利要求7所述的方法，其中，所述发信号通知视频使能设备的步骤包括：仅发信号通知所述设备而不通知所述设备的用户。

14.根据权利要求7所述的方法，进一步包括以下步骤：

在所述视频使能设备上安装所述部署的移动视频成像应用程序。

15.根据权利要求14所述的方法，进一步包括以下步骤：

在所述视频使能设备上配置所述安装的移动视频成像应用程序。

16.根据权利要求7所述的方法，进一步包括以下步骤：

从所述视频使能设备向所述网络发送信号通知所述部署已经完成。

17.一种部署成像服务平台的方法，包括以下步骤：

在连接到网络的第一下载服务器区上提供代码转换器应用程序；

发信号通知所述网络：所述代码转换器应用程序来可用于部署；以及

通过所述网络从所述下载服务器向位于所述网络上的视频网关部署所述代码转换器应用程序；

在连接到网络的第二下载服务器区上提供移动视频成像应用程序；

发信号通知连接到所述网络的视频使能设备所述移动视频成像应用程序可用于部署；以及

通过所述网络从所述下载服务器向所述视频使能设备部署所述移动视频成像应用程序。

18.根据权利要求17所述的方法，其中，所述第一和第二下载服务器区位于相同服务器上。

19.根据权利要求17所述的方法，其中，所述第一和第二下载服务器区位于不同服务器上。

20.根据权利要求17所述的方法，其中，所述视频使能设备与所述网络进行无线通信。

Images