CN1679024A

CN1679024A - 提供为特定客户机设备类型而优化的动态视口分层的成像系统

Info

Publication number: CN1679024A
Application number: CNA038199270A
Authority: CN
Inventors: V·伊斯沃
Original assignee: Lightsurf Technologies Inc
Current assignee: Credit Suisse Tcx; Pauusini Wells Tcx; Verisign Inc
Priority date: 2002-07-23
Filing date: 2003-07-21
Publication date: 2005-10-05
Anticipated expiration: 2023-07-21
Also published as: US7051040B2; KR20050029311A; JP4852674B2; CA2493200A1; EP1532548A1; US20040017393A1; CA2493200C; WO2004010341A1; AU2003261216A1; CN100461160C; US20070009179A1; JP2005534108A; US7792876B2

Abstract

本发明描述了一种系统，其包括用于优化/定制请求图像的显示或渲染的方法。在一个实施例中，该系统提供了为特定设备类型定制的图像的请求式创建。该系统包括用作图像仓库的一个模块，每个图像包括排列在不同层的图像组件；用于处理来自一个设备的请求的模块，以从仓库检索一个特定的图像，该模块部分地基于包含在请求中的信息为该设备确定一种特定设备的设备类型；以及一个基于所确定的设备类型在该特定图像的不同层上单独地渲染图像组件的模块，以致该特定图像的不同层上的图像组件中的至少一些是为该设备定制的。

Description

提供为特定客户机设备类型而优化的动态视口分层的成像系统

版权须知

发明背景

技术领域

本发明一般涉及数字图像处理，尤其是涉及在不同设备上渲染(render)数字图像的改进技术。

背景技术

现在，数字成像尤其是数字照相机形式的数字成像的流行是一个现实，其利用固态图像传感器而不是传统的胶卷，为拍摄图像提供了一种新方式。数字照相机是通过在某些类型的传感装置上记录入射光、然后处理该信息(基本上是模数转换)以创建目标照片的存储图像来发挥作用的。数字照相机最大的优点是它数字化地创建图像，这样，使所有类型的设备和应用工具之间的图像传输变得容易。例如，人们可容易地把数字图像插入到字处理文档中，通过电子邮件发送给朋友，或在一个网站上张贴，让世界上的任何人都可看到它们。另外，人们可利用照片编辑软件对数字图像进行处理，改进或修改它们。例如，人们能剪切数字图像，除去红眼(red-eye)，改变颜色或对比度，甚至添加和删除元素。数字照相机还可提供对图像的直接存取，这样避免了处理胶卷的麻烦和延迟。总之，数字成像正变得越来越普遍，因为当用户想使用或分发图像时，数字成像会给他或她以很大的灵活性。

无论数字图像是在哪里发生的，用户常常会对它们进行处理。例如，在桌面计算机上利用Adobe Photoshop，用户通过在另一层的上面分层形成不同的对象可人工地创建一个图像。例如，一个图像的一层可包含图片，另一层可包含文本，另外一层可包含位图边框，等等。然后，具有独立各层的图像可以以Photoshop(原有的)文件格式存储，或以各种不同的文件格式之一存储。

利用Photoshop，人们可以预先产生一个给定图像的不同版本(即预先渲染该图像的不同层)，这样该图像可为世界上每一种可能的(能够显示)设备而被正确地渲染。但是，该方法并不真正实用。各种设备具有各种约束，如文件大小(如小于5K字节)、位深度约束(如不大于每像素8个比特)，和图像尺寸约束(如图像不能大于100×100像素)。这样，为数以千种的设备创建一个可接受版本的图像的任务是不实际的。

例如，考虑一项任务，在图片(如位图背景)的上面分层形成一个字符(如Disney字符)，用于在能够显示JPEG的目标设备上显示。在这种情况下，该图片将需要被调整尺寸到该目标设备的屏幕尺寸。该字符则不得不在被调整大小的图片的上面被覆盖(分层)，最后该图像将需要被保存为正确的JPEG质量。如果产生的图像文件对于目标设备来说太大，程序将必须被重复，包括重新调整背景图片的大小，在该图片的上面重新分层。利用当前具有的工具，该任务至少是乏味和费力的。此外，当人们处理静态图像时，前述的人工(即预先渲染)方法才是可能的。如果用户想要在一个现有图像上立即形成一个对象的分层，人工方法不能提供一个可能的解决方案。

现有的形成对象分层的方法依靠基于浏览器的在线技术。然而，那些方法基本上是上述桌面方法(即Adobe Photoshop方法)的在线版本。尤其是，那些方法没有考虑可能由一个给定目标设备例如一个手持设备造成的各种约束。相反，那些方法依靠具有固定的一组设备约束(即一个固定的视口)的一个环境。如果该图像是被传输给一个目标设备，则该图像可能必须被调整尺寸。由于图像不是动态地被重新创建，人们不能利用矢量图形；因此图像的特定特征将失去。例如，当文本在640×480分辨率的桌面浏览器上显示时，它看起来是好的，而当在具有100×100分辨率的屏幕的移动设备上显示而重新调整大小时，它看上去很糟糕。然而所希望的是，基于目标设备的最终屏幕分辨率以及任何其它应用的目标设备的约束，来渲染该文本(以及任何其它图形)。既然当前的方法具有这些以及其它限制，应该寻求一种更好的解决方案。

所需要的是一种系统，它提供了允许动态地重新形成一个逻辑视口和允许动态地调整编码参数、包括文件大小约束的方法，以致数字图像的渲染被动态地最优化或为不同的目标设备而定制。本发明满足该要求和其它要求。

术语表

为了说明的目的而不是限制，提供了下面的定义，以有助于理解下文中的讨论。

颜色空间校正(ColorSpace correction)：颜色空间校正是调整一个图像中的R、G、B值的过程，以适应目标显示器的红、绿和蓝的颜色色度。例如参见Poynton，C.A.，＂A Technical Introduction of DigitalVideo，＂Chapter 7，John Wiley，New York，1996。

亮度校正(Gamma Correction)：这是通过把显示器的非线性的倒数施加到源图像而补偿显示器非线性的过程。例如参见Poynton，C.A.，＂A Technical Introduction of Digital Video，＂Chapter 6，John Wiley，New York，1996。

HTML：Hypertext Markup Language(超文本链接标记语言)的缩写，用于在万维网上创建文档的著名的创作语言。HTML类似于SGML，尽管它不是一个严格的子集。HTML通过各种标签和属性来定义web文档的结构和布图。参见RFC 1866：Hypertext Markup Language-2.0

HTTP：HyperText Transfer Protocol(超文本传输协议)的缩写，这是万维网所用的底层协议。HTTP定义信息如何被格式化和传输，以及对应于各种命令Web服务器与浏览器应该采取哪些行动。例如，当用户在他的或她的浏览器中输入一个URL(Uniform Resource Locator，统一资源定位符)，这实际上向Web服务器发送了一个HTTP命令，指示它取出和传输所请求的Web页。HTTP的进一步描述可在以下文献中得到：RFC2616：HyperText Transfer Protocol-HTTP/1.1。RFC2616在万维网联盟(W3)得到，现在通过因特网在www.w3.org/Protocols/上得到。

红眼补偿(Red eye Compensation)：“红眼”效应是由照相机的闪光灯反射出人眼的视网膜引起的。将红色的饱和度降到更暗颜色的计算机算法可减少“发红”。例如参见Wang等人发表的、题为“Apparatusand a method for automatically detecting and reducing red-eye in a digitalimage”的美国专利号6278491。

锐化(Sharpen)：这是对图像中的灰度边缘进行“勾边(crispening)”的过程，用于改进的外观或对模糊的显示进行补偿。这典型地是通过“模糊掩盖”来实现的。例如参见Jain，A.K.，＂Fundamentals of ImageProcessing＂，Prentice Hall，Engelwood Cliffs，NJ，1989，其描述了一个图像的低通滤波版本是如何从该图像中减去的。

URL：Uniform Resource Locator(统一资源定位符)的缩写，万维网上的文档和其它资源的全球地址。地址的第一部分表示使用哪个协议，第二部分指明资源所处的IP地址或域名。

视口(Viewport)：视口表示用户观看最终图像所用的一个目标显示器。例如，在移动的手持设备情况下，视口是该设备的屏幕。但是，视口取决于单独的目标设备，不必限于屏幕的物理尺寸。例如，如果设备具有滚动能力，那么视口的(逻辑)尺寸可超过屏幕的物理尺寸。

白点校正(Whitepoint Correction)：白点校正是在一个给定环境中的“基准白色”的颜色坐标。人眼能够对白点进行“颜色适应”。白点校正是调整R、G、B颜色坐标的过程，以解决人眼对目标显示器白点的调整。例如参见Giorgianni，E.J.et a1.，＂Digital Color Management，＂Addison-Wesley，Reading，MA，1998。

XML：表示Extensible Markup Language(扩展标记语言)，由W3C开发的一种规范。XML是SGML的简化版本，是特别为Web文档设计的。它允许设计者创建他们自己的定制标签，能够进行应用程序之间和组织之间的数据定义、传输、确认和解释。XML进一步的描述可参见例如“ExtensibleMarkup Language(XML)1.0”(2nd Edition，October 6，2000)，这是W3C的一个推荐的规范。该规范的副本现在可通过因特网在www.w3.org/TR/2000/REC-xml-20001006得到。

发明内容

描述了一种请求式(on-demand)的创建图像的系统，这些图像是为特定的设备类型而定制。在一个实施例中，该系统包括一个用作图像仓库的模块，每个图像包括排列在不同层中的图像组件；一个用于处理来自一个设备的请求的模块，以从仓库检索一个特定的图像，该模块部分地基于包含在请求中的信息为该设备确定一种特定的设备类型；以及一个用于创建为该设备定制的特定图像的一个副本的模块，该模块基于所确定的设备类型在该特定图像的不同层上单独地渲染各个图像组件，以致该特定图像的不同层上的图像组件中的至少一些是为该设备定制的。

还描述了一种对传输到客户机设备的图像进行动态优化显示的方法。在一个实施例中，该方法包括步骤：从特定的客户机设备接收一个在线请求，以检索一个用于显示的目标图像，该请求包括有助于确定客户机设备的设备类型的信息，目标图像包括排列在单独层的图像组件；基于该请求，确定该特定客户机设备的设备类型；基于确定的设备类型，检索表示视口的信息和用于特定客户机设备的分层信息；基于视口和分层信息，创建目标图像的一个版本，其被优化以显示在特定的客户机设备上；将目标图像的所创建的版本传输到进行显示的客户机设备。

附图说明

图1是适于实现本发明的数字照相机的一个非常概括的方块图。

图2A是传统数字成像设备的一个方块图。

图2B是传统机载的处理器或计算机的一个方块图，该处理器或计算机被提供以用于控制数字照相机的操作和处理图像数据。

图3是表示一个典型的无线连接环境的一个方块图，本发明优选在其中实施。

图4表示了本发明的一种迭代优化/定制方法，其用于满足目标设备的约束，同时保持好的图像质量。

图5A表示了一个分层的API，提供该图是为了描述如何合并各层。

图5B表示一个优选采用的视口坐标系统。

图5C表示了本发明的一个XML API中所使用的对象的层次。

图6A-图6B包括一个流程图，表示支持动态视口分层的本发明所采用的总体方法。

具体实施方式

下面的描述将集中在本发明的当前优选实施例上，其在一个数字成像环境中实现。但是，本发明并不限于任何一种特定的应用或任何特定的环境。相反，本领域技术人员将发现本发明的系统和方法可以有利地使用在各种不同的设备上。因此，下文中典型实施例的描述是出于说明性的目的，而不是限制性的目的。

I.基于数字照相机的实施方式

A.数字照相机的基本构成

本发明可在媒体拍摄和记录系统例如一个数字照相机上实现。图1是适于实现本发明的一台数字照相机100的一个非常概括的方块图。如图所示，数字照相机100包括一个成像设备120、系统总线130、以及一个处理器或计算机140(例如基于微处理器的单元)。同样如图所示，一个对象或目标150，其图像被照相机100所拍摄。现在将描述在拍摄目标150的图像时，照相机100的这些部件的一般性操作。

如图所示，成像设备120被光学地耦合到目标150，即成像设备120可以拍摄该目标的光学图像。光耦合可包括光学器件的使用，例如一个透镜组件(未标出)以在成像设备120上聚焦目标150的一个图像。成像设备又与计算机140连接，例如通过系统总线130。计算机140为成像设备120提供总体控制。在操作中，计算机140控制成像设备120，这实际上是通过告诉它做什么和何时做来控制的。例如，计算机140提供一般的输入/输出(I/O)控制，其允许人们与数字照相机100的其它机电外围设备(例如闪光灯附加装置)一起协同控制成像设备120。

一旦摄影师或照相机使用者利用拍摄按钮或一些其它工具把成像设备120对准目标150(具有或不具有用户操作的调焦)，指示照相机100拍摄目标150的图像，计算机140通过系统总线130命令成像设备120来拍摄表现目标150的图像。成像设备120基本上是通过捕获从目标150反射的光线并把该光线转换成图像数据来工作的。所拍摄的图像数据通过系统总线130传输给计算机140，计算机140在把图像存储在其内部存储器之前对图像数据执行各种图像处理功能。系统总线130还传输成像设备120和计算机140之间的各种状态和控制信号。现在将更详细地描述成像设备120和计算机140的组件和工作过程。

B.在成像设备上的图像拍摄

图2A是一台传统的数字成像设备120的一个方块图。如图所示，成像设备120包括一个具有光圈的透镜210，一个或多个滤光器215，一个图像传感器230(如CMOS、CCD等等)，一个聚焦装置(如电动机)241，一个计时电路242，一个信号处理器251(如模拟信号处理器)，一个模数(A/D)转换器253以及一个接口255。现在描述这些部件的操作。

在操作中，成像设备120通过沿光路220作用于图像传感器230的反射光来拍摄目标150的图像。透镜210包括把来自目标150的光线沿光路220聚焦到图像传感器230的光学器件。聚焦装置241可用于调节透镜210。滤光器215优选包括放置在图像传感器230上的一个或多个颜色滤光器，以分离出被目标150反射的光线的不同颜色成分。例如，图像传感器230可被红、绿和蓝色滤光器覆盖，这些颜色滤光器在图像传感器上按所设计的模式(“马赛克(mosaics)”)混合以产生更鲜明逼真的颜色。

尽管传统的照相机是通过对胶卷曝光来拍摄图像，而数字照相机是在一个图像传感器(如图像传感器230)即一种固态电子设备上来聚集光线。图像传感器230可被具体化为电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器。CMOS和CCD图像传感器通过拍摄在其表面上的被称为光感应单元(photosites)(或发光二极管)的网格中的小单元上的光线来工作。一个图像传感器的表面典型地包括成数百个光感应单元，把照射在其上面的光线转变为电荷。依靠一个给定的图像，数量不断变化的光线照在光感应单元上，导致光感应单元上的电荷量的变化。这些电荷然后可被测量和转换为数字信息。适于包含在数字照相机的CCD传感器可从许多的厂家得到，包括纽约州罗彻斯特的Eastman Kodak、荷兰的Philips、日本的Sony。合适的CMOS传感器也可从许多厂家得到。代表性的厂家包括荷兰的STMicroelectronics(原来的VSLI Vision Ltd)、伊利诺斯州萧姆伯格的Motorola、以及加利福尼亚州圣塔克莱拉的Intel。

当图像传感器230被指示拍摄目标150的图像时，会分别产生代表被拍摄的目标150的一组原始图像数据(如用于CCD实施方式的CCD格式)。在利用CCD传感器的一个实施例中，例如，在图像传感器230上所拍摄的原始图像数据通过信号处理器251、模数(A/D)转换器253和接口255被发送。接口255具有用于控制信号处理器251、聚焦装置241和计时电路242的输出端。图像数据从接口255通过系统总线130传递到计算机140，如之前对图1所述的。现在将描述计算机140在处理该图像数据中的操作。

C.图像处理

提供一个传统的机载处理器或计算机140，用于控制数字照相机100的操作和处理在成像设备120上所拍摄的图像数据。图2B是该处理器或计算机140的一个方块图。如图所示，系统总线130提供成像设备120、一个(可选的)电源管理262、处理器(CPU)264、一个随机存取存储器(RAM)266，一个输入/输出(I/O)控制器280、一个非易失存储器282、一个可移动存储器接口283，和一个液晶显示器(LCD)控制器290之间的连接通路。可移动存储器284通过可移动存储器接口283连接到系统总线130。可替换地，照相机100(和机载计算机140)在没有可移动存储器284或可移动存储器接口283时可以被实现。电源管理262与电源272连接。也如图2B中所示，一个照相机用户接口195电连接到LCD控制器290和输入/输出控制器280。现在将更详细地描述每一个这样的部件。

处理器(CPU)264典型地包括一个传统的处理器设备(如微处理器)，以控制照相机100的操作。处理器264的具体实现可以通过各种不同的方式来完成。例如，处理器264可被实现为一个微处理器(如从伊利诺斯州萧姆伯格的Motorola得到的MPC823微处理器)，其具有DSP(数字信号处理)逻辑块、存储控制逻辑块、视频控制逻辑块和接口逻辑。可替换地，处理器264可实现为“在一个芯片(组)上的照相机”，例如，利用一个Raptor II芯片组(可从加利福尼亚州新港滩的Conextant Systems，Inc处获得)Sound Vision Clarity 2、3或4芯片组(可从马塞诸塞州韦兰德的Sound Vision Inc获得)，或结合处理核心和图像处理外围器件的类似芯片组。处理器264典型地能够同时运行多个软件程序，以控制照相机100在多线程环境中的各种处理。

数字照相机100包括几个存储器部件。存储器(RAM)266是可被有选择地分配给各种存储功能的动态存储器的邻接块。动态随机存储器可从各个厂家得到，例如日本的Toshiba、美国爱达荷州博伊西的Micron Technology、日本的Hitachi和韩国的Samsung Electronics。非易失存储器282典型地包括一个传统的只读存储器或闪速存储器，它存储一组计算机可读程序指令以控制照相机100的操作。可移动存储器284可作为一个另外的图像数据存储区域，包括一个不可变设备、通过移动存储器接口293由照相机100用户来移动和代替。这样，具有多个可移动存储器284的用户可以空的可移动存储器284代替一个内容已满的可移动存储器284，以有效地扩大照相机100的拍照容量。可移动存储器284典型地是利用闪磁盘(flash disk)来实现的。例如，闪速存储器的厂家包括加利福尼亚州桑尼维尔的SanDisk Corporation和日本的Sony。本领域技术人员将意识到的是，数字照相机100可包含可容易地适应图像拍摄和本发明处理方法的其它存储器配置和设计。

典型地，数字照相机100还包括用于与照相机用户或与其它系统和设备连接的多个接口。例如，I/O控制器280是一个接口设备，其允许与计算机140进行通信。I/O控制器280允许一个外部主机(未标出)与计算机140连接并与之通信。如图所示，I/O控制器280还与多个按钮和/或拨号盘298以及一个可选的状态LCD 299接口，它们加上LCD屏幕296就构成了该设备的用户接口295的硬件部件。数字照相机100可包括用户接口295，例如，可从一个照相机用户接收输入和提供反馈。可替换地，对于一个媒体拍摄设备，这些部件可通过一个主机设备(如个人数字助理)来提供，媒体拍摄设备被实现为一个主机设备的一个客户机。对于不需要与用户交互的一个实施例，如一个监视照相机，上述用户接口部件可以不需要。LCD控制器290访问存储器(RAM)266，并向用于显示的LCD屏幕296传送处理后的图像数据。尽管用户接口295包括一个LCD屏幕296，但是除了LCD屏幕之外或作为LCD屏幕的替代，可使用一个光学探视镜(viewfinder)或直接观察显示器(direct view display)以向照相机用户提供反馈。用户接口295的部件可从多个厂家得到。例包括日本的Sharp、Toshiba和CitizenElectronics，韩国的Samsung Electronics和加利福尼亚州帕拉阿图的Hewlett-Packard。

电源管理262与电源272通信，协调照相机100的电源管理操作。电源272为照相机100的各种部件提供工作电源。在一个典型的配置中，电源272向主电源总线278和二级电源总线279提供工作电源。主电源总线278提供电源给成像设备120、I/O控制器280、非易失存储器282和可移动存储器284。二级电源总线279提供电源给电源管理262、处理器264和存储器(RAM)266。电源272被连接到电池275，以及辅助电池276。照相机用户也可根据需要把电源272连接到一个外部电源。在电源272的正常工作过程中，主电池275向电源272提供工作电源，然后电源272将工作电源供给照相机100，这是同时通过主电源总线278和二级电源总线279来实现的。在一个电源失效模式中，其中当主电池275已经失效(如当它们的输出电压已低于一个最小工作电压水平时)，辅助电池276对电源276提供工作电源。在一个典型配置中，电源272只提供从辅助电池到照相机100的二级电源总线279的电源。

上述系统100只是为了说明基于媒体拍摄和记录系统(如数字照相机)的基本硬件的目的而示出的，媒体拍摄和记录系统可被用来实现本发明。然而，本发明并不只限于数字照相机设备，相反，本发明可有利地适用于各种设备，这些设备能够支持本发明方法和/或从本发明的方法中受益，这些在下文中描述。

D.系统环境

图3表示一个典型的无线连接环境300，本发明优选在其中实施。如图所示，环境300包括一个成像设备310(例如一台数字照相机，如数字照相机100)，成像设备310包括一个中央处理单元(CPU)320，中央处理单元(CPU)320包括一个动态信号处理器(DSP)单元325，一个随机存取存储器(RAM)330(如DRAM，SRAM等等)，以及用于存储一个或多个压缩图像的闪速存储器340。成像设备310的基本工作过程如下。用户操作的成像设备310可拍摄一张或多张数字图像(照片)和把图像文件存储在成像设备310的闪速存储器340中。照相机侧的图像处理(如压缩)是由DSP单元来处理的，与工作的存储器(即RAM330)协同工作。处理之后，图像则可通过无线网络360发送给一台服务器计算机370(如通过因特网)。在服务器370处，从成像设备310接收的图像数据可重新存入存储器(RAM)390(如DRAM，SRAM等等)，以进行另外的处理(如图片重叠)。然后，处理后的图像可根据需要存储在服务器370上，或重新传回原始设备(如照相机100)，或传送给其它设备。

II.动态视口分层

A.引言

内容创建者想要创建有趣的内容以添加到用户图片中。例如，内容创建者可能想要对具有有趣的文本或有趣的动画进行分层。这要求匆忙地(on the fly)创建内容。然而，当内容创建者匆忙地创建内容时，创建者面对一些另外的问题，如正确显示，或在具有不同显示特征的显示器上渲染内容。本发明的方法是创建一个解决方案，允许人们描述在最后的表现中所必须发生的。例如，一个典型的描述将指出，一个图像应该被显示为具有一个框架，在图像上具有动画，以及在最上层显示文本“生日快乐”。因此，该解决方案允许图像在具有不同显示特征的设备上被正确显示。

更特别的是，本发明采用两方面(two-pronged)的方法。首先，本发明的方法提供了一种描述语言，允许人们指出分层是如何被执行的。在目前优选的实施例中，描述语言遵守XML的格式，提供了形成给定图像的各层的一种分层描述。不同的层包括图像(如位图)、动画、文本、矢量图形等等。该描述语言包括一种语法，允许人们描述如何把不同的层合成在一起，如何在一个视口中显示这些层。该描述语言并不详细说明一个精确的布局，相反，而是适应各种目标设备的约束。一个特定图像的给定描述驻留在服务器中；它并不发送给目标设备。相反，目标设备接收最后的编码格式(图像)。因此，该描述语言适应于由一个特定目标设备所施加的编码约束。

本发明的方法的第二个方面是动态地重新形成或重新配置视口，以致该图像在目标设备上被正确地渲染。考虑一个给定目标设备的一组设备约束。这些约束指明特定的限制，如每个像素允许的最大位(如每个像素8位)、最大屏幕尺寸(如100像素X100像素)，等等。根据本发明，视口被动态地重新配置以适应当前及以后的目标设备。而且，多个约束通常必须被满足。例如，一个目标设备可指明一个最大图像尺寸(如5K)。为适应该该约束，必须降低位深度(即每个像素的位数)。本发明的方法要求相互地满足一个设备的约束，以致，例如可使一个图像的位深度可以被变为每个像素4位，以适应5K文件大小的约束。但是，位深度将不被允许超过每个像素8位(即，该目标设备所支持的最大位深度)。总之，存在各种约束或参数，其可被潜在地调节以动态地使逻辑视口(以及图像)与该目标设备相匹配。

B.基本方法

本发明提供一个迭代优化(定制)方法，其用于满足目标设备的约束，同时保持好的图像质量。如图4中的401所示，分层方法被使用，其处每个层最初流过两个基本块：增强和视口预处理。前者代表增强，如红眼降低、对比度调节等等。后者代表视口颜色和外观约束被补偿的逻辑，这是通过使用了颜色修正、亮度、锐化等等。

在上述过程的末尾，各层(如层0和层1)准备被映射到视口，如403所示。文件大小控制块405，它与视口说明组件417通信，为该映射指明视口尺寸407。视口尺寸可以大于目标显示器(如由于滚动功能)。各层在映射之后被合并，如在409所示。该处理过程的下一步是在411中将视口剪切为一个剪切路径(clip-path)。剪切路径对应视口单位矩形(0.0，0.0，1.0，1.0)，但它也可指示所渲染的层中的一个。然后，按照设备约束对所剪切的矩形进行编码，如颜色深度、编码方法、系统调色板，等等。映射413表示这个操作。如果所得到的文件大小符合文件大小约束(在415被测试)，则图像被返回给目标(如，移动的)显示器。否则，文件大小控制块重新调整视口的大小，并且重新开始视口映射、合并等等，如通过循环回文件大小控制块405所示的。

C.图像变换API

下面将描述说明用于图像变换的接口。为了有效利用该接口，理解本发明所使用的成像模式是有用的，该成像模式基于分层范式。例如，这些层可包括图像、文本和矢量图形层。层具有空间和时间属性，

1)空间分层：这些层具有一个“order(顺序)”空间属性，指明各层如何彼此相对迭加。另外，Viewport_map子元素指明层所映射到的视口的分区。

2)时间分层：这些层具有时间属性，如start_time时间、duration(持续时间)等，指明各层如何按时间被安排。

1.空间分层

图像变换API是一个分层API，描述如何合成不同层(图像、文本、动画等)以创建特殊效果。图5A表示分层管线(pipeline)(暂时忽略时间分层)：

1)首先这些层被渲染。

2)然后这些层被映射并迭加在视口上。视口是一个虚拟矩形，其尺寸由目标显示尺寸和层的映射方法来决定。

3)层迭加在视口中被合并。

4)所合并的视口图像被格式化，以匹配正请求的客户机的显示约束(如位深度、调色板、文件格式等)。

5)然后，格式化图像被返回给客户机。

6)客户机在其显示器上显示格式化图像。

视口坐标系统是一个“normalized(标准化)”系统(图5B)，其中：

原点是视口的左上角。

X轴向右。

Y轴向下。

X坐标标准化为视口宽度。

Y坐标标准化为视口高度。

“视口单位矩形”551被定义为一个跨越坐标(0.0，0.0)，(1.0，1.0)的矩形。每层通过其Viewport_map映射到视口的分区。一个示例的视口映射分区或窗口如图5B中的553所示。

2.时间分层

除了空间“order”属性，层还具有时间属性(全部以毫秒来表达)：

1)start_time：指的是层呈现的开始时间。默认为0毫秒。

2)duration：层呈现的时间。默认值为无穷大(“INF”)。0值也被看作为无穷大时间。

3)repeat_period：重复呈现的周期速率。默认值为无穷大(“INF”)。0值也被看作为无穷大。两个值都将导致动画从不被重复。

3.XML方法

利用一个XML API就可获得分层。在该方法中，(arg，val)对(属值对)“enh＝<XML_URL>”指的是要使用的XML URL。

例如：

http://eswitch.foo.com/es？src＝http://source.foo.com/images/imgl.jpg&enh＝http://source.foo.com/templates/enhance.xml

1)src图像(http://source.foo.com/image/imgl.jpg)成为源层，该层被插入任何背景层(层号0)和在XML增强型文件指明的其它层之间。

2)XML(配置)文件描述其它层。另外它描述了视口约束。

3)XML增强方法不能与URL线(arg，val)对一起被使用(即两种方法是相互排斥的)。

4.XML层次

在XML API中使用的对象的层次示于图5C中。灰线指向属性。黑线指向元素。在该层次中，属性表示简单类型，元素表示复杂类型。下文中的图表将更详细地描述该层次中的元素和属性。该层次中的某些元素和属性用于高级用户，以灰色(非强调性的)文本表示。

5.图像变换

图像变换包括一个元素标签，以覆盖图像分层操作的详细内容。

表：图像变换

属性	有效值	描述
属性	有效值	描述	xmlns	“http://www.lightsurf.com/eswltch2/image-transform/1.0”	图像转换标记的名称空间和校对
子元素	描述		xmlns	“http://www.lightsurf.com/eswltch2/image-transform/1.0”	图像转换标记的名称空间和校对
子元素	描述		image_layer	一个图像层
text_layer	一个文本层		image_layer	一个图像层
text_layer	一个文本层		bezler Layer	利用Bezier曲线定义形状的层
Viewport	决定如何映射到输出的视口约束和性能。		bezler Layer	利用Bezier曲线定义形状的层

6.各层的公共属性

各层具有用以描述空间和时间特性的公共属性。

a)空间特性

一个层的空间属性是由“order”属性和“viewport_map”子元素(child-element)决定的。

表：层的空间属性

属性	有效值	描述
属性	有效值	描述	order	1～n	这是一个相对值，指出在视口上表示的空间次序。具有较大顺序值(order)的层被叠放在较小顺序值的层的上面。
子元素	描述		order	1～n	这是一个相对值，指出在视口上表示的空间次序。具有较大顺序值(order)的层被叠放在较小顺序值的层的上面。
子元素	描述		Viewport_map	描述如何将该层映射到视口

ViewDort_map是所有层的公共元素。这决定如何将该层映射到视口。该映射是基于：

Window：这是在视口中层必须被映射的区域。缺省时，该窗口延伸到整个视口。

Mode：这描述层如何适合该窗口。缺省值为“fit(适应)”。

下面的(高级)元素对于映射后重新定位图像是有用的。

Align：这描述如何在窗口内对齐层。如果未指明，则假定是中心对齐。

Offset：这描述在层被影射到窗口之后，是否对该层进行偏移的量。如果没有指明，则假定具有一个(0.0，0.0)偏移。

表1 Viewport_map

属性	有效值	描述
属性	有效值	描述		mode	下列值之一：·Fit(缺省值)·Fill·Force·As-is	一个将层映射到窗口的方法。该方法定义了层到窗口的初始映射。在窗口之外的层的区域被剪切到(clip to)窗口中。·Fit：表示层被缩放以适合窗口。该层的纵横比被保持。图像将只在一个方向上填满窗口。·Fill：Fill将缩放图像以填满窗口。部分图像可能会被剪掉。·Force：将缩放并改变层的纵横比以填满窗口。·AS-is：在映射过程中不执行任何缩放。·Fit-to-Width：表示层的宽度被调整到视口的宽度。该层的纵横比被保持。该层可能在高度方向上溢出视口(因而，可能会被剪掉)。
子元素	用法		描述	mode	下列值之一：·Fit(缺省值)·Fill·Force·As-is

window	<windowx＝＂<LT_X>＂y＝＂<LT_Y>＂width＝＂<WIDTH>＂height＝＂<HEIGHT>＂/>	其中映射了层的视口的一个子区域。(x，y)属性定义了左上角，width(宽度)和height(高度)属性定义了大小。<LT_X>：左上角x坐标。缺省值为0.0<LT_Y>：左上角y坐标。缺省值为0.0<WIDTH>：窗口宽度。缺省值为1.0<HEIGHT>：窗口高度。缺省值为1.0
window			Align	<alignxalign＝＂<ALIGNX>＂yalign＝＂<ALIGNY>＂/>	该子元素描述该层在映射过程中在窗口中的X和Y轴应如何对齐。<ALIGNX>：可以是“left(左)”、“right(右)”或“center(中心)”之一。缺省值是“center”。<ALIGNY>：可以是“top(上)”、“bottom(下)”或“center(中心)”之一。缺省值是“center”
Offset	<offsetx＝“<OFFSET_X>”y＝“<OFFSET_Y>”/>	映射和对齐之后，要对该层进行偏移的量。<OFFSET_X>：X方向的偏移量。缺省值是0.0。<OFFSET_Y>：Y方向的偏移量。缺省值是0.0。注意：在映射、对齐和偏移之后，该层被剪切到窗口的视口中，即该层的任何落在窗口之外的部分将不可见。	Align	<alignxalign＝＂<ALIGNX>＂yalign＝＂<ALIGNY>＂/>

b)时间特性

时间特性：start_time、duration、repeat_period均被各层支持。

表：层的时间特性

属性	有效值	缺省值	描述
属性	有效值	缺省值	描述	start_time	＞＝0ms	0ms	层呈现的开始时间
duration	＞0ms	INFINITY	呈现的持续时间	start_time	＞＝0ms	0ms	层呈现的开始时间
duration	＞0ms	INFINITY	呈现的持续时间	repeat_period		0ms	各层应满足以下约束。·start_time+duration＜＝repeat_period

7.图像层

图像层的属性和子元素决定它：

如何被创建；

如何映射到视口内的一个窗口。

表：图像层的属性和元素

属性	有效值	缺省值	描述
属性	有效值	缺省值	描述	order	参见第6部分
start_time				order	参见第6部分
start_time				duration
repeat_period				duration
repeat_period				src	一个URL	源图像
子元素	描述			src	一个URL	源图像
子元素	描述			Viewport_map	描述该层如何映射到视口

a)源图像层

由“src＝<IMAGE_URL>”属值对所指定的图像成为“源”层。该层被插入任何背景(层号0)和其余层之间。该层具有缺省属性和Viewport_map的子元素值。

8.文本层

该层支持文本重现。

表：文本层的属性和元素

属性	有效值	缺省值	描述
属性	有效值	缺省值	描述	order	参见上文
start_time				order
start_time	duration
repeat_period	duration
repeat_period	text	UTF-8Unicode(统一字符编码)string(字符串)	None(空值)	文本字符串被定义为UTF-8。该格式可支持Unicode标准所定义的任何字符。只要表示的字体文件提供给字符一个Unicode值，该字符就被支持。
Centerx	text	UTF-8Unicode(统一字符编码)string(字符串)	None(空值)		Yes(是)，No(否)	Yes	在X方向居中·“No”值将把文本与左边框对齐
Centerx	Centery	Yes，No	Yes	在Y方向居中·“No”值将把文本与底边框对齐	Yes(是)，No(否)	Yes	在X方向居中·“No”值将把文本与左边框对齐
font_file	Centery	Yes，No	Yes	在Y方向居中·“No”值将把文本与底边框对齐	在字体路径下的一个TrueTvpe(微软	None	字体文件必须是TrueType文件。该文件可以是单个字型文件(.ttf)或多个字型TrueType集合(.ttc)

	和Apple公司共同研制的字型标准)文件名		文件。
	和Apple公司共同研制的字型标准)文件名		文件。	font_color	一种颜色	0x000000(黑色)	颜色是以十六进制格式表示为0xRRGGGBB(RR＝红色GG＝绿色BB＝蓝色)
font_mode	·Auto(自动)·fixed	Auto	·Autoo字体大小是自动决定的以在窗口中适应表示的文本o font_size_min属性被执行·fixedo font_size是以“points(点)”表示(1point＝1/64＂)o font_size_min属性被忽略。	font_color	一种颜色	0x000000(黑色)	颜色是以十六进制格式表示为0xRRGGGBB(RR＝红色GG＝绿色BB＝蓝色)
font_mode	·Auto(自动)·fixed	Auto		font_size	4～128	12	字体的大小用于固定模式的字体。以points来表示。
font_size_min	4+	6	该参数在“自动”模式下使用，其中它可被用于保证字体大小不会低于该水平，从而即使在小显示器中也可导致“智能”文本	font_size	4～128	12	字体的大小用于固定模式的字体。以points来表示。
font_size_min	4+	6	该参数在“自动”模式下使用，其中它可被用于保证字体大小不会低于该水平，从而即使在小显示器中也可导致“智能”文本	子元素	描述
Viewport_map	映射、对齐和偏移被忽略(即只有窗口元素被使用)。			子元素	描述

9.Bezier层

Bezier层被用于覆盖矢量图形。该层的目的是支持具有动态文本插入功能的矢量图形。

表：Bezier层的属性和元素

属性	有效值	缺省值	描述
属性	有效值	缺省值	描述	order	参见上文
start_time				order
start_time	duration
repeat_period	duration
repeat_period	src	一个URL	必须指定	一个文件的路径名，该文件指明Adobe Illustrator A18 EPS文件格式的Bezier曲线。该路径名应具有.eps扩展名
order	src	一个URL	必须指定		1～n	必须指定	该顺序定义当产生最后的输出时的层的堆叠。较大数字的层在较小数

		字的层的上面被渲染。
		字的层的上面被渲染。	Opacity	0～100	100	图片的总不透明性
子元素	描述		Opacity	0～100	100	图片的总不透明性
子元素	描述		Text_box	描述了必须插入到Bezier层的文本
Viewport_map	与图像层相同		Text_box	描述了必须插入到Bezier层的文本

表：Bezier层的Text_box元素

属性	有效值	缺省值	描述
属性	有效值	缺省值	描述	Text	与文本层中相应属性相同
Centerx				Text
Centerx	Centery
font_file	Centery
font_file	font_color
font_mode	font_color
font_mode	font_size
font_size_min	font_size
font_size_min	子元素	描述
bounding_box	子元素	描述			这是文本的边框，以Adobe Illustrator文件的point坐标空间来表示。·用法：<bounding_box x＝＂<IIx>＂ y＝＂<ury>＂width＝＂<width>＂height＝＂<height>＂ο<IIx>：左下角X坐标(点)ο<ury>：右上角Y坐标(点)ο<width>：边框的宽度(点)ο<height>：边框的高度(点)确定文本边框的程序：·打开Adobe Illustrator中感兴趣的图片。·选择File->Document Setup->Units->Points。·以Rectangle(矩形)工具画出文本边框。·用Selection(选择)工具来选择矩形。ο激活(高亮)该矩形，在“info(信息)”面板上显示边框信息。这是被输入到XML层说明中的边框信息。“info”面板中的(X，Y，W，H)对应于IIx、IIy、width、height。·删除矩形——它不再需要(它只是在决定文本边框时有用)。

10.视口

一旦各层映射到视口并被合并，所产生的图像按照视口元素所指明的约束被映射到客户机的优选图像格式中。

表：视口元素

属性	有效值	缺省值	描述
属性	有效值	缺省值	描述	aspect_layer	一个图像层序号或-1	最低图像层	方位(“锚(anchor)”)层决定了当定位所有其它层时作为锚的层。方位层决定视口的纵横比(参见上文)。
force_colors	一个URL	颜色不是强制的	该元素定义被强制的颜色。被强制的颜色组是以下面格式之一来指定(参见上文)：·ACT(.act)：Adobe活动表格式(.act)·GIF(.gif)·PNG(.png)	aspect_layer	一个图像层序号或-1	最低图像层	方位(“锚(anchor)”)层决定了当定位所有其它层时作为锚的层。方位层决定视口的纵横比(参见上文)。

a)方位/锚层

本发明将视口的宽度设置为目标设备的宽度。但是视口高度是基于由aspect_layer定义的纵横比来决定的：

aspect_layer＝-1：这是最简单的情形。在该情形下，纵横比与目标设备的显示器相同。

例如：目标移动设备为100×120。然后，本发明将创建一个100×120的视口。

aspect_layer＝某一图像层的顺序号：该图像层的纵横比决定视口的高度。

例如：图像为640×480。移动设备为100×100。然后，本发明将创建一个100×75的视口。由于坐标系统被标准化到视口，然后所有层将相对于这个图像层。

aspect_layer未指定(默认)：如果方位层未指定，“最低下的”(按照“order”)图像层被用做方位层。如果没有图像层，则aspect_layer被设置为-1。

虽然初始视口尺寸是通过上述方法来决定的，但是尺寸可调整到符合文件大小约束。当视口被调整大小时，保持纵横比。

b)Force_colors

被强制的颜色组以下面格式之一来指定：

1)ACT(.act)：Adobe活动表格式(.act)。这定义一个颜色表。颜色表中的颜色组被使用。

2)GIF(.gif)：颜色组是出现在GIF图像中的第一颜色调色板。

3)PNG(.png)：颜色组是出现在PNG图像中的第一颜色调色板。移动设备通常具有下列颜色模式中的一种：

7)真彩色：在该模式中，系统能够显示任何颜色。Force_colors在该情形下无效。

8)索引颜色：在该模式中，系统能够显示有限数量的颜色。以下是索引颜色模式的两个子模式：

a.固定调色板：具有固定调色板的设备是不可变更的并且与“force_colors”不兼容。这些设备的force_colors指示被忽略。

b.自适应调色板：很大一类设备只能适应一小组颜色(即256色)，但是颜色可以是任何颜色。Force_colors在该情形下是最有用的。

如果系统能支持比force_colors更多的颜色，则force_colors中的所有颜色被使用。如果系统能支持比force_colors更少的颜色，则force_colors的一个子集被使用。

11.类定义

ImageTransform类、ImageLayer类和Viewport类的C++类定义如下所示。

a)ImageTransform

/**

*class ImageTransform

**/

class ImageTransform

{

friend class Layer；

friend class Viewport；

public：

///Constructor

ImageTrans form()；

///Destructor

～ImageTransform()；

///Get the viewport object

Viewport* GetViewport()；

/// Set the Output File Name

ITERR SetOutputFileName(const std::string&outFileName)；

/// Creating a layer

ImageLayer* CreateImageLayer (int32_t Stackorder)；

TextLayer* CreateTextLayer (int32_t Stackorder)；

BezierLayer* CreateBezierLayer (int32_t Stackorder)；

///Get the aspect/anchor layer. This is the layer that determines

///＂anchor＂when displaying all other layers.

Layer*GetAspectLayer()；

///----------Encoding-----------------------------------

///Enable (or disable) encoding MIME type image/gif images

///compressed with the LZW algorithm

void EnableLzwGifEncoding(bool enable＝true)；

///Enable (or disable) decoding MIME type image/gif images

/// compressed with the LZW algorithm

void EnableLzwGifDecoding(bool enable＝true)；

///--------Rendering----------------------------

/// Render the image transform

ITERR Render()；

///Getting rendered parameters

int32_t GetRenderedWidth()；

int32_t GetRenderedHeight()；

int32_t GetRenderedContentLength()；

std∷string GetRenderedMimeType()；

///Typedef for a UrlAccess call-back which is plugged into the

///image transform object to access media by URL-It returns the

///HTTP status codefrom the access.

typedef int32_t(UrlAccessFunction)(std∷string url，

std∷stream*fromUrlStream，

void*ref，

std∷string*resStr＝NULL)；

///Set the Url Accessor funciton which is called to accessing

///media by URL

void SetUrlAccessFunction(UrlAccessFunction*fxn，void*ref＝NULL)；

//Anchor to Display Mapping Mode.This mode decides how an anchor

//layer is mapped tothe display：

//CLAMP_TO_WINDOW：Clamp to fit withing display window

//CLAMP_TO_WIDTH： Allow height to exceed display height，

// but clamp to Width

typedef enum

{

CLAMP_TO_WINDOW，

CLAMP_TO_WIDTH

}AnchorToDisplayMapMode；

ITERR SetAnchorToDisplayMapMode(AnchorToDisplayMapMode Mode)；

AnchorToDisplayMapMode GetAnchorToDisplayMapMode() const；private：

//Fetch a＂media＂or other object and return a temp file name

std∷string FetchUrlObject(const std∷string& url)；

//Private rendering functions：

//Load the layers

ITERR LoadLayers()；

//Just size the layers

ITERR SizeLayers()；

//Compute Viewport size -previous to enforcing file sizeconstraint

ITERR ComputeViewportSize(int32_t*pWidth，int32_t*pHeight)；

//Do the actual rendering to output

ITERR RenderOutput()；

//Internal rendering to memory

ITERR RenderToMemory(IMG_IOHANDLER*pIO)；

//Render with no output：Useful to compute Rendered parameters

ITERR RenderParameters()；

//Setting rendered parameter values

ITERR SetRenderedWidth(int32_t Width)；

ITERR SetRenderedHeight(int32_t Height)；

ITERR SetRenderedContentLength(int32_t ContentLength)；

ITERR SetRenderedMimeType(IMG_type MimeType)；

///Animation

void SetAnimatedFlag(bool AnimatedFlag)；

bool GetAnimatedFlag() const；

///The layers to be stacked

typedef std∷map<int32_t，Layer*>LayerMap；

LayerMap mLayerMap；

/// Viewport

Viewport mViewport；

///Output filename

std∷string mOutFileName；

///Parameters that are set after rendering

int32_t mRenderedWidth；

int32_t mRenderedHeight；

int32_t mRenderedContentLength；

IMG_type mRenderedMimeType；

///temporary file streams for input media

std∷vector<LSCC∷FileStream> mFileStreams；

UrlAccessFunction* mUrlAccessFxn；

void* mUrlAccessRef；

//The enable which allows MIME types of image/gif to be decoded

//using LZW decompression

bool mEnableLzwGifDecode；

//animation

bool mAnimatedFlag；

//Anchor to display mapping mode

AnchorToDisplayMapMode mAnchorToDisplayMapMode；}；

b) Layer class

Layer类是所有层从其中派生的基类/**

*class Layer

**/class Layer{public：

///Layer Type

typedef enum

{

LAYER_TYPE_IMAGE，

LAYER_TYPE_TEXT，

LAYER_TYPE_BEZIER，

LAYER_TYPE_ANIMATION，

LAYER_TYPE_UNKNOWN

} LayerType；

///Constructor

Layer(class ImageTransform* imgXfm)；

///Destructor

virtual～Layer()；

///Get the type of layer

virtual LayerType GetLayerType() const ；

///Set the layer order-layers with a larger order number will

///be more visible when the layers are stacked(i.e.stacked

///later)

void SetLayerNumber(intl6_t number)；

///Get the layer order number.

int32_t GetLayerOrder()const；

///Set opacity

ITERR SetOpacity(double OpacityPercent)；

///Get Opacity

double GetOpacity()const；

///Get aspect ratio

virtual ITERR GetAspectRatio(double*pAspectRatio)const；

///Get the layers size(width and height)

virtual ITERR GetSize(int32_t*pWidth，int32_t*pHeight)const；

///Decode a layervirtual ITERR Load(const Viewport & viewport)；///Size a layervirtual ITERR size(const Viewport & viewport)；///Enhancevirtual ITERR Enhance()；///EnhanceSizevirtual ITERR EnhanceSize()；///Apply PreProcessing to accomodate viewport constraintsvirtual ITERR PreProcess(const Viewport & viewport)；///Render all the frames in a Layervirtual ITERR Render(const Viewport & viewport)；///Get the count of the number if frames this layer hasvirtual uint32_t GetFrameCount() const；///Get a pointer to a particular framevirtual const ImageFrame *GetFrame(uint32_t index)const；///Get the viewport MapViewportMap*GetViewportMap()；///Set the identifier for this layervoid SetId(const std∷string & id)；///Get the identifier for this layerstd∷string GetId()const；///Set the time to start displaying this frame(aka Time of///arrival [TOA]) -time is in msvoid SetStartTime(int32_t time)；///Get the time to set for starting to displaying the frameint32_t GetStartTime()const；///Set the duration this frame will be displayed for - time is in///ms

void SetDuration(int32_t time)；

///Get the duration this frame will be displayed for.

int32_t GetDuration()const；

///Set the display count for how many times to display this frame

void SetDisplayCount(int32_t count)；

///Get the display count for this frame.

int32_t GetDisplayCount()const；

///Set the repeat period which is the duration between starting to

///reshow this frame

void SetRepeatPeriod(int32_t time)；

///Get the repeat period for this frame.

int32_t GetRepeatPeriod()const；

///Is the layer＂animated＂

bool IsAnimated()const；protected：

//Is it okay to Load a LZW GIF file

bool IsLzwGifDecodeOK()；

//Fetch a ＂media＂or other obj ect and return a temp file name

std∷string FetcbUrlObject(const std∷string & url)；

///Opacity of a layer

double mOpacity；

///Viewport mapping parameters

ViewportMap mViewportMap；private：

ImageTransform*mParentTransformObj；

std∷string mLayerId；

int16_t mLayerNumber；

uint32_t mStartTime； ///display start(presentatin)time

uint32_t mDuration； ///display duration(in ms)

uint32_t mRepeatPeriod； /// repeat period(in ms)

uint32_t mDisplayCount； /// display count}；

c)Image Layer class

ImageLayer从Layer类派生/***class ImageLayer**/class ImageLayer：public Layer{public：

///Constructor

ImageLayer(class ImageTransform*imgXfm)；

/// Destructor

～ImageLayer()；

/// return the layer type (i.e.LAYER_TYPE_IMAGE)

LayerType GetLayerType() const；

///-------Setting of parameters-------------

/// Set the source file name

ITERR SetSrc(const std∷string & srcFileName)；

/// Set enhancement string

ITERR SetEnhance(const std∷string & enhanceString)；

///-------Getting of parameters-------------

/// Get aspect ratio.Call only afterimage

/// has been loaded.

ITERR GetAspectRatio(double*pAspectRatio)const；

ITERR GetSize(int32_t*pWidth，int32_t*pHeight)const；

///-------Processing --------------

/// Set the Load Clamp Rectangle，i.e.the image that is loaded

/// will be pre-clamped to ClampWidth，ClampHeight.This function

/// is typically used to minimize processing overhead，as fewer

/// pixels need be processed during subsequent processing.

ITERR SetLoadClamp(int32_t ClampWidth，int32_t ClampHeight＝0)；

/// Load a source image

ITERR Load(const Viewport & viewport)；

///Size a layer

ITERR Size(const Viewport & viewport)；

///Apply enhancements

ITERR Enhance()；

///Compute the size effects of enhancements

ITERR EnhanceSize()；

///Apply PreProcessing to accomodate viewport＂appearance ＂

///constraints，like color etc.

ITERR PreProcess(const Viewport & viewport)；

///Render a ImageLayer

ITERR Render(const Viewport & viewport)；

///Get the count of the number if frames this layer has

uint32_t GetFrameCount() const；

///Get a pointer to a particular frame

const ImageFrame*GetFrame(uint32_t index)const ；private：

///Is this an LZW TIF Image？

bool IsLzwTIF(const std∷string &filenam)；

///Verify if this is a valid＂allowed＂ image(for e.g.LZW

///may be disallowed and the image could be LZW GIF

///Also Compute the＂preclamp＂dimensions

ITERR VerifyImageAndComputePreclamp(const std∷string & pFileName，

int32_t DisplayWidth，

int32_t DisplayHeight，

int32_t *pClampWidth，

int32_t *pClampHeight)；

std∷string mSrcFileName；

int32_t mLoadClampWidth；

int32_t mLoadClampHeight；

std∷string mEnhanceString；

IMG_image mImg；

ImageFrame mRenderedImage；}；

d)The Viewport Class/***Class Viewport**/class Viewport{public：

///Constructor

Viewport(class ImageTransform*parent)；

///Destructor

～Viewport()；

///-------------Viewport initialization------------------

///Initialization

ITERR Init(){return ReInit()；}；

///Reinitialization

ITERR ReInit()；

///-------------adaptive vs.custom palette

bool UseAdaptivepalette()；

///------------Viewport external params------

///preprocessing parameter- sharpen

ITERR SetSharpen(double Sharpen)；

double GetSharpen()const；

///adaptation：Variable params

///Only set the width

ITERR SetDisplaySize(int32_t Width)；

///Set the width and height

ITERR SetDisplaySize(int32_t Width，int32_t Height)；

///**WARNING*：This returns the raw device display size without

///considering any scaling.

void GetDisplaySize(int32_t*pWidth，int32_t*pHeight)const；

///**WARNING*：This returns the effective display size after

///considering any scaling.

void GetEffectiveDisplaySize(int32_t*pWidth，int32_t*pHeight)const；

///scaling of display

ITERR SetDisplaySizeScale(double ScaleX，double ScaleY)；

void GetDisplaySizeScale(double*pScalex，double*pScaleY)const；

///bits per pixel

ITERR SetBitsPerPixel(int32_tBitsPerPixel)；

int32_t GetBitsPerPixel()const；

///Amount of error diffusion

ITERR SetDiffuseLevel(int32_t DiffuseLevel)；

int32_t GetDiffuseLevel()const；

///quality level for JPEG output

ITERR SetJPEGQuality(int32_t JPEGQuality)；

int32_t GetJPEGQuality()const ；

///Maximum file size allowed

ITERR SetFileSize(int32_t FileSize)；

///**WARNING*：This returns the raw device file size without

///considering any scaling.

int32_t GetFileSize()const ；

///**WARNING*：This returns the effective file size after

///considering any scaling.

ITERR GetEffectiveFileSize(int32_t*pEffFileSize)const ；

ITERR SetFileSizeScale(double FileSizeScale)；

double GetFileSizeScale()const ；

///Mime type for static(un-animated) output

ITERR SetMimeType(const std∷string & mimeType)；

IMG_type GetMimeType()const ；

///Dots per inch of device

ITERR SetDPI(double DotsPerInch)；

double GetDPI()const；

///Color capability of device

ITERR SetColorFlag(bool ColorFlag)；

bool GetColorFlag()const；

///System palette

ITERR SetSystemPalette(const std∷string & sysPalFileName)；

char *GetSystemPalette()const；

///Force color palette

ITERR SetForceColorPalette(const std∷string & fCPalFileName)；

char *GetForceColorPalette()const；

///Animation parameter：Mime type for animated output

ITERR SetAnimationMimeType(const std∷string & mimeType)；

IMG_type GetAnimationMimeType()const；

///Animation parameter：Animation capable？

void SetAnimationCapable(bool AnimationCapable)；

bool GetAnimat ionCapable()const；

///Animation parameter：Animation Max Frames

ITERR SetAnimationMaxFrames(const std∷string & MaxFrames)；

int32_t GetAnimationMaxFrames()const；

///Animation parameter：Animation Max Repeat Count

ITERR SetAnimationMaxRepeatCount(const std∷string &MaxRepeatCount)；

int32_t GetAnimationMaxRepeatCount()const；

///-----------Viewport：internal params-------

ITERR SetViewportSi ze(int32_t Width，int32_t Height＝0)；

void GetViewportSize(int32_t*pWidth，int32_t*pHeight)const；

ITERR SetIntBitsPerPixel(int32_t BitsPerPixel)；

int32_t GetIntBitsPerPixel()const；

ITERR SetIntDiffuseLevel(int32_t DiffuseLevel)；

int32_t GetIntDiffuseLevel()const；

ITERR SetIntJPEGQuality(int32_t JPEGQuality)；

int32_t GetIntJPEGQuality()const；

///Aspect Layer

ITERR SetAspectLayerNumber(int32_t LayerNumber)；

int32_t GetAspectLayerNumber()const；

///Mime type for output

void SetOutputMimeType(IMG_type mimeType)；

IMG_type GetOutputMimeType()const；

///------------Viewport save to memory-----------------

ITERR Save(IMG_IOHANDLER*pIO＝NULL)；

///Enable(or disable)encoding MIME type image/gif images

///compressed with the LZW algorithm

void EnableLzwGifEncoding(bool enable＝true)；

///Is it okay to do LzwGifEncoding Okay？

bool IsLzwGifEncodeOK()const；

///Add the ftame to the image frame held by the viewport

void AddFrame(constImageFrame*frame)；private：

///-----------Viewport params：External--------

/// Preprocessing

double mSharden；

/// adaptation：variable

int32_t mDisplayWidth；

int32_t mDisplayHeight；

double mDisplayScaleX；

double mDisplayScaleY；

int32_t mReqBitsPerPixel；

int32_t mReqDiffuseLevel；

int32_t mReqJPEGQuality；

/// adaptation：fixed

bool mColorFlag；

int32_t mFileSize；

double mFileSizeScale；

IMG_type mMimeType；

double mDPI；

std∷string mFCPalFileName；///force color palette

std∷string mSysPalFileName；

IMG_colorPalette mPalette；

bool mJPEGThumbSave；

int32_t mJPEGThumbClamp；

int32_t mJPEGThumbQuality；

///Animation parameters

bool mAnimationCapable；

uint32_t mAnimationMaxFrames；

uint32_t mAnimationMaxRepeatCount；

IMG_type mAnimationMimeType；

///Output Mime type：Output mime type is set to oneof the

///mMimeType or mAnimationMimeType based on：

///If the image seq.to be rendered has more than one frame

/// and the device is animation capable：

///then set tomAnimationMimeType

///else use mMimeType.

IMG_type mOutputMimeType；

///----------Viewport parameters：Internal----------

/// adaptation：variable

int32_t mViewportWidth；

int32_t mViewportHeight；

int32_t mBitsPerPixel；

int32_t mDiffuseLevel；

int32_t mJPEGQuality；

///The layer that determines the aspect ratio of the viewport.

///The significance of this is that the viewport coordinates

///are now effectively normalized relative to this layer.

int32_t mAspectLayerNumber；

/// Substitution for transparency for devices that do not supporttransp.

uint8 mTrans_R；

uint8 mTrans_G；

uint8 mTrans_B；

///Drawing Canvas

double mCanvasX；

double mCanvasY；

double mCanvasW；

double mCanvasH；

FrameMap mFrameMap；

//The enable which allows MIME types of image/gif to be encoded

//using LZW compression

bool mEnableLzwGifEncode；

class ImageTransform * mParent；}；

12.分层示例

以下小节示出利用基于API的XML的一些示例

a)图形重叠

本示例示出了在下面的约束条件下如何在一个源图像上重叠图形：

ο图像适合于视口。

ο图形被在右下角以“as-is”的方式粘贴在视口上。

请求的URL是：

http://eswitch.foo.com/es？src＝http://source.foo.com/boy.jpg&enh＝http://source.foo.com/enhance.xml

增强的XML是：<image_transform xmlns＝＂http://www.lightsurf.com/image_transform/1.0＂><！--Graphics layer----><image_layer src＝http://www.image.com/flower.png order＝＂2＂>

<Viewport_map mode＝＂as-is＂>

</Viewport_map></image_layer></image_transform>

b)成帧

本节是在一个图像上重叠一帧的示例。

请求的URL是：

http://eswitch.foo.com/es？enh＝http:/source.foo.com/enhance.xml

增强的XML如下所示：

视口的aspect_laayer属性被设置为2。这使得视口具有与图像层2(即Image_layer2)相同的纵横比。

Image_layer2被映射到完全的视口。

Image_layer1被映射到一个子窗口，该子窗口与“flower”中的透明性对齐。image_transform xmlns＝＂http://www.lightsurf.com/image_transform/1.0＂><！--Image layer---><image_layer src＝http://www.image.com/boy.jpg order＝＂1＂>

<Viewport_map mode＝＂fit＂>

</Viewport_map>

</image_layer>

<！--Graphics layer--->

<image_layer src＝http://www.image.com/frame.gif order＝＂2＂>

</image_layer>

<！--Force the anchor/aspect layer tobe the＂frame＂--->

c)文本重叠

该示例将文本重叠在视口下部20％上。<image_transform xmlns＝＂http://www.lightsurf.com/image_transfotm/1.0＂><！-- The text layer--->

<text_layer order＝＂2＂text＝＂hello world＂fontfile＝＂arial.ttf＂font color＝＂0x000000＂font size＝＂12＂ font size min＝＂6＂>

<Viewport_map>

</Viewport_map></text_layer></image_transform>

D.内部操作概述

1.总体操作

图6A-图B包括一个流程图，说明了支持动态视口分层的本发明所利用的总方法600。在开始时，用一个在线请求(如HTML请求)来调用股票HTTP服务器(例如，Apache服务器)，如来自(浏览器)客户机的URL，用来检索目标图像(如从图像仓库)，如步骤601所示。来自客户机的这个HTTP调用(在线请求)包括一个HTTP GET指令，它包括URL和报头(包括一个识别客户机浏览器类型的报头)。URL本身可包括一个典型的基于Web的URL，例如指明一个位置和附带名/值对。当客户机直接调用HTTP服务器时，HTTP服务器可被看作为系统的前端。插件模块(eSwitch^TM处理程序)用于派生/分叉(fork)输入请求，如步骤602所示。目前，eSwitch^TM处理程序可检查HTTP GET报头，以识别浏览器客户机，如步骤603所示，并且根据这个识别，处理程序可推断客户机设备的类型或特性(即设备类型)。在该步骤的操作过程中，处理程序查询设备数据库，以使报头与适当的设备匹配，如在上文所引用的共同拥有的2000年6月6号提交的申请序列号09/588,875和2001年11月8日提交的申请序列号10/010,616中所描述的。

在识别设备之后，在步骤604中，处理程序继续读取一个XML(配置)文件。客户机提交的(在步骤601中)URL指定一个特定XML文件(作为名/值对中的一个)，该XML文件以分级方式存储图像变换树(描述视口和层)的值。在步骤605中，现在可利用股票XML剖析程序(如libXML2)来解析所取得的XML文件。然后，被解析的值/属性用于创建图像变换树的一个存储器中的副本(in-memory copy)。

下一步是将从客户机数据库获得的视口信息与图像变换树中所有属性及其值(如分层信息)进行合并，如步骤606所示。在步骤607中，当调用了图像变换模块时，该方法开始实际渲染图像(即，动态创建一个为客户机优化或定制的版本)。特别地，按照图像变换树中的分层和视口信息，感兴趣的图像被渲染到所识别的客户机设备的视口上；通过将图像转换为所要求的格式，可实施客户机的任何图像格式考虑(如JPEG格式要求)。前述过程可以迭代方式出现。例如，如果动态创建的版本被认为对于客户机来说太大，或具有的位深度超出客户机的能力，则重复该步骤，以创建一个合适的版本。在一个给定的迭代过程中，编码/渲染参数(如，图像尺寸)可被动态地调整，以达到为客户机优化图像的请求式的生成。最后，如步骤608所示，该方法生成一个完全渲染的图像(按照约束)，然后该图像以合适格式被发送回客户机设备(如，通过无线连接、通过Internet连接、通过无线Internet连接，等等)。可根据需要存储该图像，以便将来检索(如被相同的设备类型检索)。

2.Image Transform Object(图像变换对象)

Image Transform Object类定义(class ImageTransform)严格地反映XML描述，包括负责创建/支持各种图像层的数据成员。每个层本身就是一个对象。当Image Transform Object被实例化时，所有的嵌入对象也被实例化。Image Transform Object包括一个“渲染”方法，Render()。在基本操作中，“渲染”方法调用每个嵌入对象的相应渲染方法，以便每层被正确渲染。渲染的发生是依赖视口的存储器中的版本(例如，规范格式，如位图)即视口对象。最后，根据视口对象，每个嵌入对象被渲染以生成“候选”图像。然后，候选图像被编码(如，JPEG编码)为一个适合客户机的格式，以生成一个候选变换图像。一旦候选图像被变换，为了符合适当的约束，最后所得到的图像被检验，如前面在图4中所述的。例如，如果完全渲染的图像被转换为JPEG，那么如果最后所得到的JPEG文件超过最大指定文件大小，则该JPEG文件并不会被接受为最后的输出结果。因此，该过程可能会重复或迭代，包括“重新映射”视口，及重新渲染图像(如果必要)，以生成可应用于目标客户机的符合约束的最终图像文件。在内部，文件大小控制块估计不同组的(控制)参数(如，减小视口大小、位深度、JPEG质量等)，以获得一个新的文件大小。例如，如果转换的候选图像的文件大小太大，则该方法可重新设置视口为一个较小的屏幕，以便生成转换的候选图像为一个较小的文件大小。

虽然参照一个优选实施例和某些替换方案详细描述了本发明，但并无意将本发明限于那个特定实施例或那些特定的替换方案。例如，已经介绍了一些实例，它们关注如何在客户机设备上“显示”图像。本领域中的技术人士将意识到，其它客户机端的输出或渲染，如打印，可从本发明的应用中受益。因此，本领域中的技术人士将意识到，在不脱离本发明范围的情况下，可对优选实施例做出若干修改。

Claims

1.一种动态地优化图像显示的方法，所述图像被传输到一个客户机设备，所述方法包括：

从一个特定的客户机设备接收一个在线请求，以检索一个用于显示的目标图像，所述的请求包括帮助确定客户机设备的设备类型的信息，所述的目标图像包括排列在各单独层的图像组件；

基于所述的请求，为所述特定客户机设备确定设备类型；

基于所确定的设备类型，为所述特定客户机设备检索指定视口和分层信息的信息；

基于所述视口和分层信息，创建为所述特定客户机设备的显示而优化的所述目标图像的一个版本；和

传输所述目标图像的所创建的版本到所述客户机设备进行显示。

2.根据权利要求1所述的方法，其中所述的确定设备类型的步骤包括：

查询一个设备数据库以确定客户机设备的设备类型。

3.根据权利要求2所述的方法，其中所述的查询设备数据库的步骤包括：

从所述设备数据库中检索信息，所述设备数据库指示一个特定配置文件，其用来优化所述特定客户机设备的图像显示。

4.根据权利要求3所述的方法，其中所述特定配置文件指定了有关所述特定客户机设备的显示性能信息。

5.根据权利要求3所述的方法，其中所述特定配置文件包括一个XML文件，其指定了所述特定客户机设备的视口和分层信息。

6.根据权利要求1所述的方法，其中所述在线请求包括基于Web的请求。

7.根据权利要求1所述的方法，其中所述在线请求包括基于HTML的请求。

8.根据权利要求1所述的方法，其中所述在线请求包括识别一个特定目标图像的信息。

9.根据权利要求1所述的方法，其中所述在线请求是由在所述特定客户机设备上运行的浏览器启动，并包括识别客户机设备的特定类型的信息。

10.根据权利要求1所述的方法，其中所述在线请求包括一个URL。

11.根据权利要求1所述的方法，其中所述的帮助确定所述特定客户机设备的设备类型的信息包括，利用所述在线请求所传输的标题信息。

12.根据权利要求11所述的方法，其中所述的利用所述在线请求所传输的标题信息被与一个设备类型数据库相比较，以确定所述特定客户机设备是哪种特定类型的设备。

13.根据权利要求1所述的方法，其中所述的帮助确定所述特定客户机设备的设备类型的信息包括，HTTP标题信息。

14.根据权利要求1所述的方法，其中所述的为所述特定客户机设备指定视口和分层信息的信息以分层方式保存在一个XML文件中。

15.根据权利要求14所述的方法，其中所述XML文件包括基于所述特定客户机设备的设备限制的约束值。

16.根据权利要求15所述的方法，其中所述约束值指示可在特定客户机设备上显示的一个最大图像尺寸。

17.根据权利要求1所述的方法，其中所述的创建为所述特定客户机设备的显示而优化的所述目标图像的一个版本的步骤包括：

在所述各单独层中渲染所述图像组件，渲染方式是遵守所述特定客户机设备的所述视口和分层信息。

18.根据权利要求1所述的方法，其中所述的创建为所述特定客户机设备的显示而优化的所述目标图像的一个版本的步骤包括：

基于所述视口和分层信息，重复地创建所述目标图像的不同版本，直到得到一个为所述客户机设备的显示而优化的适当的目标图像。

19.根据权利要求1所述的方法，进一步包括：

在将所述目标图像的所创建的版本传输到所述特定客户机设备之前，将所创建的版本转换为适于所述客户机的文件格式。

20.根据权利要求19所述的方法，其中所述文件格式包括JPEG兼容文件格式。

21.根据权利要求1所述的方法，其中所述层中的每一个含有一种给定类型的图像组件。

22.根据权利要求21所述的方法，其中一个给定层含有从位图、动画、文本和矢量图形之一选择的图像组件。

23.一种具有处理器可执行指令的计算机可读介质，其中所述指令用于执行权利要求1中的方法。

24.可下载的一组处理器可执行指令，用于执行权利要求1中的方法。

25.一种请求式的创建图像的系统，所述图像是为特定的设备类型而定制的，所述系统包括：

一个用作图像仓库的模块，每个图像包括排列在不同层中的图像组件；

一个用于处理来自一个设备的请求的模块，以从所述仓库中检索一个特定的图像，所述模块部分地基于包含在所述请求中的信息，决定所述设备的特定设备类型；和

一个用于创建为所述设备定制的特定图像的副本的模块，所述模块基于所确定的设备类型在所述特定图像的不同层上单独地渲染图像组件，以致所述特定图像的不同层上的图像组件中的至少一些是为所述设备定制的。

26.根据权利要求25所述的系统，其中所述特定图像的所述副本是以遵守所述设备的视口约束的方式而创建的。

27.根据权利要求25所述的系统，其中所述特定图像的所述副本是以遵守所述设备的图像尺寸约束的方式而创建的。

28.根据权利要求25所述的系统，进一步包括：

一个将所述特定图像的副本转换为与所述设备兼容的图像格式的模块。

29.根据权利要求25所述的系统，其中处理所述请求的所述模块运行在一台服务器计算机上。

30.根据权利要求29所述的系统，其中所述服务器计算机包括因特网连接。

31.根据权利要求25所述的系统，其中所述设备通过无线连接与系统通信。

32.根据权利要求25所述的系统，其中所述设备通过连接到因特网的无线连接与系统通信。

33.根据权利要求25所述的系统，进一步包括一个图像高速缓冲存储器，用于缓存为所述设备而定制的所述特定图像的副本。

34.根据权利要求25所述的系统，其中所述请求包括一个HTML请求。

35.根据权利要求25所述的系统，其中所述请求是由在所设备上运行的浏览器启动。

36.根据权利要求25所述的系统，其中所述请求包括允许确定设备类型的标题信息。

37.根据权利要求36所述的系统，进一步包括：

一个设备数据库，用于帮助基于所述标题信息识别设备类型。

38.根据权利要求37所述的系统，其中所述设备数据库指示一个可用配置文件，其对与创建为所述设备而定制的所述特定图像的副本是有用的。

39.根据权利要求25所述的系统，其中所述配置文件包括一个XML文件，其为所述设备指定分层和视口信息。

40.根据权利要求25所述的系统，其中所述的用于创建副本的模块重复地创建所述特定图像的不同候选，直到创建了一个为所述设备的显示而优化的适当图像。

41.一种图像检索方法，其包括对所请求图像优化显示的改进，所述改进包括：

将每个图像组织在不同的层，每个层具有一种特定类型的图像组件；

存储信息，所述信息指示如何为所述给定图像要被显示的特定类型的设备而优化一个给定的层；

当接收到一个检索特定图像的请求时，识别哪种类型的设备正在请求所述的特定图像；

基于正在请求所述特定图像的所述设备类型，检索已存储的信息，所述信息指示如何为所述给定图像要被显示的特定类型的设备而优化一个给定的层；和

基于所检索的信息，渲染所述图像的各个层，以动态地产生一个为所述设备的显示而优化的渲染图像。

42.根据权利要求41所述的改进，进一步包括：

为不同类型的设备保存视口信息，这样，可以遵照适于所述设备的约束条件的方式来执行渲染步骤。

43.根据权利要求41所述的改进，其中如果动态产生的渲染图像的图像尺寸对正在请求特定图像的设备而言太大，所述渲染步骤被重复以产生一个较小图像尺寸的图像。

44.根据权利要求41所述的改进，其中一个给定层含有从位图、动画、文本和矢量图形之一选择的图像组件。

45.根据权利要求44所述的改进，其中一个层专门用于渲染边框。

46.根据权利要求41所述的改进，其中所述的为一个特定类型的设备指示如何优化每个层的信息存储在设备类型特定的配置文件中。

47.根据权利要求46所述的改进，其中所述设备类型特定的配置文件包括XML文件，每个文件存储有关一个特定设备类型的图像渲染的信息。

48.根据权利要求46所述的改进，其中每个所述设备类型特定的配置文件包括一个特定设备类型的分层和视口信息。

49.根据权利要求41所述的改进，其中所述请求包括从一个连接到因特网的设备中接收的浏览器请求。

50.根据权利要求41所述的改进，其中所述的哪种类型的设备正在请求所述特定图像的步骤包括，解析所述请求，以获得帮助识别设备类型的信息。