CN102326181A

CN102326181A - 动态图像拼贴

Info

Publication number: CN102326181A
Application number: CN2009801559509A
Authority: CN
Inventors: D·斯拉特; P·奇特尔; D·格雷格
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2009-01-28
Filing date: 2009-01-28
Publication date: 2012-01-18
Also published as: US20110285748A1; JP5289586B2; WO2010087818A1; EP2391982B1; EP2391982A4; JP2012516499A; EP2391982A1

Abstract

确定了一序列的模板(22)。每个模板(22)限定显示区(38)中区域的时空布局。每个区域关联于一集合的一个或多个图像选择标准和一集合的一个或多个时间行为属性值。对于每个模板(22)，判明用于模板的每个区域的图像层。对于每个层(18)，根据相应集合的图像选择标准，向区域分配图像元素(30)。对于帧序列中的每个帧(20)，产生一个集合的渲染参数值，其中基于针对模板(22)确定的一相应集合的图像层(18)和相应集合的时间行为属性值，每个集合指定显示区(38)中相应帧的合成。

Description

动态图像拼贴

发明背景

大多数人具有大量的索引编排较差的个人媒体集合，它们中的许多具有高情绪感染力但视觉质量相对较低。训练有素的人员能从这些集合中产生视觉上颇具吸引力的艺术作品(例如合成图像和幻灯片)，但是很少用户有时间或创造性能力来亲历亲为。用于基于屏幕的照片显示的常规方法倾向于分成两类：手动创建的幻灯片，一次示出单个图像且在图像之间进行某种切换；以及自动生成的图像序列视频，可能覆盖有某些视觉效果且配有音乐。随机照片选择屏幕保护程序落在这些类别之间。

所需要的是用于显示图像的经改进系统和方法。

发明内容

在一方面中，本发明涉及一种用于确定一序列模板的方法。每个模板限定显示区中区域的相应时空布局。每个区域关联于一相应集合的一个或多个图像选择标准和一相应集合的一个或多个时间行为属性值。对于每个模板，判明用于模板的每个区域的相应图像层。在此过程中，对于每个层，根据相应集合的图像选择标准，向相应区域分配相应图像元素。对于一序列帧中的每个帧，产生相应集合的渲染参数值。基于针对一个或多个模板确定的相应集合的单个图像层和相应集合的时间行为属性值，每个集合的参数值指定显示区中相应帧的合成。该集合的渲染参数值被输出至合成图像渲染器。

本发明还涉及用于实现上述本发明方法的装置，和存储使计算机实现上述本发明方法的计算机可读指令的计算机可读介质。

本发明的其他特征和优点将从包括附图和权利要求的以下描述变得显而易见。

附图简述

图1是动态图像拼贴生成器的实施例的框图。

图2是生成动态图像拼贴的方法的一个实施例的流程图。

图3是生成动态图像拼贴的过程中的信息流的示图。

图4A和4B是在生成动态图像拼贴的过程中生成的相应帧的示图。

图5是图1的动态图像拼贴生成器的一实施例的框图。

图6是一序列交织模板和切换的示图。

图7是从源图像中提取一个或多个图像元素的方法的一个实施例的流程图。

图8是回避图的一个实施例的示图。

图9是产生动态图像的装饰层的方法的一个实施例的流程图。

图10是在渲染动态图像拼贴的多个帧的过程中排定多个层的方法的一个实施例的流程图。

图11是实现图1的动态拼贴生成器的一实施例的计算机系统的一个实施例的框图。

具体实施方式

以下描述中，相同的附图标记被用于标识相同的要素。此外，示图旨在以图示方式来解说示例性实施例的主要特征。示图无意描绘实际实施例的每一项特征或所描绘要素的相对尺度，并且不是成比例绘制的。

i.术语的定义

“模板”是内容区域的空间布局的无内容规范，每个内容区域可与相应时间行为和其它属性相关联。

如在本文中所使用的，“图像元素”是对图像一部分的引用，并且可与一个或多个属性值相关联。

“帧”是由一个或多个层合成的完整图像。

“层”是定义合成图像的不同元素的对象。层可具有特定的透明度/不透明性和多个其它属性，包括时空属性。

“遮片”被链接至层，并且定义指示层的像素对最终合成图像的贡献(例如透明程度)的掩模。

术语“z次序”表示组合多个层以形成合成图像的次序。

图像的“非照片般逼真”的变体指有目的的且在风格上修改了图像的图像版本。

如本文所使用，术语“包括”意指包括但不限于，而“包含”意指包含但不限于。术语“基于”表示至少部分地基于。

II.引言

大多数人具有大量的索引编排较差的个人媒体集合(尤其是数字照片和数字视频剪辑)，它们中的许多具有高情绪感染力但视觉质量相对较低。家庭中大电子显示器空间的递增可用性支持基于这些媒体集合递送环境体验。本文中所述的各个实施例可用来自动生成图像(例如图像元素，诸如数字照片和从中提取的显著元素)的动态拼贴。拼贴可被配置成随时间持续改变以便于产生可能维持观看者长时间兴趣的视觉上吸引人的环境体验。这些实施例通常对用户有可能发现感兴趣的内容并不完全知晓。然而，通过从用户照片中提取多个感兴趣对象并将它们一起显示，这些实施例通常能够向用户提供视觉目标的丰富选择，以使用户更有可能在动态拼贴中看到至少一个感兴趣的东西。在一些情形中，动态拼贴规范可在呈现视觉内容时利用大量可能变体，以减少相同合成呈现一次以上的可能性，由此确保图像集合的呈现总是具有新鲜吸引力。

一些实施例包括生成多个背景元素的自适应背景生成器，这些背景元素可与图像元素的呈现在视觉上集成以使显示的整体印象是令人愉悦的。背景通常被自动设计成适合拼贴排列，从而避免背景和前景中高兴趣区域的重叠。

在一些实施例中，设计者模板可被用来指定图像选择标准和时间行为属性，以便于产生提供高质量图像的主题拼贴以供打印。在已经允许用户花足够时间在根据一个模板产生的拼贴合成之后，用户兴趣通过内容驱动切换来维持，从而使观看者进入根据相同或不同模板产生的另一合成。这些实施例能够从一个拼贴到下一个拼贴自动继续和开发指定主题(例如来自同一人的照片的脸)。

III.纵览

图1示出动态拼贴生成系统10的一个实施例，该动态拼贴生成系统10包括拼贴层生成器12、合成图像渲染器14、以及显示器16。在操作中，拼贴层生成器12确定动态拼贴合成的层18并排定这些层18，以供由合成图像渲染器14渲染。合成图像渲染器14根据由拼贴层生成器12生成的层18产生一序列帧20，并将这些帧传递给显显示器16。显示器16显示这些帧以便于查看。

图2示出由拼贴层生成器12实现的方法的一个实施例。

根据图2的方法，拼贴层生成器12确定一序列模板22(图2，框24)。拼贴层生成器12通常从模板数据库26中选择模板22。该序列中的模板22可随机地选择，或者根据预定模板选择计划选择。每个模板22定义显示区中区域的相应时空布局，其中每个区域关联于一相应集合的一个或多个图像选择标准和一相应集合的一个或多个时间行为属性值。包括图像元素模板和装饰模板的模板22通常由一个或多个“富有经验的设计者”离线地构建。每个模板22通常包含设计者对产生所需美学效果的图像元素或装饰元素的数量、大小和位置的选择。装饰层通常根据样式来创建，以适应由根据模板排列的图像元素集合形成的回避掩模。在一些实施例中，模板规范包括显示区中设计者已经标记(例如用黑色背景上的灰色和白色色彩)以指示优选和必需放置的区域。使用模板作为生成动态图像拼贴的基础使得显示输出的观感能够以显现为针对特定图像集合定制的方式随着设计专业人员生成的新内容而得到刷新。

对于每一个模板22，拼贴层生成器12针对模板的每个区域判明相应的图像层(图2，框28)。此过程通常涉及，对于每个层，根据相应集合的图像选择标准，向相应区域分配相应图像元素30。在一些实施例中，每个图像元素30通常由从在图像数据库32中索引编排的各个源图像(例如数字照片或数字视频剪辑)中提取的图像部分(例如脸部和其它显著区域)构成。图像元素30可被预定并存储在图像数据库32中，或者它们可基于关联于源图像存储的元数据实时生成。

对于一序列帧中的每个帧，拼贴层生成器12产生相应集合的渲染参数值(图2、框34)。基于针对一个或多个模板确定的相应集合的单个图像层和相应集合的时间行为属性值，每个集合的渲染参数值指定显示区中相应帧的合成。

拼贴层生成器12向合成图像渲染器14输出该集合的渲染参数值(图2、框36)。由拼贴层生成器12产生的渲染参数值完全规定了层18的合成和时间行为，这些层18被合成图像渲染器14用来产生在显示区16上渲染的一序列帧20。

图3用示图示出根据图2方法生成动态图像拼贴的过程的各个实施例中所涉及的各个数据元之间的关系。在此过程中，拼贴层生成器12选择一序列模板22(模板1、模板2、……、模板N)。每个模板22指定显示区38中区域(由图3中的椭圆表示)的相应时空布局。对于每个模板，拼贴层生成器12向区域分配图像元素30之一，并且根据模板和其它信息从图像元素生成相应集合的层(图像层集合1、图像层集合2、……、图像层集合N)。每个层定义分配给相应一个区域的相应一个图像元素30的时空行为。由拼贴层生成器12产生的渲染参数值完全规定图像层集合。合成图像渲染器14从每个图像层集合生成一序列帧。

如图3所示，在一些实施例中，由拼贴层生成器12产生的渲染参数值根据一序列模板22指定一序列内容帧群组(内容帧群组1、内容帧群组2、……内容帧群组N)。如以下详细讨论地，内容帧群组通常由切换帧群组(未在图3中示出)分隔开。内容帧群组通常被设计成创建一序列“稳定性岛”。岛通常并非是完全静态的；相反，相应内容群组的视觉元素的较小移动通常被指定以维持观看者的兴趣。每个岛是一个集合的图像元素30的拼贴，这些图像元素30通常在动态生成的自适应背景(如下所述)中显示。图像元素30通常是根据给出对每个拼贴的语义一致性的主题来针对每个模板22进行选择的。主题的示例包括同一人的图像和人与其朋友的图像。

如以下详细说明地，一个或多个图像元素30可分别关联于相应集合的将相应源图像中的图像元素划界的遮片、以及相应集合的源图像的一个或多个非照片般逼真的变体。遮片通常是非矩形的；但是在一些实施例中，遮片是矩形的。图像和遮片元素作为根据所定义z次序彼此重叠的一序列层被传递给合成图像渲染器14。每个层具有确定如何移动、缩放、混合元素以及如何应用α遮片的时序规范。通过编程对调节这些参数的时序，拼贴层生成器12可生成从一个岛至另一个岛的感兴趣切换，并且创建在每个稳定性岛内的连续循环移动。

除基于图像的层之外，拼贴层生成器12的一些实施例创建被设计成容纳图像元素的动态位置的有艺术灵感的背景。背景通常由多个层构成，每个层具有它自己的z位置、移动、遮片和时序数据值。这允许诸如持续移动的背景细节的效果，从而允许与图像层重叠和混合。

图4A和4B示出拍摄示例性动态图像拼贴中不同稳定性岛的两个屏幕截图。这些屏幕截图中所示的图像元素的选择和遮蔽、艺术性脸部渲染、以及所有的背景成分生成都根据图2的方法来自动执行。

IV.动态图像拼贴生成器的示例性实施例

A.引言

图5示出动态拼贴生成系统10的实施例40，该动态拼贴生成系统10包括拼贴层生成器12的一个实施例42、合成图像渲染器14、显示器16、以及源图像处理器44。

源图像处理器44从源图像46生成图像数据库32，源图像46通常包括用户的源材料。源图像46可与任何类型的数字图像相对应，包括图像传感器(例如数字摄像机、数字静止图像相机、或光学扫描仪)所捕捉的原始图像(例如视频帧、静态图像或扫描图像)、或者这种原始图像的经处理(例如，经重采样、滤波、重新格式化、场景平衡、或以其它方式增强或修改)版本。在建立图像数据库32的过程中，图像元素提取器44从源图像46中提取元数据。源图像处理器44所提取的元数据的示例性类型为脸部位置、脸部本体、脸部特征点、时间数据(例如采集时间)、非脸部显著数据、分节数据、色彩分析数据、以及脸部表情信息等等。在一些实施例中，源图像处理器44可从源图像46的重采样版本中提取元数据。

拼贴层生成器42包括调度器48、模板填充器50、遮片生成器52、非照片般逼真变体生成器54、以及背景生成器56。调度器48创建一序列的稳定性岛。如上所述，每个岛是根据设计者模板22的相应之一排列的一集合图像元素30的拼贴。图像元素由模板填充器50根据给予每个拼贴语义一致性的主题来选择。主题的示例包括同一人的照片和人与其朋友的照片。遮片生成器52生成相应集合的非矩形遮片并定义图像元素30的相应之一，这些非矩形遮片引用源图像46的相应之一。非照片般逼真变体生成器54生成原始源图像的相应非照片般逼真变体，并且使该非照片般逼真变体与相应图像元素相关联。遮片和非照片般逼真变体通常作为根据所定义z次序彼此重叠的一序列层被传递给合成图像渲染器14。每个层具有确定如何移动、缩放、混合元素以及如何应用α遮片的时序规范。通过编程对调节这些参数的时序，调度器生成从一个岛至另一个岛的感兴趣切换，并且创建在每个稳定性岛内的连续循环移动。这些切换可利用图像数据库32中的元数据；例如，从当前拼贴中的图像元素放大进入特定脸部，将眼睛与来自新拼贴中不同图像元素的脸部的那些眼睛对齐，从一个脸部向另一个脸部混合，然后将新的脸部移入新的拼贴中的位置。

背景生成器56创建被设计成容纳图像元素的动态位置的有艺术灵感的背景。背景通常由多个层构成，每个层具有它自己的z位置、移动、遮片和时序数据值。这允许诸如持续移动的背景细节的效果，从而允许与图像层重叠和混合。在一些实施例中，背景生成器12使用当前稳定性岛的回避图来确保在呈现动态图像拼贴期间图像元素的重要区域(例如脸部)不被遮蔽。

合成图像渲染器14取得调度器48提供的层规范，并且产生在显示器16上实时渲染的帧。在一些实施例中，合成图像渲染器14由商用渲染系统(例如经由诸如微软Windows

操作系统中可用的DirectX

API的API接口的视频或图形卡)实现，其支持层组合过程并允许每个层的属性因变于时间来指定。这些属性包括大小、旋转、移位、z次序以及透明度。在这些实施例中，渲染系统的图形能力能实现在高渲染速率下(例如每秒三十帧或更快)对多个图像层的实时移动、缩放、混合和遮蔽。

在一些实施例中，合成图像渲染器14对两种形式的用户交互作出响应。第一种形式的交互涉及使用提供一小组用户命令的用户界面，这些用户命令使得正在显示器16上显示的动态图像拼贴能在任何时间点被冻结。该用户界面允许观看者在帧序列中前进和倒退来定位一特定帧，以便于保存或打印之(可能以更高分辨率重新渲染)。第二种形式的交互涉及使用相机和实时脸部检测器，该实时脸部检测器反馈观众中最大脸部的大小。渲染器可通过例如以下动作来对此作出反应：a)随着脸部逼近屏幕放慢渲染速率，从而允许观看者更加专注于引起他们注意的帧；b)增大显示器上先前指定的“主”照片的大小；以及c)使该主照片从经处理版本向原始版本进行混合。关于这些实施例的构造和操作的附加细节可在与本申请在同一日期提交的题为“SYSTEM ANDMETHOD FOR DYNAMIC GENERATION OF MULTIMEDIA CONTENT”(用于动态生成多媒体内容的系统和方法)的美国专利申请No.______中发现。

B.时空模板

时空模板22封装自动化设计知识，这些自动化设计知识控制动态图像拼贴生成过程的多个方面，包括拼贴布局、图像元素选择、非照片般逼真变体生成的选择、以及背景设计。

模板可用多种方式指定。附录包含一示例性XML(扩展标记语言)模板规范。该示例性模板规范定义一个集合的区域，每个区域包含一个或多个图像元素。每个区域定义包括对所允许脸部数量、所允许脸部大小的范围、以及那些脸部的可能可允许姿态(ipr＝“平面内旋转”)的约束。例如，idmatch(id匹配)元素指示，对于指定区域存在对其它区域中所允许本体的限制。“匹配”子区域指示该匹配子区域必须包含在idmatch区域中出现的个人。“不匹配”子区域指示匹配子区域中没有人能够匹配idmatch区域中的任何个人。“左侧”参数指定区域的宽度×高度边界框的最左侧边界。“顶部”参数指定区域的宽度×高度边界框的最上面边界。“宽度”指示适合区域的缩放图像元素的最大允许宽度。“高度”指示适合区域的缩放图像元素的最大允许高度。“计数”参数指定区域中所允许的脸部的数量。“半径”参数指定此区域中所允许的允许脸部半径的范围。“ipr”参数指定允许姿态角度的范围。一些实施例另外包括“hoop”(＝“平面外水平”旋转)参数，该参数指定轮廓的范围以框定(portrait)区域中允许的姿态。

在附录中所包含的示例性模板规范结束处的“configs”(配置)元素包括由模板中所定义的区域子集构成的一个或多个配置元素。配置元素指定以该具体配置激活的区域，并且施加跨区域要求。

参见图6，通过选择一序列60的时空模板22(模板1、模板2、……、模板N-1、模板N)和链接序列60中的模板的切换计划

定义整体的动态图像拼贴体验。该序列的模板可由富有经验的设计者基于设计者想要创建的体验类型(例如要讲述的故事)来指定。或者，模板的选择可至少部分地通过源图像46的自动分析来驱动。

如上所述，动态拼贴体验由一序列的帧群组构成。在一典型实现中，内容帧群组被切换帧群组分隔开，其中内容帧群组中的每个帧通过组合属于该内容群组的图像层来渲染，并且切换帧群组中的每个帧通过组合来自相邻内容帧群组的层来渲染。内容帧群组可包括图像元素层和装饰层。

内容帧群组中的图像元素层由指定区域的时空布局的模板22的相应之一定义；每个区域关联于图像元素选择标准和相应集合的一个或多个时间行为属性值；并且根据相应集合的图像元素选择标准，图像元素被分配给这些区域。每个区域通常被分配给它自己的层以允许独立的移动和组合。当图像元素是更大的源图像的一部分时，整个源图像通常被载入层且掩模关联于层以仅展现所需的图像元素。这允许渲染引擎通过改变确定如何不透明地施加掩模的参数来在仅示出图像元素和示出其完整源图像之间切换。

装饰层具有根据样式模板和已经分配给前景层的图像元素分配给它们的图形/图像对象。装饰对象的色彩可加以选择以补充图像元素层，并且装饰性对象可通常基于回避图定位以避免与图像元素的视觉碰撞。

切换帧群组根据切换计划从相邻内容帧群组层渲染。在一些实施例中，两个内容帧群组层将是活动的，并且计划指定旧层淡出和新层淡入时相应层的移动和透明度属性。

在一些实施例中，一序列60的模板和切换随机生成。首先选择切换，因为这确定下一岛是使用相同模板还是使用不同模板(以及其是使用相同图像元素还是使用不同图像元素)。可以加权随机方式从一集合的可能切换中随机地选择切换。在一示例性实施例中，三种可能切换为：

1.“装饰层改变”：相同的模板和图像元素，和不同的装饰层。旧的装饰层混合到新的装饰层中-图像元素不变。

2.“照片填充”：不同的模板、图像元素和装饰层。包含优选图像元素(具有最大脸部的)的源图像全部展现(例如通过使其掩模逐渐透明)，并移动以填充大部分的显示屏。然后它混合到新岛的包含优选图像元素的未加掩模源图像中。旧装饰层混合到新的装饰层中(在此阶段大部分被完整图像元素遮蔽)。新优选图像元素的掩模被逐渐施加以隐藏其源图像的其余部分。新图像元素移动到位(各自使用随机选择的一集合的可能进入移动之一)。

3.“脸部填充”：这与“照片填充”相似，不同之处在于不展现完整的源图像。相反，优选图像元素脸部被移动和缩放以大部分地填充屏幕。新优选图像元素脸部与旧脸部对齐(即通过使眼睛位置重合)，旧脸部混合到新脸部中。在一些实现中，旧脸部被变形成新脸部，而非简单的混合。在这些实现中，变形通常包括混合，与图像的渐进空间失真组合，以使许多关键点(例如眼睛、嘴巴和下颚线)对齐。

在一些实施例中，当必须选择不同模板时，下一模板可以是可能模板集合中除当前模板之外的任一个。

在一些实施例中，过程或脚本控制模板选择过程。在一个这样的实施例中，过程分析源图像集合以确定由一序列的图像元素集合构成的一系列“故事”。基于图像的内容，每个集合的图像元素分配到相应的一个模板22。在一些情形中，创建模板以适合所选图像元素。

C.遮片生成器

如上所述，图像元素通常是源图像的一部分(或片段)，其捕捉源图像的某显著(或感兴趣)特征。显著特征的示例包括个人(优选以视觉上吸引人的方式修剪出)、显著前景对象、甚至背景场景的分组。在所示实施例中，图像元素用一般修剪边界限定，该边界可以是非矩形的、甚至不是分段线性的。这样，图像元素看起来是有趣的，并且以视觉上最为吸引人的方式封装对象。实际上，用其自然边界(例如脸部的自然形状)使用图像元素相对无损源图像的普通矩形组合添加了趣味性。

在一些实施例中，图像元素由源图像处理器44(图5)基于从源图像46中自动提取的元数据自动生成。元数据可包括诸如其脸部出现在图像中的人的位置、姿态、大小、性别、表情、种族、身份的信息，有关非脸部显著对象的位置和大小的信息，色彩信息，以及纹理信息。

在所示实施例中，图像元素基于脸部在源图像46中的位置和大小来提取。在此过程中，图像元素的边界由一集合的脸部位置和确定如何组合(或集聚)脸部位置的规则确定。在一些实施例中，这些规则要求：

1.如果任两个脸部靠近得超过特定阈值，则或者两个脸部必须都被包括在一个图像元素中，或者两个脸部都不能被包括在一个图像元素中；

2.如果任一脸部与给定图像元素中的任一其它脸部相距超过特定阈值，则该脸部不能被包括在该图像元素中；以及

3.如果任一脸部太接近图像边界，则它根本不能被包括在图像元素中。

第一条件禁止在图像元素中出现半张脸，或者贴脸部太紧地修剪。第二条件禁止其中一张脸远离群体的基于脸部的图像元素。第三条件禁止其中由于图像边界而不自然地修剪脸部的图像元素。在其它实施例中，可取决于应用的要求施加不同或其它条件。

在这些实施例中，向图像元素指派脸部的过程涉及基于脸部与图像元素之间的“距离”集聚脸部位置。示例性距离度量包括以下的一个或多个：脸部与图像元素中最接近脸部之间的距离；脸部与图像元素中最遥远脸部之间的距离；以及从脸部到最接近图像边界的距离。在这些实施例的一部分中，集聚过程通过比较所有距离对来以贪心方式执行。注意不同的图像元素可重叠，并且它们可包括相同的脸部。

图7示出从源图像46提取图像元素的方法的一示例性实施例。

根据图7的实施例，遮片生成器52确定源图像中所有脸部的大小和位置(图7，框62)。

遮片生成器52去除太接近源图像边缘的任何脸部(图7，框64)。

遮片生成器52创建源图像中其余脸部周围的图像元素(图7，框66)。在此过程中，遮片生成器52将图像元素池设置为“空”并一次一个地向该池添加各个脸部。遮片生成器52然后尝试向池中的每个图像元素添加一个脸部。通过基于脸部参数和可任选的一些用户设置参数(例如所需肩高和肩宽的量)计算所检测脸部周围的最小边界框，遮片生成器52向图像元素添加脸部。如果最小边界框落在图像边界之外，则添加失败(脸部太靠近边界)且返回“失败”标记。否则计算最小边界框与现有的图像元素边界框(包围所有最小脸部边界框的最小框)之间的重叠。如果重叠程度超过阈值(例如10％)，则脸部被添加到当前图像元素和经调节的图像元素边界框。返回“成功”标记且对该脸部不再进行进一步的处理。如果重叠程度低于阈值，则返回“失败”标记，且当前脸部被传递给下一图像元素以尝试调节。如果脸部未被成功添加至任何图像元素，则创建仅包含该脸部的新图像元素(注意，如果脸部过于接近图像边界此过程可能失败，在这种情形中不创建图像元素)。

遮片生成器52然后尝试将每个图像元素与池中的所有其它图像元素合并。在此过程中，每个图像元素与所有其它图像元素作比较，以查看图像元素边界框是否重叠超过10％(图7，框68)。如果发现充分重叠(图7，框68)，则两个图像元素被合并成单个图像元素，并且去除两个原始图像元素(图7，框70)；否则，不合并两个图像元素(图7，框72)。如果图像元素池已经改变(图7，框74)，则重复合并过程；否则，终止该过程(图7，框76)。

一旦已收集了一个集合的位置，就创建图像元素边界。这可能需要更多的来自图像、且有关所涉及特定位置的元数据。例如，好的图像元素边界距离图像中的每个脸部应当在一指定距离容许量内(不可过近也不可过远)，它应当使图像元素对象(脸部)的自然曲线拟合某些平滑度约束，并且它应当尝试略过图像的不感兴趣部分，诸如黑暗区域或平淡背景。可通过使用脸部数据(包括像脸部取向的数据，从而在需要时可接纳肩部)连同纹理图(以及可能的某些色彩信息)来确定图像的“平淡”区域，可满足这些约束。

在一些情形中，所提供的约束可改变指派给图像元素的位置。例如，如果需要围绕脸部的极为紧贴的修剪，则可以是只有极为接近的多个脸部才被接纳到图像元素。

在已经确定了图像元素边界之后，遮片生成器52使相应的回避图掩模片与各个图像元素相关联。每个回避掩模片示出图像元素的将可见的部分，以及对于背景元素而言回避它们是如何的重要。在一些实施例中，回避的重要性通过用三种灰度值之一标记图像元素的区域来指示：“白色”，其表示标记区域从来不被装饰元素遮蔽；“灰色”，其表示标记区域可被某些装饰元素遮蔽；以及“黑色”，其表示标记区域可被任意装饰元素遮蔽。

D.非照片般逼真变体生成器

非照片般逼真变体生成器54可使用各种不同的非照片般逼真渲染技术的任一种生成源图像的非照片般逼真变体，这些技术包括将图像变换成提示例如着色的样式或其它艺术样式的图像处理技术(例如点画、水彩、样式化、以及马赛克)。

E.背景生成器

背景生成器56负责创建稳定性岛的非图像元素(或装饰)层。背景生成器56通常生成装饰层以使它们不遮蔽图像元素的显著部分。

在一些实施例中，背景生成器56通过确保图像元素层按z次序在装饰层之上来避免用装饰特征遮蔽图像元素。

在其它实施例中，背景生成器56使图像元素层和装饰层交织以形成更为合意的集成式合成。在这些实施例中，一些背景元素可按z次序被定位在图像元素之上，但是它们以不遮蔽图像元素的最重要部分的方式定位。例如，可允许背景中的着色细线遮蔽图像元素中人肩部的一部分，但是不应当覆盖该人的脸部。这对小细节背景对象而言是尤其重要的，如果这些对象按z次序置于图像元素之下则将被图像元素遮蔽。同样，如果它们按z次序置于图像元素之上，也需要防止它们遮蔽图像元素的重要部分。

在一些实施例中，背景生成器56在创建装饰层时使用“回避图”。通常通过组合来自由模板填充器50选择的所有图像元素的回避图片段，生成回避图。在此过程中，每个回避图片段被旋转、缩放和平移以反映将如何在合成中使用其相关联图像元素。回避图通常由灰度级图像实现，具有与最终合成图像相同的大小，其中非黑色区域指示图像元素将在合成中占据的位置。在一些实施例中，回避图可由二进制黑白图像构成。在其它实施例中，回避图可另外包括表示图像元素所占据的、但可能被部分遮蔽的区域的中等范围灰度值。在一些实施例中，灰度值的大小表示遮蔽特定像素的相对成本。

图8示出回避图80的一示例性实施例，其中黑色区域(由阴影线示出)对应于没有图像元素的位置，白色区域对应于不能被任何装饰特征遮蔽的位置，而灰色区域对应于可被装饰特征部分地遮蔽的位置，其中遮蔽的允许程度随灰度值的暗度增加。

图9示出一方法实施例，根据该方法背景生成器56将装饰层的装饰元素置入标识为回避图中至少部分地没有图像元素的位置。

背景生成器56从用于背景的一集合的可能样式中选择一种样式(图9，框82)。在一些实施例中，样式是随机选择的。在其它实施例中，样式可基于指定的用户偏好、或者由模板中的设计者规范来选择。

背景生成器56选择用于背景的主色(图9，框84)。在一些实施例中，色彩是随机选择的。在其它实施例中，色彩被选择成匹配图像元素中的色彩。

背景生成器56形成用于背景的背景幕布(图9，框86)。背景幕布是z次序中的最低层，并确保合成中不存在未经填充的区域。在一些实施例中，背景幕布被设置成从所选主色84导出的平淡色彩。或者，背景幕布可针对可用样式82的每一种定义，可用样式82通常由覆盖背景幕布的一个集合的可能纹理之一构成。纹理可以动态地计算，或者从图像载入。

背景生成器56添加一个集合的装饰元素以产生一个集合的装饰层88(图9，框90)。装饰元素基于所选样式82来选择，且基于回避图92定位在装饰层90中。装饰元素的示例是背景形状和细节对象。

背景形状从一个集合的可用形状中选择，以供与所选样式82一起使用。对于每种背景样式82，要使用的形状的数量是不同的。每个所添加的形状被缩放、旋转和平移以确定背景中的精确外观。缩放、旋转和平移的参数针对每种样式来不同地确定-通常每种选择是从针对该样式定义的某范围可能值中选择的加权随机值。每一形状用色化纹理来填充。该纹理从一个集合的可能纹理之一中选择。色化色彩从主色中导出。所导出的色彩可以是例如更浅或更深的阴影、和谐色调、对比色调等等。每种背景形状通常被定义为一单独层，从而使得每一形状能够可能被赋予循环移动定义，如背景样式82所确定地。这允许合成图像渲染器14在其显现于显示器16之上期间循环地改变形状的参数。循环可变参数包括：位置、旋转、强度、缩放。在一些实施例中，如果存在具有固定z次序配置且没有独立循环移动的多个形状，则背景生成器56对渲染到单个图像层或背景幕布层的多个形状进行渲染。

背景细节对象通常包括形状和诸如线、曲线和文本等的小对象。在一些实现中，所选背景样式82定义要以z次序在图像元素之上渲染的背景细节。在此情形中，背景细节对象被定位成不遮蔽回避图的白色区域。在一些实现中，背景样式82指定背景细节对象的定位，以便于甚至在细节按z次序在图像元素之下渲染时也回避图像元素。在一些实施例中，背景生成器56使用生成及测试方法来基于回避图92定位背景细节对象。在此过程中，背景生成器56通过用与回避图90的已知关系(通常为平移)在临时图像中创建细节对象来定义可能的细节对象。然后按照回避图90测试细节对象的占用像素。如果遮蔽了任何白色像素，则拒绝所提议的形状。取决于样式和细节对象的定义，如果仅仅遮蔽了回避图90的灰色区域，则可接收细节对象。像背景形状一样，可根据所选背景样式82的实现给予每一背景细节对象循环移动。在一些情形中，防止多个细节对象彼此重叠是合乎需要的。这可通过用白色将细节对象的形状渲染到回避图上来实现。回避图的后续使用然后将避免任何先前置入的背景细节对象。

F.模板填充器

模板填充器50从预先载入的图像元素集合中自动选择适合特定模板(布局)规范的图像元素。当调用模板填充器50以例示特定模板时，其在图像元素的数据库中搜索可满足模板约束的一个集合的图像元素。在一些实施例中，模板填充器50为了控制模板例示的整个流程而保留先前例示的一些记忆(例如，针对一序列模板仅仅选择来自特定时间或事件的图像元素，或者确保所呈现图像经过刷新)。

每个模板22通常指定在图像元素已经缩放和平移以装入模板之后该图像元素所需的参数。例如，所附附录中提供的示例性模板规范中的“半径”参数指示父区域中图像元素可接受的脸部半径的范围。为了发现针对包括半径约束的区域的图像元素，模板填充器50就缩放具有适当数量脸部的每一个图像元素，以使得该图像元素中的所有脸部符合半径范围规范。如果图像元素中的范围过大，则所需缩放可能是不可能的，在该情形中图像元素不是针对指定区域的适当候选。一旦已经进行了缩放，即可作边界框参数和旋转(ipr)参数的比较。在一些实施例中，不要求图像元素正好装在区域的指定边界内；相反，在宽度和高度是进行了缩放之后图像元素所允许的最大值的区域中，图像元素居中。

在模板填充器50已将一个集合的图像元素分配给模板的区域之后，模板可被称为“例示模板”，其是特定图像元素的具体排列。例示模板由调度器48调度并且由合成图像渲染器14在显示器16上渲染。例示模板通常由一个集合的图像元素连同它们在显示区域中的位置(即图像元素中心的位置、旋转角、以及缩放因子)指定。位置通常在显示器16的坐标系中指定，通常涉及将通用坐标系缩放至显示器16的屏幕高宽比。尽管所例示模板指定了针对每个图像元素的“原位”位置，但图像元素的实际渲染位置根据归于层的进出行为、以及在稳定性岛的使用期期间所给予的任何循环移动而随时间变化。这样，图像元素层就很有可能在层移动的时间段内重叠，尽管它们通常定位成都能看见。

G.调度器和合成图像渲染器

调度器48创建由合成图像渲染器14在显示器16上渲染的一序列层。

如上所述，每个图像元素通常在它自己的层上渲染，其具有相关联的相对z次序位置和移动模式。层具有以下特征：

a)层是合成图像渲染器14能独立移动/缩放/旋转/混合的唯一单元；

b)层存在于特定的z次序位置；

c)层具有可随时间变化的全局混合值；以及

d)层包括：整个源图像；掩模图像，其一般用来将整个源图像隐藏而留下构成图像元素的部分；以及源图像的零个或多个变体。变体可通过使用非照片般逼真渲染或其它图像处理技术变换源图像来生成。源图像、掩模图像和任何变体图像可随时间以许多方式组合，以展现/隐藏整个图像和在图像的原始版本和经处理版本之间混合。

除了用于图像元素的层之外，还存在用于背景组分的附加层。模板规范不直接影响背景层，除了回避图是从例示模板中生成的之外。如上所述，回避图在背景创建过程期间使用。

除用于稳定性岛的普通层之外，有时引入临时层以创建某些期望切换效果是有必要的。临时层基本上是现有层的克隆，但是具有它自己的进出行为。临时层允许调度器产生特定层的显现为“按z次序上移或下移”的效果，这在所述层机制的情况下是不可能的。通过在目标z次序位置复制该层并使其逐渐淡入，同时在旧z次序位置淡出该层然后删除旧层，能实现此效果。

从调度器传递给渲染器的层是包括以下组分的具有相当复杂行为的单元：

a)开始和结束时间：这定义层活动的时间-即其能影响显示的时间。

b)z次序：这是一整数值，其确定层施加于显示、以及由此层被其它层覆盖的次序。

c)带可任选α图的主图像引用：这标识在层中显示的图像。图像被预先载入纹理存储器。取得层所需的、在层开始时间之前载入的所有图像。当没有层引用图像时从纹理存储器去除它们。

d)带可任选α图的一个或多个补充图像引用的可任选集合：每个补充图像通常是可与主图像混合的主图像修改版本。

e)因变于时间的全局透明度函数：该函数通常用来将层淡入和淡出。

f)因变于时间的α图应用系数函数：该函数确定如何应用α图。当α图应用系数为1.0时，该α图完全使用以使其α图值为0的像素透明。当α图应用系数为0.0时，略去该α图。0.0与1.0之间的值使得α图逐渐生效。

g)因变于时间的主图像与次图像之间的混合函数：此函数确定层是显示主图像、次图像还是两者的某混合。

h)因变于时间的基本移动函数：此函数确定图像纹理如何在屏幕上定位。在一些实施例中，这指定2D平移、缩放和旋转。

i)因变于时间的循环行为函数：此函数生成对底层移动、混合和α函数的循环调节。

j)动画图像序列时序：此机制允许图像被处理为由一图像序列形成的连续动画。当正在显示带动画的层时，渲染器根据当前渲染器时间循环通过该序列中的图像。

k)在视频源图像的情形中，相对于层的开始和结束确定视频何时开始播放的时序参数。

常规幻灯片切换使用与图像内容无关的各种效果(例如淡变和划变)在单个图像之间改变。相反，动态图像拼贴生成系统能够使用更为复杂的内容相关的切换。例如，切换可利用媒体数据库中的元数据；例如，从当前拼贴中的照片放大进入特定脸部，将眼睛与来自新拼贴中不同照片的脸部的那些眼睛对齐，从一个脸部向另一个脸部混合，然后将新的脸部移入新拼贴中的位置。一些实施例实现取决于旧岛中所使用图像之一中脸部眼睛与新岛中所使用图像之一中脸部眼睛的对齐的切换。在这些实施例中，调度器48构建从多个对齐层的切换。

合成图像渲染器14和调度器48以复杂方式交互，以便于生成和显示平滑改变、持续变化的显示。调度器负责包括以下的操作：

·选择针对下一“稳定性岛”的图像的排列。

·读取和解压缩照片。

·施加艺术渲染图像处理。

·选择针对下一“稳定性岛”的图像的排列。

·生成背景层以适应图像的排列。

·将所有图像组分载入纹理存储器。

这些操作的一部分在计算上是昂贵的。

合成图像渲染器14通过在该帧时间按活动层的z次序序列渲染每个活动层来生成一序列的显示帧。对于每个帧，基于当前帧时间来评估每个活动层，以生成针对位置、缩放、旋转、混合、α等的一个集合的图像渲染参数。在一些实现中，这些可由图形硬件使用以极为高效地渲染图像。这方面的“评估”意味着评估层中的每个时间函数，从而随着任何“循环”变化调制“基本”行为。合成图像渲染器14还负责确定一个岛将如何切换至下一个岛。然而，合成图像渲染器14直到下一个岛的组分已经构建并载入至纹理存储器才能从一个岛移至下一个岛，这会花不可预测量的时间。因而，在一些实施例中，层在首次出现在显示器上时会渲染无法确定的一段时间。

通过使调度器48生成由合成图像渲染器14完全独立处理的一序列层，一些实施例克服了不定调度问题。然而，使用这种方法，直到已经载入了岛N+1的数据时才有可能定义岛N，因为直到此时才知道岛N+1何时能开始显示、以及由此岛N何时能结束。该方法在系统中引入了不愉快的延迟，并且需要附加存储器。此外，该方法仍然将导致即使岛N+1的数据可用，岛N+1的时序也要直到岛N+2的数据载入才能建立的可能性。这将阻止岛N+1在岛N排定结束时开始。

其它实施例通过允许层的结束时间在它们正在活动渲染时修改，来克服不定调度问题。具体而言，是允许层结束时间在初始时设定为无限(或将来的极长时间)，以使岛N的渲染能在一载入其数据时即开始。当调度器已经载入岛N+1所必需的所有数据时，它随后可修改岛N中层的结束时间、创建在岛N与岛N+1之间混合所必需的任何切换层、以及创建具有无限结束时间的岛N+1的层。该过程然后可在不同岛之间循环。调度因此变成调度从当前岛到下一个岛的切换的过程。

图10示出根据在前面段落中所述的调度过程的一个实施例：

1.创建第一个岛的层，具有无限结束时间(图10，框100)

2.选择下一切换类型(图10，框102)。

3.给定切换类型的选择，选择、创建和载入下一岛的适当组分(图10，框104)。

4.选择晚于或等于当前渲染时间的切换时间(图10，框106)。

5.修改当前岛中层的结束时间以使其适当地终止(图10，框108)。注意，这还可涉及与层结束时间相关的淡出时间的调整。

6.创建实现从当前岛(或内容帧群组)到新岛(内容帧群组)的切换所需的临时层(图10，框110)。

7.创建新岛(内容帧群组)的具有无限结束时间的层(图10，框112)

8.循环至2，将“新”岛处理为新“当前”岛(图10，框114)。

在一些实施例中，图10的过程通过用步骤4A替换步骤4来修改：

4A.通知当前岛中的各个相关层，它应当在当前循环结束时停止循环。层在将处于其循环结束处的时间作出响应。调度器然后可确保所选切换时间晚于相关层的最晚循环结束时间。

根据此修改，一些层需要处于已知位置和显示状态以便于确保平滑切换，假设当前岛层将处于其循环行为中的某任意点。

图10的过程可以许多方式扩展。例如，层的能力可被扩展或缩减以适合特定应用。层的概念可容易地扩展至例如3D对象。另一种扩展将是将层接口用作负责调度和负责渲染的不同设备之间的有效接口。

III.示例性操作环境

动态拼贴生成系统10的各个实施例可由一个或多个分立模块(或数据处理组件)实现，这些模块不限于任何特定的硬件、固件或软件配置。在所示实施例中，这些模块可在任何计算或数据处理环境中实现，包括在数字电子电路(例如，应用专用集成电路，诸如数字信号处理器(DSP))中或在计算机硬件、固件、设备驱动程序、或软件中。在一些实施例中，模块的功能被组合到单个数据处理组件中。在一些实施例中，一个或多个模块各自的相应功能性由相应集合的多个数据处理组件执行。

拼贴层生成器12、合成图像渲染器14、以及显示器16可共存于单个装置上，或者它们可分布在多个装置上；如果分布在多个装置上，则拼贴层生成器12、合成图像渲染器14和显示器16可经由本地有线或无线连接相互通信，或者它们可经由全局网络连接通信(例如经由因特网通信)。

在一些实现中，用于实现动态拼贴生成系统10的各个实施例执行的方法的过程指令(例如，诸如计算机软件等计算机可读代码)，以及所生成的数据被存储在一个或多个计算机可读介质上。适用于有形地表达这些指令和数据的存储设备包括所有形式的非易失性计算机可读存储器，包括例如半导体存储设备(诸如EPROM、EEPROM和闪存设备)、磁盘(诸如内部硬盘和可移动硬盘)、磁光盘、DVD-ROM/RAM以及CD-ROM/RAM。

一般而言，动态拼贴生成系统10的各个实施例可用各种各样的电子设备的任一种实现，包括桌面计算机、工作站计算机和服务器计算机。

图11示出可实现本文中所述的动态拼贴生成系统10的各个实施例的任一个的计算机系统120的一个实施例。计算机系统120包括处理单元122(CPU)、系统存储器124和将处理单元122耦合至计算机系统120的各个组件的系统总线126。处理单元122通常包括一个或多个处理器，每个处理器可以是任一种商用处理器的形式。系统存储器124通常包括存储包含计算机系统120的启动例程的基本输入/输出系统(BIOS)的只读存储器(ROM)、以及随机存取存储器(RAM)。系统总线126可以是存储器总线、外围总线或本地总线，并且可与任何总线协议(包括PCI、VESA、微通道、ISA和EISA)兼容。计算机系统120还包括连接至系统总线126并包含一个或多个提供对数据、数据结构和计算机可执行指令的非易失或持久存储的计算机可读介质盘的持久存储存储器128(例如，硬盘驱动器、软盘驱动器、CD ROM驱动器、磁带驱动器、闪存设备、以及数字视频盘)。

用户可使用一个或多个输入设备130(例如键盘、计算机鼠标、话筒、操纵杆和触摸面板)来与计算机120交互(例如输入命令或数据)。在一些实施例中，输入设备130包括如与本申请同日提交的题为“SYSTEM AND METHODFOR DYNAMIC GENERATION OF MULTIMEDIA CONTENT”(用于动态生成多媒体内容的系统和方法)的美国专利申请No.______[代理人案卷号200802868-1]中所述的对准观众的摄像机。信息可通过图形用户界面(GUI)呈现，该信息在由合成图像渲染器14(例如由视频图形卡实现)控制的显示器16(例如由显示监视器实现)上显示给用户。计算机系统120通常还包括诸如扬声器和打印机的外围输出设备。一个或多个远程计算机可通过网络接口卡(NIC)136连接至计算机系统120。

如图8所示，系统存储器124可存储拼贴层生成器12、图形驱动器138、以及包括输入数据、处理数据和输出数据的处理信息140。在一些实施例中，拼贴层生成器12与图形驱动器138通过接口连接(例如经由微软Windows

操作系统的DirectX

组件)以在显示监视器16上显示动态图像拼贴。一些实施例还包括驻留在系统存储器12中的接口组件，系统存储器12与图形驱动器138和用户输入130通过接口连接以在显示器16上呈现用户界面，以供管理和控制动态拼贴生成系统10的操作。

IV.结论

本文中所述的各个实施例可用来自动生成图像(例如图像元素，诸如数字照片和从中提取的显著元素)的动态拼贴。拼贴可被配置成随时间持续改变以便于产生可能维持观看者长时间兴趣的视觉上吸引人的环境体验。这些实施例通常对用户有可能发现感兴趣的内容并不完全知晓。然而，通过从用户照片中提取多个感兴趣对象并将它们一起显示，这些实施例通常能够向用户提供视觉目标的丰富选择，以使用户更有可能在动态拼贴中看到至少一个感兴趣的东西。在一些情形中，动态拼贴规范可在呈现视觉内容时利用大量可能变体，以减少相同合成呈现一次以上的可能性，由此确保观看者图像集合的呈现总是具有新鲜吸引力。

其它实施例在权利要求的范围内。

VI.附录

以下是XML模板清单的一个示例：

Claims

1.一种方法，包括：

确定一序列的模板(22)，每个模板(22)限定显示区(38)中区域的相应时空布局，其中每个区域关联于一相应集合的一个或多个图像选择标准和一相应集合的一个或多个时间行为属性值；

对于每个模板(22)，针对模板的每个区域判明相应图像层(18)，其中所述判明包括，对于每个层，根据相应集合的图像选择标准向相应区域分配相应图像元素(30)；

对于一序列的帧中的每个帧(20)，产生一相应集合的渲染参数值，所述相应集合的渲染参数值基于针对一个或多个模板(22)确定的一相应集合的单个图像层(18)和相应集合的时间行为属性值，指定显示区(38)中帧的合成；以及

向合成图像渲染器(14)输出所述集合的渲染参数值。

2.如权利要求1所述的方法，其特征在于，所述产生包括对于每个模板(22)生成相应的内容帧(20)群组，其中所述生成包括对于每个模板，将针对模板确定的单个图像层(18)和相应集合的时间行为属性值组合成为相应的内容帧群组中的相应一个。

3.如权利要求2所述的方法，其特征在于：

所述确定包括接收一个或多个切换计划，每个切换计划定义序列中连续的单个模板(22)的一对或多对之间的相应切换；以及

所述产生包括对于每对模板(22)，根据相应切换计划组合针对成对模板确定的单个图像层(18)，以生成连续的单个内容帧群组之间的相应切换帧群组。

4.如权利要求1所述的方法，其特征在于，进一步包括对于每个模板(22)，生成一相应集合的装饰层(90)，每个装饰层(90)包括一相应装饰元素，其中所述产生包括对于每个帧(20)，组合相应集合的图像层(18)与相应集合的装饰层以产生相应的单个内容帧。

5.如权利要求4所述的方法，其特征在于，所述生成包括对于每个模板(22)，确定标识显示区(38)的包含不可被装饰元素遮蔽的图像元素内容的相应不可遮蔽部分的相应回避图(92)，并将装饰层(90)的单个装饰元素定位成使内容帧的显示区的不可遮蔽部分没有装饰元素的内容。

6.如权利要求5所述的方法，其特征在于，一个或多个相应回避图(92)各自附加地标识显示区(38)的包含可至少部分地被装饰元素的内容遮蔽的图像元素内容的相应可遮蔽部分。

7.如权利要求6所述的方法，其特征在于，所述每一个回避图(92)的确定基于与相应模板中所定义的区域相关联的时间行为属性值。

8.如权利要求4所述的方法，其特征在于，所述装饰层(90)的至少之一与相应集合的一个或多个装饰时间行为属性值相关联，并且所述产生包括对于一个或多个装饰层(90)的每一个，基于相应集合的装饰时间行为属性值确定相应装饰元素在显示区中的相应布局。

9.如权利要求8所述的方法，其特征在于，所述装饰时间行为属性值的至少之一指定相应装饰元素在显示区(38)中的循环帧间移动。

10.如权利要求4所述的方法，其特征在于，对于每一个帧(20)，所述组合包括按照相应集合的图像层(18)的z次序散步单个装饰层(90)。

11.如权利要求1所述的方法，其特征在于，所述时间行为属性值的至少之一指定相应区域在显示区(38)中的循环帧间移动。

12.如权利要求1所述的方法，其特征在于，所述产生包括：

对于每个帧(20)，基于相应帧时间确定单个相应图像层(18)的相应组合；以及

对于每个相应图像层(18)，产生定义显示区(38)中图像层的相应组合的相应单个渲染参数值。

13.如权利要求12所述的方法，其特征在于，所述产生包括指定相应帧群组中层(18)的相应结束时间；以及

还包括在前一帧群组正在由合成图像渲染器(14)渲染时将渲染帧群组所需的数据载入计算机可读存储器(124，128)，确定载入的完成时间，并基于该完成时间修改相应帧群组中层的相应结束时间。

14.如权利要求1所述的方法，其特征在于，还包括标识数字图像的显著部分，其中每个图像元素(30)对应于相应一个所标识的显著部分。

15.如权利要求1所述的方法，其特征在于，还包括对于一个或多个图像元素(30)的每一个，将相应数字图像中的图像元素划界，其中所述划界包括确定将相应数字图像中的图像元素划界的相应掩模。

16.如权利要求15所述的方法，其特征在于，还包括对于经划界图像元素的每一个，生成相应数字图像的一个或多个非照片般逼真变体，并且其中所述产生包括创建跨各个帧(20)的切换，所述创建包括对于经划界图像元素的至少之一，混合相应数字图像及其非照片般逼真变体的不同贡献，以在相应单个切换帧中产生图像元素(30)的不同相应表示。

17.如权利要求15所述的方法，其特征在于，所述产生包括跨各个帧(20)创建切换，并且所述创建包括对于经划界图像元素的至少之一，改变相应掩模以在相应单个切换帧中展露相应数字图像的不同部分。

18.如权利要求1所述的方法，其特征在于，所述模板(22)的至少之一包括指定可分配给相应单个区域的图像元素的元数据之间的所需关系的图像选择标准，并且相应图像元素(30)向至少一个模板的区域的分配根据所指定的所需关系来执行。

19.如权利要求18所述的方法，其特征在于，所述模板(22)的至少之一包括按照指示与图像元素(30)相关联的个人的元数据来指定所需关系的图像选择标准。

20.如权利要求18所述的方法，其特征在于，所述模板(22)的至少之一包括按照指示与图像元素(30)相关联的相应采集时间的元数据来指定所需关系的图像选择标准。

21.如权利要求18所述的方法，其特征在于，所述模板(22)的至少之一包括按照指示图像元素(30)的一个或多个视觉属性的元数据来指定所需关系的图像选择标准。

22.至少一种其中含有计算机可读程序代码的计算机可读介质(124，128)，所述计算机可读程序代码适于由计算机执行以实现包括以下步骤的方法：

确定一序列的模板(22)，每个模板限定显示区(38)中区域的相应时空布局，其中每个区域关联于一相应集合的一个或多个图像选择标准和一相应集合的一个或多个时间行为属性值；

对于每个模板(22)，针对模板的每个区域判明相应图像层(18)，其中所述判明包括，对于每个层(18)，根据相应集合的图像选择标准向相应区域分配相应图像元素(30)；

向合成图像渲染器(14)输出所述集合的渲染参数值。

23.一种装置，包括：

存储计算机可读指令的计算机可读介质(214、128)；以及

耦合至存储器的数据处理单元(122)，用于执行所述指令，并至少部分地基于所述指令的所述执行来执行操作，所述操作包括：

对于每个模板(22)，针对模板(22)的每个区域判明相应图像层(18)，其中所述判明包括，对于每个层(18)，根据相应集合的图像选择标准向相应区域分配相应图像元素(30)；

向合成图像渲染器(14)输出所述集合的渲染参数值。