CN102084337A

CN102084337A - 时空媒体对象布局

Info

Publication number: CN102084337A
Application number: CN2008801302425A
Authority: CN
Inventors: E.奥布里恩-斯特雷恩
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2008-05-06
Filing date: 2008-05-06
Publication date: 2011-06-01
Also published as: GB2473370A; DE112008003854T5; WO2009136888A1; GB201020315D0; US20110060979A1; US8683326B2; JP5325977B2; JP2011524035A

Abstract

依据相对时空布局规范（14）来自动地生成确定的时空布局规范（20）。该相对时空布局规范（14）描述媒体对象类型的相对空间位置和时间次序。该确定的时空布局规范（20）描述媒体对象（18）随着时间流逝在显示区域（46）中的布局。生成确定的时空布局规范（20）的过程包括为每个媒体对象（18）确定相应时空间隙，所述相应时空间隙对应于在其中所述媒体对象（18）被调度以进行再现的相应再现时段内在显示区域（46）中的相应窗口。输出该确定的时空布局规范（20）。

Description

时空媒体对象布局

背景技术

个人和组织正在快速地累积大量的数字内容，包括静止图像、文本、图形、动画图形以及全动视频图像。该内容可以以各种各样的不同形式被单独地呈现或者组合，所述不同形式包括文档、目录、演示文稿、静止照片、商业视频、家庭电影、以及描述一个或多个相关数字内容文件的元数据。随着这些收集的数量和多样性增长，个人和组织将越来越需要用于组织和呈现他们的收集中的数字内容的系统和方法。为了满足这种需要，需要各种不同的用于组织和呈现数字图像内容的系统和方法。

发明内容

在一个方面中，本发明特征在于一种方法，依据该方法依据相对时空布局规范来自动地生成确定的时空布局规范。该相对时空布局规范描述媒体对象类型的相对空间位置和时间次序。该确定的时空布局规范描述媒体对象在显示区域中随着时间流逝的布局。生成确定的时空布局规范的过程包括：为每个媒体对象确定与在其中调度媒体对象以进行再现的相应再现时段内显示区域中的相应窗口对应的相应时空间隙（slot）。输出该确定的时空布局规范。

本发明还特征在于装置以及存储使计算机执行上面描述的方法的计算机可读指令的计算机可读媒体。

本发明的其他特征和优点将通过包括附图和权利要求书的以下描述而变得显而易见。

附图说明

图1是包括时空布局生成器的时空布局生成系统的实施例的方框图，所述时空布局生成器依据相对时空布局规范来处理媒体对象集合以产生确定的时空布局规范。

图2是时空布局生成方法的实施例的流程图。

图3是相对时空布局规范的实施例的示意图。

图4是依据图3的相对时空布局规范所生成的媒体对象的确定的时空布局的实施例的示意图。

图5A是从媒体对象的确定的时空布局的实施例中提取的图像帧集合的示意图。

图5B示出图5A中示出的图像帧的元素和对应的相对时空布局规范的元素之间的对应性。

图6是相对时空布局规范的实施例的两种表示的示意图。

图7是相对时空布局规范的实施例的两种表示的示意图。

图8是相对时空布局规范的实施例的两种表示的示意图。

图9A是相对时空布局规范的实施例的两种表示的示意图。

图9B是依据图9A中表示的相对时空布局规范所生成的媒体对象的确定的时空布局的实施例的示意图。

图10是图1中示出的时空布局生成系统的实施例的方框图。

图11是在图2的时空布局发生方法的实施例中使用的多维最优化处理的实施例的方框图。

图12是在图2的时空布局发生方法的实施例中与图11的多维最优化处理一起使用的自适应调度处理的实施例的方框图。

图13是为实施图1的时空布局生成系统的实施例而编程的计算机系统的实施例的方框图。

具体实施方式

在以下描述中，相同的参考标记用来标识相同的元素。而且，附图旨在以示意的方式示出示例性实施例的主要特征。附图并不旨在描绘实际实施例的每个特征也不描绘所描绘元素的相对尺寸，并且不是按比例绘制的。

I. 引言

下面详细描述的实施例能够将媒体对象收集组织成时空布局，在该时空布局中，每个媒体对象被分配到空间上和时间上均被划分的调度再现（或呈现）空间中的相应间隙。

通常依据相对时空布局规范来生成该时空布局，所述相对时空布局规范指导呈现空间到时空间隙的空间和时间划分并且指导媒体对象到这些间隙中的分配。相对时空布局规范是媒体对象类型的相对空间布局以及用于以特定的再现顺序对媒体对象类型进行排序的调度的一般规范。相对时空布局规范规定相对时空布局而不考虑任何媒体对象或媒体对象元数据（例如，持续时间、纵横比、分辨率等）。在一些实施例中，熟练的多媒体技术人员独立于任何特定的媒体对象来生成相对时空布局规范。以此方式，相对时空布局规范可以以可以由不熟练的用户控制（leverage）以产生其媒体对象收集的高质量呈现的方式体现多媒体专业人员的美感和技艺。

本文描述的实施例在消费者应用空间中提供显著的优点，其中它们允许以具有内容的媒体对象的适当形式记载复杂的事件，所述内容本来是支离破碎的并且具有变化极大的格式和分辨率。

II.术语的定义

术语“媒体对象”广义上指代任何形式的数字内容，包括文本、音频、图形、动画图形、静止图像、全动视频以及物理对象的电子代替物。该内容可以以各种各样的不同形式单独地或以某种组合进行打包和呈现，所述不同形式包括文档、注释、演示文稿、音乐、静止照片、商业视频、家庭电影、以及描述一个或多个相关数字内容文件的元数据。基于图像的媒体对象（或仅仅“图像”）可以是包括如下的任何类型的数字或电子图像的完整或部分版本：由图像传感器（例如，视频照相机、静止图像照相机或者光学扫描仪）捕获的图像或者这种图像的经处理（例如，滤波、重新格式化、增强或以其他方式修改的）版本；计算机生成的位图或矢量图图像；文本图像（例如，含有文本的位图图像）；以及肖像图像。术语“媒体对象”涵盖由一个或多个媒体对象的凝聚群体或集合形成的多元素媒体对象和单元素媒体对象二者。单元素媒体对象到特定多元件媒体对象的分派表明组成的单元素媒体对象是相关的。一般而言，多元素媒体对象中的单元素媒体对象的类型可以是相同的或不同的。媒体对象通常被存储在一个或多个计算机可读媒体上的一个或多个数据库中。媒体对象可以被物理地存储在本地数据库中或者在一个或多个可以通过局域网和全球通信网进行访问的远程数据库中。一些媒体对象也可以被存储在可通过对等网络连接进行访问的远程数据库中。

如本文所使用的，术语“相对时空布局”指代媒体对象类型的相对空间布置和时间顺序，其中不规定媒体对象类型的绝对位置和媒体对象类型的绝对再现时间。相对时空布局规范描述媒体对象类型随着时间流逝的相对空间位置。

如本文所使用的，术语“确定的时空布局”指代媒体对象依据描述媒体对象的位置、尺寸和调度再现时段的确定的时空布局规范以特定的顺序在显示区域中的布局。

术语“数据结构”广义上指代其中组织和存储数据的物理布局（或格式）。

“计算机”是一种根据暂时或永久地存储在计算机可读媒体上的计算机可读指令（例如，软件）处理数据的机器。执行特定任务的这种指令集被称为程序或软件程序。

术语“计算机可读媒体”指代任何能够存储可由计算机读取的信息的媒体。计算机可读媒体的示例是适合于有形地体现指令和数据的储存设备，包括但不限于所有形式的计算机可读存储器，包括非易失性形式，例如半导体存储器设备（诸如EPROM、EEPROM和闪存存储器设备）、磁盘（诸如内部硬盘和可移动硬盘）、磁光盘、DVD-ROM/RAM以及CD-ROM/RAM。

III.概述

图1示出包括时空布局生成器12的时空布局生成系统10的实施例，所述时空布局生成器12依据相对时空布局规范14来处理媒体对象18的集合16以产生确定的时空布局规范20。相对时空布局规范描述媒体对象类型的相对空间位置和时间次序，而确定的时空布局规范20描述媒体对象18随时间流逝在显示区域中的布局。

图2示出由时空布局生成器12实施的方法的实施例。

依据图2的方法，时空布局生成器12依据相对时空布局规范14自动生成确定的时空布局规范20（图2，方框22）。在这个过程中，时空布局生成器12为每个媒体对象18确定相应的时空间隙，其对应于在相应的再现时段（在该时段内调度媒体对象以进行再现）内显示区域中的相应窗口。

时空布局生成器12输出确定的时空布局规范20（图2，方框24）。在一些实施例中，时空布局生成器12通过将确定的时空布局规范20存储在计算机可读媒体上来输出所述确定的时空布局规范20。在这些实施例中，时空布局生成器12通常以包括数据结构（例如，表格或列表）的规范的形式输出确定的时空布局规范20，所述数据结构描述媒体对象18到空间上和时间上被划分的调度再现（或呈现）空间中的间隙的分配。在一些实施例中，该规范以XML（可扩展标记语言）文件格式存储在计算机可读媒体上。

在一些实施例中，时空布局生成系统10依据确定的时空布局规范20来再现媒体对象18的确定的时空布局。例如，在一些实施例中，时空布局生成系统10将媒体对象18的确定的时空布局再现在显示器上。该显示器可以是例如平板显示器，诸如LCD（液晶显示器）、等离子体显示器、EL显示器（电致发光显示器）和FED（场发射显示器）。在其他实施例中，时空布局生成系统10将媒体对象18的确定的时空布局再现在打印媒体（例如，一张或多张纸）上。

在一些实施例中，确定的时空布局规范20对应于输出视频文件，其可以被视频播放器再现以呈现媒体对象18的对应时空布局。在这些实施例中，输出视频文件依据视频文件格式（例如，AVI、MOV、MPEG-2、MPEG-4、Ogg、ASF、RealMedia和3gp）被存储在计算机可读媒体上。在一些实施例中，确定的时空布局规范20对应于可剖析视频回放指令，其使机器（例如，计算机）呈现与媒体对象18的时空布局对应的复合视频。在这些实施例中，这些指令依据多媒体创作脚本语言（例如，Adobe Flash

）存储在计算机可读媒体上，所述多媒体创作脚本语言可以由脚本解译器（例如，Adobe Flash

播放器）运行或剖析以再现媒体对象18的时空布局。在一些实施例中，确定的时空布局规范20对应于视频混合规范（例如，脚本），其描述媒体对象18的时空布局将被呈现在显示区域中所用的方式。在这些实施例中，视频混合规范由视频创作工具（例如Adobe Flash

或AviSynth）处理，所述视频创作工具产生可以被处理以再现媒体对象18的时空布局的输出视频文件（例如，AVI文件）或可剖析视频回放指令集（例如，Adobe Flash脚本或AviSynth脚本）。

IV.规定相对时空布局

A. 引言

如上面所解释的，相对时空布局规范14描述媒体对象类型以特定时间顺序的空间布局，其中不规定媒体对象类型的绝对位置和媒体对象类型的绝对再现时段。媒体对象类型的相对空间位置可以例如依据任何类型的、描述媒体对象类型相对于彼此或相对于共同参考点（例如，共同坐标系的角点或边点）的相对空间位置的平面图模型来加以描述。相对时空布局规范14描述相对再现空间到间隙的分解，每个间隙正好含有媒体对象类型之一。

图3示出与相对再现空间的递归分割（或细分）模型对应的相对时空布局规范14的实施例。在这个实施例中，分割模型是被组织成树结构26的二叉时空分割模型。树结构26具有与相应媒体对象类型对应的叶节点28、30、32、34以及与由树结构26分割的相对再现空间的分区对应的内部节点36、38、40。在示出的实施例中，垂直条“|”指示相对再现空间的垂直空间划分（或分裂），破折号“—”指示相对再现空间的水平划分，并且远大于符号“>>”指示相对再现空间的时间划分，其中左孩子节点在相对再现顺序中领先于右孩子节点。因而，由树结构26规定的相对再现空间的递归划分对应于视频媒体对象类型的第一实例（所述第一实例被分配到在照片媒体对象类型的两个连续实例左边的时空间隙）和视频媒体对象类型的第二实例，其中照片媒体对象类型的连续实例被再现于在含有视频媒体对象类型的第二实例的右下时空间隙之上的右上时空间隙中。

图4示出依据由二叉树结构26表示的时空分割规范、被分配到调度再现空间42中的相应间隙的两个视频（即，视频_1和视频_2）和两个照片（即，照片_1和照片_2）的确定的时空布局的示例性实施方式。

也可以使用定义相对再现空间的递归时空分割的类似文本模式（schema）来规定由树结构26表示的时空分割规范。依据这种模式：

● 垂直条“|”指示相对再现空间的垂直空间划分，其中在垂直条左侧识别的元素（即，一个或多个媒体对象类型的一个或多个实例）位于在垂直条的右侧识别的元素的左边；

● 破折号“—”指示相对再现空间的水平划分，其中在水平条左侧识别的元素（即，一个或多个媒体对象类型的一个或多个实例）位于在水平条的右侧识别的元素之上；以及

● 远大于符号“>>”指示相对再现空间的时间划分，其中在远大于符号左侧的元素领先于在远大于符号右侧的元素。

在一些实施例中，该模式另外包括标签或允许相对时空布局规范的设计者为间隙中的指定的一个间隙规定一个或多个媒体对象选择准则的其他元数据。响应于此类媒体对象选择准则，时空布局生成器12基于所分派的媒体对象匹配媒体对象选择准则的用户指示来把集合16中的媒体对象18之一分派给指定的间隙。在各种类型的媒体对象选择准则当中，可以被包括在模式中的标签为如下：

● 在媒体类型名称的相对侧的下划线（即，“_MediaType（媒体类型）_”）指示：分配给确定的时空布局中的对应时空间隙的媒体对象应当是被用户识别为表示用户想要确定的时空布局规范20传达的主题的所规定MediaType的媒体对象；以及

● 紧接着媒体类型名称的感叹号（“！”）（即，“MediaType！”）指示：分配给确定的时空布局中的对应时空间隙的媒体对象应当是被用户识别为表示确定的时空布局规范20的气候事件的所规定MediaType的媒体对象。

因而，依据上面描述的模式，由图3中示出的树结构26表示的时空相对分割规范由以由单个表达式组成的计算机语言的以下文本描述等效地规定：

视频|（（照片>>照片）—视频）。

图5A示出在连续时间t1、t2、t3、t4、t5、t6从媒体对象的确定的时空布局的实施例中提取的图像帧集合。这个实施例是依据以下相对分割规范从十个照片媒体对象和两个视频媒体对象的用户选择集合中生成的：

图5B示出图5A中示出的图像帧的元素和对应的相对分割规范的元素之间的对应性。在这个示例中，在显示区域46的左上角中的窗口中再现的照片44被用户选择为确定的时空布局的主题照片，而在显示区域46的右上角中的视频48被用户选择为确定的时空布局的气候视频。

B. 示例性相对时空布局规范实施例

在前面章节中描述的相对时空分割方法使得能够规定各种各样的不同相对时空布局。以下的相对时空布局是本文仅出于说明性目的进行描述的并且绝不限制可以使用这些分割方法描述的可能的相对布局的数量和多样性。

图6示出相同的相对时空布局的文本规范50和图形规范52的实施例。在这些实施例中，视频媒体对象类型的两个实例在相应间隙中相对于彼此定位，其处于在照片媒体对象类型的两个并排实例上的、在间隙中的照片媒体对象类型的主题实例的左边。

图7示出相同的相对时空布局的文本规范54和图形规范56的实施例。这些实施例规定在时间上接着是媒体对象类型到时空间隙集合的第二分配的、媒体对象类型到时空间隙集合的第一分配。这些分配的每个由位于在含有视频媒体对象类型的相应实例的三个垂直分布间隙左边的间隙中的视频媒体对象类型的相应实例组成。

图8示出相同的相对时空布局的文本规范58和图形规范60的实施例。文本描述示出计算机语言可以具有在单个表达式之前的语句序列。这些语句可以把变量值设定为子表达式，其然后可以被组合为最终表达式。这些实施例规定位于媒体对象类型的第二布置左边的媒体对象类型的第一布置。在第一布置中，视频媒体对象类型的实例被分配到位于分别含有照片媒体对象类型的左主题实例和照片媒体对象类型的右实例的并排间隙对之上的间隙。第二布置由间隙的三个序列的垂直布置组成，其中：

● 在顶部序列中的间隙分别含有媒体对象类型实例的以下序列：空白，接着是照片，接着是空白，接着是照片，接着是空白，接着是照片，接着是空白，接着是照片，接着是空白，接着是照片；

● 在中间序列中的间隙分别含有媒体对象类型实例的以下序列：照片，接着是空白，接着是照片，接着是空白，接着是照片，接着是空白，接着是照片，接着是空白；以及

● 在底部序列中的间隙分别含有媒体对象类型实例的以下序列：空白，接着是照片，接着是空白，接着是照片，接着是空白，接着是照片，接着是空白，接着是照片。

在这些实施例的一些实施例中，“空白”媒体对象类型对应于图形媒体对象，其用均匀颜色（例如，白色）填充其被分配到的间隙的空间维度。在这些实施例的其他实施例中，“空白”媒体对象类型由设计者为表示连续媒体对象之间的间隔或其他过渡而选择的一些其它内容组成。

图9A示出相同的相对时空布局的文本规范62和图形规范64的实施例。这些实施例规定位于媒体对象类型的第二布置（“照片”）之上的媒体对象类型的第一（“顶部”）布置。第一布置由在空白媒体对象的实例左边的文本媒体对象类型的第一实例的水平布置组成，所述空白媒体对象在文本媒体对象类型的第二实例的左边。第二布置由在媒体对象类型的中间群组左边的媒体对象类型的左群组的水平布置组成，所述中间群组在媒体对象类型的右群组的左边。左群组和右群组的每个由三个间隙的垂直布置组成，每个间隙含有照片媒体对象类型的相应实例；而中间群组由两个间隙的垂直布置组成，每个间隙含有照片媒体对象类型的相应实例。

图9B示出与图9A中示出的相对时空布局规范对应的媒体对象的确定的时空布局66的示例性实施例。

V. 时空布局生成器的示例性实施例

A. 引言

图10示出包括时空布局生成器12的实施例72、显示器74和存储相对时空布局规范集合78的数据库76的时空布局生成系统10的实施例70。时空布局生成器72包括元数据提取模块80、最优化模块82和输出生成模块84。

时空布局生成器72对媒体对象88的集合86进行操作，该集合86可以由用户指定或者可以由时空布局生成器72自动地识别。元数据提取模块80从每个媒体对象88中提取包括纵横比和持续时间（如果可应用的话）的各种参数的值，并且将所提取的值传送到最优化模块82。

最优化模块82依据多维最优化过程来确定定义媒体对象88在确定的时空布局中的间隙的空间和时间参数的值。最优化模块82可以在确定定义媒体对象88在确定的时空布局中的间隙的空间和时间参数的值的过程中使用各种各样的多维最优化方法中的任一种方法。在可能被使用的示例性类型的最优化方法当中包括但不限于：模拟退火最优化方法、爬山最优化方法、下山单纯形最优化方法、最速下降最优化方法、以及遗传最优化方法。

最优化模块82把参数值传送到输出生成模块84，该输出生成模块84由接收的参数值生成确定的时空布局规范90。

时空布局生成系统10在显示器74上再现对应于确定的时空布局规范90的媒体对象88的确定的时空布局。

B. 用于确定确定的时空布局的模拟退火最优化处理的示例性实施例

1. 引言

这个章节描述包括主调用过程和主要模拟退火例程的模拟退火方法的示例性实施例。模拟退火方法涉及依据对表征候选确定的时空布局的目标函数进行最优化的过程来查明媒体对象88的一系列连续候选的确定的时空布局：从媒体对象88的初始候选的确定的时空布局，经过由空间和时间参数值的不同相应集合定义的媒体对象88的连续候选的确定的时空布局，到对应于确定的时空布局规范90的最终的确定的时空布局。

2. 主要模拟退火例程的示例性实施例

图11示出在图2的时空布局生成方法的实施例中用于生成确定的时空布局规范20的主要模拟退火最优化例程的实施例。

依据图11的主要模拟退火最优化例程，最优化模块82把Accept（接受）变量的值初始化为0（图11，方框92）。最优化模块82确定随机候选布局（图11，方框94）。该候选布局通常由包含定义显示区域中媒体对象88的相应确定的布局的空间和时间参数的值的状态向量规定。最优化模块82确定在表征候选布局的目标函数的得分和当前得分之间的差异（△_得分）（图11，方框96）。

如果△_得分 > 0（图11，方框98），则最优化模块82把当前得分设定等于候选得分（图11，方框100），递增Accept值（图11，方框102）并且把当前的确定的时空布局设定等于候选的确定的时空布局（图11，方框104）。如果迭代的数量不等于N（例如100）（图11，方框106），则重复该过程；否则，最优化模块82把Accept变量的值返回给主调用过程（图11，方框107）。

如果△_得分

0（图11，方框98），则最优化模块82确定移动接受概率函数f（△_得分，t）是否大于P（图11，方框108），其中P是具有相应伪随机生成的概率值的参数。在一些实施例中，随机移动函数是由e^△得分/t给出并且P具有在范围[0，1)内的随机值。如果f（△_得分，t）> P（图11，方框108），则最优化模块82把当前得分设定等于候选得分（图11，方框100），递增Accept值（图11，方框102），并且把当前的确定的时空布局设定等于候选的确定的时空布局（图11，方框104）。如果f（△_得分，t）≤ P（图11，方框108）并且迭代的数量不等于N（图11，方框106），则重复该过程。如果f（△_得分，t）≤ P（图11，方框108）并且迭代的数量等于N（例如，100）（图11，方框106），则最优化模块82把Accept变量的值返回给主调用过程（图11，方框107）。

3. 主调用过程的示例性实施例

图11的模拟退火最优化方法通常被主调用过程调用多次，该主调用过程控制主要模拟退火例程的迭代数量以及对温度参数t进行设定的冷却调度，其调节任何特定候选布局尽管具有较低目标函数得分也将被接受的可能性。在一些实施例中，每当在最优化模块82从主要模拟退火例程返回之后，主调用过程改变温度参数t。各种不同的退火调度可以用来改变温度参数。例如，在一些实施例中，每当在最优化模块82从主要模拟退火例程返回之后，减小温度参数。温度参数被减小的量可以是固定量，或者其可以作为已花费的时间预算的分数的函数或者作为当前温度值的函数进行变化。

图12示出在图2的时空布局生成方法的实施例中与图11的主要模拟退火例程一起使用的自适应冷却调度的实施例。依据图12的方法，最优化模块82把温度参数t的值初始化为初始（通常为高）值。最优化模块82然后开始执行FOR循环，其中循环计数器R_accept从高值H递减到低值L（图12，方框110）。如果Accept变量的当前值等于循环计数器的当前值（图12，方框112），则最优化模块82进行到下一迭代（图12，方框110）。如上面解释的，Accept变量的值由图11的主要模拟退火例程设定。如果Accept变量的当前值不等于循环计数器的当前值（图12，方框112），则最优化模块82通过执行图11的主要模拟退火例程用当前温度值t来设定Accept变量的值（图12，方框114）。如果Accept变量的返回值大于当前循环计数器值（图12，方框116），则最优化模块82减小温度值（图12，方框118）。在一些实施例中，最优化模块82使当前温度值减小固定百分比（例如，1%）。如果Accept变量的返回值小于或等于当前循环计数器值（图12，方框116），则最优化模块82增大温度值（图12，方框118）。在一些实施例中，最优化模块82使当前温度值增大固定百分比（例如，1%）。

在一些实施例中，最优化模块82在退出图12的方框110中的FOR循环之后终止模拟退火方法。

在其他实施例中，在退出图12的方框110中的FOR循环之后，最优化模块82使用非自适应冷却调度来继续运行图11的主要模拟退火例程。在这个过程中，对于规定的迭代数量（例如，1000），温度参数t的值从其在图12的自适应冷却过程结束时的值减小固定百分比（例如，1%）。在这些实施例中的一些实施例中，最优化模块82在规定的迭代数量之后终止模拟退火方法。在这些实施例的其他实施例中，最优化模块82在规定的迭代数量之后继续运行图11的主要模拟退火例程。在这个过程中，最优化模块82使图11的主要模拟退火例程运行规定的迭代数量（例如，1000），其中对每次迭代而言温度参数t的值被设定为0。

4. 为每个候选的确定的时空布局计分

如上面解释的，最优化模块82计算每个候选的确定的时空布局的相应得分。在一些实施例中，该得分是衡量每个媒体对象的参数与分配给媒体对象的时空间隙的对应参数匹配的接近程度的各个匹配得分的加权几何平均。在这些实施例中的一些实施例中，每个媒体对象的相应匹配得分从各种因数进行计算，所述因数中的至少一些因数衡量媒体对象与其当前间隙就媒体对象与其当前间隙的特定参数（例如，纵横比或持续时间）值的相应比率而言的接近度。

在一些实施例中，图形媒体对象（例如，照片或视频）的匹配得分是扭曲因数和面积因数的函数。扭曲因数衡量媒体对象的纵横比匹配其当前间隙的纵横比的接近程度。面积因数衡量被分配给媒体对象的显示区域的部分对应于可用显示区域的均等划分的接近程度。在一些实施例中，匹配得分对应于扭曲因数和面积因数的加权平均。在这些实施例中的一些实施例中，扭曲因数的权重比面积因数的权重更大。

在一些实施例中，每个非基于时间的媒体对象（例如，照片）的匹配得分另外结合衡量其当前间隙的持续时间匹配针对媒体对象规定的优选持续时间的接近程度的持续时间因数。所述优选持续时间可以由用户或者由默认值规定。持续时间因数通常被包括在扭曲因数和面积因数的加权平均中。

在一些实施例中，每个基于时间的媒体对象（例如，视频）的匹配得分另外结合衡量其持续时间匹配其当前间隙（匹配）的持续时间的接近程度的持续时间因数。持续时间因数通常被包括在扭曲因数和面积因数的加权平均中。

在一些实施例中，基于文本的媒体对象的匹配得分是可以由用户或者由默认值设定的高度、宽度和持续时间的优选值的函数。在这些实施例中的一些实施例中，基于文本的媒体对象的匹配得分对应于宽度因数、高度因数和持续时间因数的乘积。宽度因数对应于优选宽度与间隙宽度的比率或间隙宽度与优选宽度的比率中的较小者。高度因数对应于优选高度与间隙高度的比率或间隙高度与优选高度的比率中的较小者。持续时间因数衡量间隙持续时间匹配为基于文本的媒体对象规定的优选持续时间的接近程度。

在一些实施例中，匹配得分另外结合一个或多个处罚因数，其减小被分配到具有在规定的阈值维度之下的一个或多个空间或时间维度的间隙的媒体对象的匹配得分。

VI.时空布局生成系统的示例性架构

时空布局生成系统10的实施例可以由不限于任何特定硬件、固件或软件配置的一个或多个分立模块（或数据处理部件）实现。在示出的实施例中，这些模块可以在任何计算或数据处理环境中实现，包括在数字电子电路（例如，专用集成电路，诸如数字信号处理器（DSP））中或在计算机硬件、固件、设备驱动器或软件中实现。在一些实施例中，这些模块的功能被组合到单个数据处理部件中。在一些实施例中，一个或多个模块中的每个模块的相应功能由多个数据处理部件的相应集合来执行。

在一些实施方式中，用于实施由时空布局生成系统10的实施例执行的方法的过程指令（例如，计算机可读代码，诸如计算机软件）以及生成的数据被存储在一个或多个计算机可读媒体中。适合于有形地体现这些指令和数据的储存设备包括所有形式的非易失性计算机可读存储器，包括例如半导体存储器设备（诸如EPROM、EEPROM和闪存存储器设备）、磁盘（诸如内部硬盘和可移动硬盘）、磁光盘、DVD-ROM/RAM以及CD-ROM/RAM。

一般而言，时空布局生成系统10的实施例可以以包括计算机（例如，膝上型或笔记本计算机、台式计算机、工作站计算机和服务器计算机）的各种各样的电子设备中的任一种来实现。

图13示出由在计算机140上操作的一个或多个软件模块实现的时空布局生成系统10的实施例138。计算机140包括处理单元142、系统存储器144以及把处理单元142耦合到计算机140的各种部件的系统总线146。处理单元142通常包括一个或多个处理器，每个处理器可以具有各种商用处理器中的任一种的形式。系统存储器144通常包括只读存储器（ROM）和随机存取存储器（RAM），所述只读存储器（ROM）存储含有计算机140的启动例程的基本输入/输出系统（BIOS）。系统总线146可以是存储器总线、外围总线或者本地总线，并且可以与各种总线协议（包括PCI、VESA、Microchannel、ISA和EISA）中的任一种兼容。计算机140还包括永久储存存储器148（例如，硬盘驱动、软盘驱动、CD ROM驱动、磁带驱动、闪存存储器设备和数字视频盘），其连接到系统总线146并且含有一个或多个为数据、数据结构和计算机可执行指令提供非易失性或永久储存的计算机可读媒体盘。

用户可以使用一个或多个输入设备150（例如，键盘、计算机鼠标、麦克风、游戏杆和触摸板）与计算机30交互（例如，输入命令或数据）。信息可以通过在由显示控制器154控制的显示监视器152上向用户显示的图形用户界面（GUI）进行呈现。计算机30还通常包括外围输出设备，诸如扬声器和打印机。一个或多个远程计算机可以通过网络接口卡（NIC）156而连接到计算机140。

如图13中示出的，系统存储器144还存储时空布局生成系统138、GUI驱动器158、以及包括媒体对象18、中间处理数据和输出数据的其他数据160。时空布局生成系统138与GUI驱动器158和用户输入150对接，以控制创建确定的时空布局规范。在一些实施例中，时空布局生成系统138另外包括被配置成再现媒体对象18的时空布局的视频播放器和脚本解译器中的至少一个，所述媒体对象18的时空布局由确定的时空布局规范20通过处理该规范20来规定。在一些实施例中，时空布局生成系统138与GUI驱动器158、用户输入150、相对时空布局规范14以及其他数据结构对接以产生图形用户界面，该图形用户界面通过生成确定的时空布局规范20的过程来引导用户。时空布局生成系统138还与GUI驱动器158、确定的时空布局规范20以及其他数据结构对接，以控制媒体对象18的确定的时空布局向用户在显示监视器152上的呈现。用来再现该呈现的各种媒体对象18可以被本地地存储在永久储存存储器148中或被远程地存储并且通过NIC 156进行访问，或者两者都有。

VII.结论

本文描述的实施例能够将媒体对象集合组织成时空布局，在该时空布局中每个媒体对象被分配到空间上和时间上均被划分的调度再现（或呈现）空间中的相应间隙。通常依据相对时空布局规范来生成该时空布局，所述相对时空布局规范指导呈现空间到时空间隙的空间和时间划分，并且指导媒体对象到这些间隙中的分配。在一些实施例中，熟练的多媒体技术人员独立于任何特定的媒体对象来生成相对时空布局规范。以此方式，相对时空布局规范可以以为产生其媒体对象集合的高质量呈现而可以由不熟练的用户控制的方式体现多媒体专业人员的美感和技艺。本文描述的实施例在消费者应用空间中提供显著的优点，其中它们允许以具有内容的媒体对象的适当形式记载复杂的事件，所述内容本来是支离破碎的并且具有变化极大的格式和分辨率。

其他实施例在权利要求书的范围内。

Claims

1. 一种计算机实施的方法，包括：

依据描述媒体对象类型的相对空间位置和时间次序的相对时空布局规范（14）来自动地生成确定的时空布局规范（20），其中该确定的时空布局规范（20）描述媒体对象（18）随着时间流逝在显示区域（46）中的布局，并且所述生成包括为每个媒体对象（18）确定相应时空间隙，所述相应时空间隙对应于在其中所述媒体对象（18）被调度以进行再现的相应再现时段内在显示区域（46）中的相应窗口；以及

输出该确定的时空布局规范（20）。

2. 权利要求1的方法，其中所述确定包括依据多维度最优化处理来确定所述窗口的空间参数值和所述再现时段的时间参数值。

3. 权利要求2的方法，其中所述确定包括依据对表征候选的确定的时空布局的目标函数进行最优化的处理来查明媒体对象（18）的一系列连续候选的确定的时空布局：从媒体对象（18）的初始候选的确定的时空布局，经过由空间和时间参数值的不同相应集合定义的媒体对象（18）的连续候选的确定的时空布局，到对应于确定的时空布局规范（20）的最终的确定的时空布局。

4. 权利要求2的方法，其中所述确定包括依据模拟退火最优化过程来查明空间参数和时间参数的值。

5. 权利要求4的方法，其中所述查明包括用自适应冷却调度来迭代地执行该模拟退火最优化过程，所述自适应冷却调度取决于具有相继减小部分的随机移动的候选确定的时空布局中的连续的候选确定的时空布局的量，所述随机移动在模拟退火过程的一个或多个迭代中的每个迭代期间被接受。

6. 权利要求1的方法，其中相对时空布局规范（14）包括针对所述间隙中的规定间隙的媒体对象选择准则，并且所述生成包括基于所分派的媒体对象匹配所述媒体对象选择准则的用户指示来将媒体对象（18）之一分派到所述规定间隙。

7. 装置，包括：

存储器（144）；以及

处理单元（142），耦合到所述存储器（144）且可操作以执行包括如下的操作：

输出该确定的时空布局规范（20）。

8. 权利要求7的装置，其中在所述确定中所述处理单元（142）可操作以执行包括如下的操作：依据多维度最优化处理来确定所述窗口的空间参数值和所述再现时段的时间参数值。

9. 权利要求8的装置，其中在所述确定中所述处理单元（142）可操作以执行包括如下的操作：依据对表征候选的确定的时空布局的目标函数进行最优化的处理来查明媒体对象（18）的一系列连续候选的确定的时空布局：从媒体对象（18）的初始候选的确定的时空布局，经过由空间和时间参数值的不同相应集合定义的媒体对象（18）的连续候选的确定的时空布局，到对应于确定的时空布局规范（20）的最终的确定的时空布局。

10. 权利要求8的装置，其中在所述确定中所述处理单元可操作以执行包括如下的操作：依据模拟退火最优化过程来查明空间参数和时间参数的值。

11. 一种计算机可读媒体（144，148），其存储使计算机（140）执行包括如下的操作的计算机可读指令：

输出该确定的时空布局规范（20）。

12. 权利要求11的计算机可读媒体，其中在所述确定中所述计算机可读指令使计算机（140）执行包括如下的操作：依据多维度最优化处理来确定所述窗口的空间参数值和所述再现时段的时间参数值。

13. 权利要求12的计算机可读媒体，其中在所述确定中所述计算机可读指令使计算机（140）执行包括如下的操作：依据对表征候选的确定的时空布局的目标函数进行最优化的处理来查明媒体对象（18）的一系列连续候选的确定的时空布局：从媒体对象（18）的初始候选的确定的时空布局，经过由空间和时间参数值的不同相应集合定义的媒体对象（18）的连续候选的确定的时空布局，到对应于确定的时空布局规范（20）的最终的确定的时空布局。

14. 权利要求13的计算机可读媒体，其中在所述确定中所述计算机可读指令使计算机（140）执行包括如下的操作：依据模拟退火最优化过程来查明空间参数和时间参数的值。

15. 权利要求14的计算机可读媒体，其中在所述确定中所述计算机可读指令使计算机（140）执行包括如下的操作：用自适应冷却调度来迭代地执行该模拟退火最优化过程，所述自适应冷却调度取决于在模拟退火过程的一个或多个迭代中的每个迭代期间具有连续较佳目标函数得分的候选确定的时空布局中的连续候选确定的时空布局的量。