CN101233496A - 用于3d用户界面程序的视觉调试系统 - Google Patents

Abstract

在一个实施例中，提供设备，其包含嵌入式装置模拟引擎、应用程序运行控制器以及状态提供程序。提供所述嵌入式装置模拟引擎以在除目标嵌入式装置以外的计算机平台上模拟为所述目标嵌入式装置编辑的3D应用程序。提供所述应用程序运行控制器以控制所述3D应用程序在所述嵌入式装置模拟引擎中运行的方式。提供所述状态提供程序以在所述3D应用程序在所述嵌入式装置模拟引擎的模拟环境中运行时提供关于所述3D应用程序的场景中3D图标的状态、所述3D应用程序中3D图标的所界定动画的状态以及影响所述3D应用程序的发生事件的状态的信息。

Description

用于3D用户界面程序的视觉调试系统

版权声明

本专利文件含有经受版权保护的信息。版权所有者不反对任何人对出现在美国专利商标局文件或记录中的该专利文件或专利进行复制，但否则无论任何情况均保留全部版权。

对相关申请案的交叉参考

本文主张第60/696,345号美国临时专利申请案的优先权。

技术领域

本发明的方面涉及便于开发和实施在嵌入式装置中使用的3D内容的工具和特征。嵌入式装置可为捕捉、接收和/或传输语音、数据、文本和/或图像的移动装置。本发明的其它方面涉及便于为此类装置调试3D图形用户界面程序的工具和特征。

背景技术

各种应用程序开发平台(例如，BREW^TM平台)已经产生并上市，其允许用户编辑程序以用于最终导出到例如移动电话的目标嵌入式装置。存在用于在将程序导出到目标嵌入式装置之前模拟这些程序在一般计算机平台上的执行的软件(例如，BREW^TM模拟器)。

发明内容

提供设备，其包含嵌入式装置模拟引擎，用以在除目标嵌入式装置以外的计算机平台上模拟为所述目标嵌入式装置编辑的3D应用程序。除嵌入式装置模拟引擎以外，提供应用程序运行控制器以控制所述应用程序在所述嵌入式装置模拟引擎中运行的方式。提供状态提供程序以在所述3D应用程序在所述嵌入式装置模拟引擎的模拟环境中运行时，提供关于所述3D应用程序的场景中3D图标的状态、所述3D应用程序中的所界定动画的状态以及影响所述3D应用程序的发生事件的状态的信息。

附图说明

通过参看附图在随后的具体实施方式中进一步描述本发明的非限制性示范实施例，在附图的全部几张图中类似的参考标号表示相似的部分，且其中：

图1是一个或一个以上装置内容开发平台的框图；

图2是模拟器平台的示意性框图；

图3是一个或一个以上平台屏幕的示意图；以及

图4是所说明的调试系统的状态窗口的屏幕快照实例的图。

具体实施方式

现更详细地参看图式，图1说明3D内容开发系统9。所说明的系统9包含一个或一个以上装置内容开发平台10，以及移动装置12。

移动装置12可例如为移动电话。所说明的移动装置12为嵌入式装置，其捕捉、接收和/或传输语音、数据、文本和/或图像。所说明的移动装置12进一步包含显示器13和按键14以允许控制移动装置12和将信息输入到移动装置12中。

所说明的装置内容开发平台10可为单一平台、分布式平台或多个单个平台。所说明的平台包含许多软件界面，其与计算机平台交互并在计算机平台上提供相应的窗口或屏幕。这些软件界面中的每一者均包含在计算机平台上运行的软件。这些界面和窗口包含脚本编写窗口16a和相应的脚本编写语言界面16b。提供源代码窗口18a，其对应于源代码界面18b。提供调试系统20。调试系统20包含调试窗口20a，其对应于调试界面20b。

所说明的3D内容开发系统9可设计为用于开发和实施在嵌入式装置上使用的3D用户界面的系统。更具体来说，3D用户界面可致使显示3D图形虚拟界面，其用其界面组件以图形方式描绘(在移动装置12的显示器13上)和模拟实体装置，且因此用作其中嵌入有图标的3维(3D)用户界面。

脚本编写语言界面16b耦合到且产生一个或一个以上脚本文件22，脚本文件22满足建立3D用户界面的要求。具体来说，这些脚本文件22提供关于3D图标和场景定义以及关于对所定义3D图标和场景的动画进行编程的信息。将活动的3D图标和场景联系到或关联到移动装置12及其工具，以控制或输入和/或显示或输出各种移动装置操作、设置、事件和/或状态。

所说明的界面16b、18b和20b中的每一者可以通过使用其相应的窗口来操作，用于经由计算机屏幕接收控制和信息以及用于经由同一计算机屏幕向用户显示信息。

与源代码窗口18a连接的源代码界面18b允许使用源代码、通常是使用为原始设备制造商(OEM)提供的代码中提供的命令来产生程序。

与调试窗口20a交互的调试界面20b便于为检查和调试脚本文件的目的而模拟脚本文件22。更具体来说，调试界面20b可经由调试窗口20a上的计算机屏幕显示而提供关于给定3D应用程序的场景中3D图标的状态的信息。调试界面可进一步在调试窗口20a上提供关于3D应用程序中定义的动画的状态以及影响3D应用程序的发生事件的状态的信息。

脚本编写语言界面16b产生脚本文件22，而源代码界面18b产生源代码24。这些类型的代码中的一者或两者可经编译以产生经编译的脚本和/或源代码26。所说明的装置内容开发平台10进一步包含用户界面(UI)资产以及用户界面布局文件。这些包含3D模型文件35、动画文件36、纹理文件37以及用户界面(UI)布局文件38。

移动装置的图形引擎层根据与存储在文件35、36、37和38中的任何相关联UI资产和UI布局文件连接的经编译脚本和/或源代码26来控制移动装置12上的3D图形功能。

可以如图2所示的模拟器平台40的形式实施调试系统20。所说明的模拟器平台40包含移动装置模拟引擎42、模拟输入/输出界面44以及平台屏幕和键盘46。所说明的平台40进一步包含待调试的脚本文件48，以及脚本文件解释程序50。脚本文件解释程序50解释脚本文件48，使得其可由移动装置模拟引擎42模拟。

所说明的平台屏幕和键盘46促成所模拟移动装置的屏幕的模拟显示47，并提供经由平台屏幕和键盘46中的一者或两者接收特定模拟按键和命令输入49的能力。

另外，平台屏幕和键盘46显示状态窗口48，并通过计算机屏幕图标或按钮或者通过使用实体控制开关或输入(包含例如键盘上的特定按键)暂停50、播放51以及勾选52控制。

当应用程序在移动装置模拟引擎42的模拟环境中运行时，状态窗口48向用户提供信息。所提供的信息是关于3D应用程序的场景中3D图标的状态、3D应用程序中定义的动画的状态以及影响3D应用程序的发生事件的状态的信息。

可提供精调机构以通过允许用户改变脚本而允许对3D应用程序的若干部分进行精调(即，修改)。可提供此机构作为模拟器平台40的一部分，或者用户可使用装置内容开发平台10的脚本编写界面16b。3D应用程序的此种精调可包含界定3D应用程序的动画，和/或界定3D应用程序的交互流，包含3D用户界面中图标的交互流。

所说明的状态窗口48经由计算机屏幕向用户提供(即，显示)广泛的信息，所述信息描述3D用户界面中图标的全部或子集的状态、场景中物体的动画的全部或子集的状态以及事件的全部或子集的状态。事件在3D应用程序的外部发生。举例来说，事件可以是模拟目标装置的状态改变，或者事件可能因用户与3D应用程序的交互而发生，所述交互是通过操纵3D图标或通过使用模拟目标装置中的装置按键。事件的实例包含目标装置本身的状态，包含命令按键或给定按键被按下，或装置中的状态改变，例如检测到GPS信号或目标装置中的电池电力不足状态。

图3展示模拟器平台40的一个或一个以上平台屏幕的示意图。所说明的屏幕60包含模拟显示62和状态窗口64。模拟显示62呈现通过使用移动装置模拟引擎42由3D应用程序实施的3D用户界面，其运行由脚本文件解释程序50解释的脚本文件48中的脚本。模拟器显示62中描绘的示范性场景包含默认的环境照明以及展示方格地板上的小狗和球的单一相机视图。

状态窗口64包含许多状态指示66。状态指示66可例如为特定信息在状态窗口64上的图形或纹理指示。在图3所示的实施例中，这些状态指示包含当前脚本状态指示68、事件历史状态指示70、活动动画状态指示72、图标状态指示74、相机状态指示76以及灯状态指示78。

在所说明的实施例中，当前脚本状态指示68经由状态窗口64描绘以下类型的脚本信息：由动画状态机内当前动画状态的数字身份(numerical identity)表示的动画运行控制器当前状态的指示。

在此实施例中，事件历史状态指示70经由状态窗口64描绘以下类型的事件历史信息：关于动画的最近事件的列表，其可能包含按键输入通知，以及各个动画循环的开始或结束。

在此实施例中，活动动画状态指示72经由状态窗口64描绘以下类型的活动动画信息：对于应用于场景、相机、灯或图标的每一当前运行的动画，给出关于动画的总长度、正运行的总长度的子集以及从所述子集内当前显示的动画的位置的指示。

尽管在所说明的平台屏幕60的示意图中描绘单一状态窗口64，但可针对所说明的状态窗口64中描绘信息的一个或一个以上部分提供单独的状态窗口或可访问单独的状态窗口。举例来说，可在一个窗口中描绘当前脚本状态指示信息68，同时可在单独窗口中描绘事件历史状态指示70。

状态窗口64进一步包含用于允许用户启动或停用暂停开关80、播放开关82以及勾选开关84的图形工具。这些图形工具可例如为在计算机屏幕上在状态窗口64内提供的图形按钮。暂停开关80致使3D应用程序在其回放中的特定点处暂停，借此允许状态指示66每一者中的状态信息描绘关于3D应用程序内所述特定点的信息。播放开关82致使3D应用程序运行或从暂停状态继续进行。勾选开关84可按下以致使应用程序在其执行中从一个增量移动到另一增量。换句话说，提供勾选开关以在运行脚本时逐步通过增量中的每一者。增量可包含当前在模拟屏幕上的场景中显示的图标动画的各个连续帧。

大体上，状态指示66经由屏幕监视并相应地描绘3D应用程序的场景中每一3D图标的状态信息。针对场景中物体的动画的每一帧提供状态信息。物体可包含一个或一个以上灯、一个或一个以上3D图标、各个灯的目标方向、一个或一个以上相机以及每一相机的目标方向。状态信息可进一步包含场景中每个灯、图标、灯目标位置、相机以及相机目标位置的位置，其包含此物体或位置是否被阻挡或与另一物体冲突，以及特定物体是活动的还是不活动的。举例来说，可在脚本内提供灯或相机，但其在3D应用程序的执行内的给定点处可能活动或不活动。

图4提供根据一个特定实施例的屏幕快照的实例。所说明的示范性屏幕快照90包含朝向屏幕底部的用于暂停92、播放94和勾选96控制的按钮。另外，所说明的屏幕90包含脚本识别信息98、事件历史信息100以及按键按下和装置状态信息102。另外，提供关于活动动画的信息104。活动动画信息104包含描述每一活动动画的当前动画位置、总动画长度以及正在运行的总动画长度的子集106。在此方面，描绘动画的特定帧范围108。还呈现所述范围内的当前帧110以及对动画112的描述。

在文中的实施例中，场景是封闭一组3D要素的一种3D“世界”。场景界定其中3D要素存在且可被模拟和活动的虚拟环境或空间。也就是说，可相对于3D要素存在的场景来界定各个3D要素的特定属性(例如其位置和方位)。在所说明的实施例中，图标、相机、灯和其它3D要素的每一者均是场景的一部分。其可为单一场景的一部分，或者为两个或两个以上单独场景的一部分。

场景可包含节点。在所说明的实施例中，场景包含节点，每一节点为场景中一个或一个以上物体附接到的点。节点充当其附接的物体的位置的抽象参考点或发源。节点本身可为活动的，在此情况下对节点执行的任何动画均传播到其附接的物体。模型是描述场景内物体的表现和行为的一组数据。模型可构成单一独立的场景物体，或者模型可包括若干物体。模型内含有的数据可包含几何数据以及表面或材料属性。在图3所示的实例中，描绘小狗正在取得球。在此情况下，单一模型封闭并描述小狗的表现、球和小狗坐着的表面，以及可对其应用的一组动画。可以各种方式绘制网孔几何图形。其可用纯色画出、在其顶点处的颜色之间平滑地加阴影，或用纹理图绘制。纹理是特定格式化的图像的名称，其用于“覆盖”由模型表示的几何图形以便给予其详细表面。在所说明的实施例中，在纹理文件中定义纹理。

这些纹理例如通过指定文件名的方式与其修改的几何图形相关联。也就是说，名为“puppy.qxt”的纹理文件与模型文件“puppy.qxm”相关联。

每一场景可具有至少一个相机。相机封闭观看场景的有利位置。相机本身是场景物体，且可在场景内活动。可为每个场景提供一默认相机(观看着世界的中心)，其在没有其它相机打开时启动。

场景可具有一个或一个以上灯。另外或替代地，场景可包含默认的环境“全面”照明。可将照明烤制成模型的顶点颜色和纹理以模拟此环境模式中的静态照明。可通过向场景添加灯来实现逼真的动态照明。灯附接到节点，但另外，其与另一节点相关联。也就是说，灯与另一节点的关联界定灯照射的方向。因此，可类似于“手电筒”而对灯进行定向。另外，可包含参数以界定照射到场景中的灯的颜色。

可提供一个或一个以上动画文件，其描述如何使物体活动。当调用动画文件时，将其应用于场景内的特定节点。在所说明的实施例中，动画文件有点像一条胶片(或flash中的时间线)，且含有一组帧。这些帧不一定表示连续的序列，且可在相同的帧“堆叠”中含有若干完全不同的动画，这是为何在所说明的实施例中当其被调用时指定开始帧与结束帧两者的原因。

当启动动画时，将其应用于希望使其活动的特定命名的节点。举例来说，可为使小狗活动而提供一个动画文件，而为使相机和灯活动而提供单独的动画文件。动画文件中指定的指令传递到附接到所述节点的物体中，且物体做出所述特定帧要其做的任何动作。举例来说，小狗可在一地点上旋转，在场景中飞来飞去，或上下跳跃。

可使用通常在移动装置键盘中提供的4方向导航按键以各种方式使小狗活动。举例来说，在图3所示的此实例中，可按下右导航按键，致使球滚到右边，短时间后是追逐的小狗捡起球。

本文图中所示的每一平台所执行的处理可由通用计算机单独地或与专用处理计算机结合来执行。可通过单一平台或通过分布式处理平台或通过单独的平台来执行此类处理。另外，可以专用硬件的形式或以由通用计算机运行的软件的形式来实施此类处理。此类处理中处理的或由于此类处理产生的任何数据可存储在任何类型的存储器中。举例来说，此类数据可存储在临时存储器中，例如给定计算机系统或子系统的RAM中。另外或替代地，此类数据可存储在较长期存储装置中，例如磁盘、可重写光盘等。为了本文揭示的目的，计算机可读媒体可包括任何形式的数据存储机构，包含此类存储器技术以及此类结构和此类数据的硬件或电路表示。集成电路可包含本文揭示的结构和处理的一个或一个以上部分。

原始提出且可经修正的权利要求书涵盖对本文揭示的实施例和教示的变化、替代、修改、改进、等效物和实质等效物，包含目前无法预见的或无法了解的，以及例如可能由申请人/专利权所有人提出的，等等。

Claims (20)

1.一种设备，其包括：

嵌入式装置模拟引擎，其用以在除目标嵌入式装置以外的计算机平台上模拟为所述目标嵌入式装置编辑的3D应用程序；

应用程序运行控制器，其用以控制所述3D应用程序在所述嵌入式装置模拟引擎中运行的方式；以及

状态提供程序，其用以在所述3D应用程序在所述嵌入式装置模拟引擎的模拟环境中运行时，提供关于所述3D应用程序的场景中3D图标的状态、所述3D应用程序中3D图标的动画的状态以及影响所述3D应用程序的发生事件的状态的信息。

2.根据权利要求1所述的设备，其中所述3D应用程序包括3D用户界面应用程序。

3.根据权利要求1所述的设备，其中所述应用程序运行控制器包含播放控制以使使用所述嵌入式装置模拟引擎执行所述3D应用程序。

4.根据权利要求3所述的设备，其中所述应用程序运行控制器包含暂停控制以在所述3D应用程序在所述嵌入式装置模拟引擎中运行时暂停所述3D应用程序。

5.根据权利要求1所述的设备，其中所述应用程序运行控制器包含勾选控制以逐步通过由所述嵌入式装置模拟引擎执行的脚本中的增量。

6.根据权利要求5所述的设备，其中所述增量包含当前在所述嵌入式装置模拟引擎的模拟屏幕上显示的3D图标的动画的各个连续帧。

7.根据权利要求1所述的设备，其进一步包括状态监视器以针对所述3D物体的每一动画帧监视所述3D应用程序的所述场景中3D物体的每一者的状态信息。

8.根据权利要求6所述的设备，其进一步包括状态监视器以针对所述3D物体的每一动画帧监视所述3D应用程序的所述场景中所述3D物体的每一者的状态信息。

9.根据权利要求8所述的设备，其中所述模拟屏幕中描绘的场景中的物体包含一个或一个以上灯、一个或一个以上3D图标、一个或一个以上灯目标方向、一个或一个以上相机、一个或一个以上相机目标方向、所述场景中每一所述物体的位置，以及关于物体是否被阻挡或冲突和所述物体中的选定物体是打开还是关闭的信息。

10.根据权利要求1所述的设备，其中所述状态提供程序包含显示机构以经由计算机屏幕向所述用户显示关于所述状态的所述信息。

11.根据权利要求9所述的设备，其中所述状态提供程序包含显示机构以经由计算机屏幕向所述用户显示关于所述状态的所述信息。

12.根据权利要求10所述的设备，其中所述显示机构经由状态窗口显示关于所述状态的所述信息。

13.根据权利要求1所述的设备，其进一步包括精调机构以精调所述3D应用程序的若干部分。

14.根据权利要求10所述的设备，其进一步包括精调机构以精调所述3D应用程序的若干部分。

15.根据权利要求14所述的设备，其中所述3D应用程序的所述经精调部分包含所述3D应用程序的经界定的动画。

16.根据权利要求15所述的设备，其中所述3D应用程序的所述经精调部分进一步包含所述3D应用程序的经界定交互流。

17.根据权利要求16所述的设备，其中所述经界定交互流包含将由所述3D应用程序描绘的所述场景的3D物体的经界定交互流。

18.一种方法，其包括：

在除目标嵌入式装置以外的计算机平台上的装置模拟引擎中模拟运行为所述目标嵌入式装置编辑的3D应用程序的目标嵌入式装置；

控制所述3D应用程序在所述嵌入式装置模拟引擎中运行的方式；以及

在所述3D应用程序在所述装置模拟引擎的模拟环境中运行时，提供关于所述3D应用程序的场景中3D图标的状态、所述3D应用程序中3D图标的动画的状态以及影响所述3D应用程序的发生事件的状态的信息。

19.一种用数据编码的机器可读媒体，所述经编码的数据可与机器共同操作以致使：

在除目标嵌入式装置以外的计算机平台上的装置模拟引擎中模拟运行为所述目标嵌入式装置编辑的3D应用程序的目标嵌入式装置；

控制所述3D应用程序在所述嵌入式装置模拟引擎中运行的方式；以及

在所述3D应用程序在所述装置模拟引擎的模拟环境中运行时，提供关于所述3D应用程序的场景中3D图标的状态、所述3D应用程序中3D图标的动画的状态以及影响所述3D应用程序的发生事件的状态的信息。

20.一种设备，其包括：

模拟装置，其用以在除目标嵌入式装置以外的计算机平台上模拟运行为所述目标嵌入式装置编辑的3D应用程序的引擎；

控制装置，其用以控制所述3D应用程序由所述模拟装置运行的方式；以及

提供装置，其用以在所述3D应用程序在由所述模拟装置形成的模拟环境中运行时，提供关于所述3D应用程序的场景中3D图标的状态、所述3D应用程序中3D图标的动画的状态以及影响所述3D应用程序的发生事件的状态的信息。

Images