CN105556570A - 生成屏幕数据 - Google Patents

Abstract

本文公开的是一种计算机实现的方法，其用于生成用于在屏幕上显示源图像与目的地图像之间的至少一个过渡图像的过渡数据。该方法包括访问元素标识符的源集合。元素标识符限定源图像中的静态元素和用于每一个元素的显示数据。该方法进一步包括访问限定目的地图像中的静态元素和用于每一个元素的显示数据的元素标识符的目的地集合，标识源和目的地集合中的至少一个匹配静态元素；以及基于用于源集合和目的地集合中的匹配静态元素的显示数据生成过渡数据。

Description

生成屏幕数据

技术领域

技术领域涉及生成屏幕数据。

背景技术

诸如智能电话、平板电脑、膝上型计算机、个人计算机等之类的计算机设备具有合并显示屏的用户接口（UI），其向用户显示控制元素和应用数据。用户可以通过使用触敏屏或鼠标进行“拖拽”或“滑动”来四处移动这些显示元素。

开发者可能希望构建涉及从一个（源）屏幕图像到另一个（目的地）的过渡的UI。源和目的地图像可以包括一个或多个相应元素，其中的一些（但未必是全部）可以是两个屏幕共用的。

可能存在以下情形：其中对于源图像而言期望的是动态过渡到目的地图像。也就是说，对于各种元素而言，在过渡期间是“有活动力的”。例如，如果第一元素出现在不同相应位置处的源和目的地屏幕图像二者中，对于元素而言，可能期望看起来在过渡期间从源屏幕图像中的初始位置移动到目的地屏幕图像中的最终位置。类似地，如果第二元素仅出现在源（相应地，目的地）屏幕图像中，对于它而言，可能期望看起来在过渡期间移动到屏幕图像外部的地点（即“离开视图”）（相应地，从屏幕图像外部的地点移动（相应地，“进入视图”））。

然而，在已知的UI框架中，要求开发者手动描述这样的动画。例如，为了实现如以上所描述的效果，将会要求开发者以某种方式指定“在时间t中元素A从源中的位置X移动到目的地中的位置Y”等。

发明内容

本文所公开的是一种计算机实现的方法，其用于生成用于在屏幕上显示源图像与目的地图像之间的至少一个过渡图像的过渡数据。该方法包括访问元素标识符的源集合。元素标识符限定源图像中的静态元素和用于每一个元素的显示数据。该方法进一步包括访问限定目的地图像中的静态元素和用于每一个元素的显示数据的元素标识符的目的地集合；标识源和目的地集合中的至少一个匹配静态元素；以及基于用于源集合和目的地集合中的匹配静态元素的显示数据生成过渡数据。

提供本发明内容来以简化的形式引入以下在具体实施方式中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。所要求保护的主题也不限于解决背景技术章节中所指出的任何或所有缺点的实现方式。

附图说明

为了更好地理解本发明并且示出它可以如何付诸实施，通过示例的方式对附图进行参照，在附图中：

图1是具有屏幕图像的随附示意性表示的映射方法的示意性表示，

图2是装置的示意性表示，以及

图3是可以通过其生成过渡数据的方式的示意性表示。

图4图示了由框架生成的第一示例性过渡。

图5图示了由框架生成的第二示例性过渡。

图6图示了由框架生成的第三示例性表示。

具体实施方式

软件框架可以用于通过提供具有通用功能性的软件来帮助软件开发。框架可以通过合适的应用编程接口“包裹”。为了创建专用软件，开发者可以通过向通用框架选择性地添加他们自己的代码来修改框架。这可以减少开发时间，并且允许开发者聚焦于专用、最终用户软件的定制方面，这与较为标准的低水平细节相反。框架的区别性特征是整体程序控制流由框架（与软件库等对照）规定。

一种形式的软件框架是用户接口（UI）框架，其促进UI的开发。

本文所公开的是一种新颖框架，其能够自动生成过渡。也就是说，能够处理由开发者限定的静态布局并且能够自动映射元素从一个屏幕图像到另一个的过渡的框架。

源屏幕图像和目的地屏幕图像中中的任一个或二者可以包括一个或多个元素。如果源屏幕图像和目的地屏幕图像二者包括元素，那些元素可以匹配或者不同。一些元素可以包括在一个屏幕图像中而不包括在另一个屏幕图像中。元素可以表示应用控制、数据、图片、图标、视频、动画等。元素可以用于用户输入。元素可以由用户在屏幕图像中的不同地点之间移动或者能够由用户添加到屏幕图像或从屏幕图像移除。元素可以由用户间接移动，即，作为用户动作的直接或间接结果，元素可以在一个屏幕图像与另一个屏幕图像之间移动，或者看起来消失在一个屏幕图像与另一个屏幕图像之间。元素可以通过完全独立于任何用户输入而生成屏幕图像的装置移动。屏幕图像可以旨在用于作为图形用户接口（GUI）的部分的显示，GUI由框架支撑。

在以下实施例中，布局控制器提供表示应用控制/数据的UI元素的静态描述的集合。该集合然后可以直接再现到设备的屏幕或者可以与静态描述的另一集合合并等等。在任何进行（procession）阶段，可以存储集合并且稍后在将根据新到达的数据、屏幕或设备取向变化或用户定义的布局变化而生成新布局时使用该集合。描述符的合并集合可以用于在UI从源屏幕到显示器屏幕过渡时再现过渡屏幕。合并从源布局到目的地布局可以是平滑的，而且在过渡的任何特定阶段，它可以被存储并且然后用作用于另一过渡的源或目的地布局。以上为开发者提供了一种框架，将该开发者从针对出于任何以上原因的每一次屏幕过渡生成动画的需要中解放出来。这大大促进了用于屏幕过渡的屏幕数据的生成，屏幕数据然后可以并入到用于特定设备/显示元素集合的定制代码中。

CoordCalculator（207，图2）生成由表示应用控制和数据的RenderItem标识的静态元素集合。多个独立的计算器可以同时使用。每一个元素由RenderItem标识，其包含对包含文本、图像和其它数据的数据元素的引用、RenderItem的类型（图像、文本等）以及布局相关信息：已占用的矩形、z顺序、颜色、不透明度等等。屏幕生成模块（205，图2）中的CellRenderer可以将该集合再现到屏幕。

两个集合之间的合并（混合）可以以不同方式执行，这取决于生成源图像与显示图像之间的合并集合——用于再现过渡图像的过渡数据——的任何准则。“合并”通过从源集合取得的布局的“量”与从目的地集合取得的“量”1.0之间的比率（从0到1.0）来参数化。可以根据诸如下述的规则进行线性合并：

-通过线性内插合并数字（坐标、颜色、不透明度、旋转、z顺序）。

-通过alpha过渡合并图像和文本。

-通过参数化支配每一个集合的内插比例。

例如，50%的合并将在用于以上数字中的每一个的数值之间的一半处线性内插。参数还可以包括每一个源与目的地屏幕之间所需的过渡（合并集合）的数目。

所有布局由仅意识到边界框矩形的静态CoordCalculator来生成：所有过渡通过两个布局集合之间的线性内插生成。这具有以下优点：开发者只需要限定静态元素——本文所描述的框架工具自动生成用户设备中的合并（过渡）数据。

为了生成过渡数据，源屏幕图像中的元素需要匹配于（映射到）目的地图像中的相同元素。这使用对元素的RenderItem引用来完成。

然后生成表示过渡的数据，其然后可以用于生成一个或多个居间屏幕图像。每一个合并集合可以再现屏幕图像。居间屏幕图像可以在源屏幕图像与目的地屏幕图像之间显示。居间屏幕图像示出从它们在源屏幕图像中的布置过渡到它们在目的地屏幕图像中的布置的一个或多个元素。该过渡可以以递增方式示出，使得每一个相继屏幕图像看起来比先前屏幕图像渐进地更加类似于目的地屏幕图像。

图1在左手侧示出用于生成过渡数据的说明性方法的示意性框图。过渡数据用于显示源图像106与目的地图像111之间的至少一个过渡图像。在右手侧示出该方法的图画表示。该方法可以响应于发起对屏幕图像的改变而执行。该改变可以由用户或装置（其可以是例如最终用户计算设备或服务器）发起。

该方法通过访问元素标识符的源集合（S101）而开始。源集合限定源图像106中的静态元素107、109以及用于每一个元素的显示数据（例如坐标、颜色、不透明度、旋转、z顺序等）。在右手侧，源屏幕图像106被示出包括两个元素，由圆形107和三角形109表示。

在步骤S102处，访问元素标识符的目的地集合。目的地集合限定目的地图像111中的静态元素108、107以及用于每一个元素的显示数据（例如坐标、颜色、不透明度、旋转、z顺序等）。在右手侧，目的地屏幕图像111被示出包括两个元素，圆形107和矩形108。

实际上，在过渡期间，源屏幕图像通过向右移动圆形107，移除三角形109和引入新的元素方形108而被改变。

下一步骤是基于源和目的地集合中的元素标识符自动标识两个屏幕图像中的匹配和非匹配元素（步骤S103）。

在一些实例中，可以仅标识匹配元素（例如，如果不存在非匹配元素的话）。等同地，在其它实例中，可以仅标识非匹配元素（例如，如果不存在匹配元素的话）。

在步骤S104中，生成针对非匹配元素（诸如元素108和109）的虚拟显示数据。该虚拟显示数据对应于非匹配元素在源图像或目的地图像中的布置，该布置是不可见的（例如屏幕外布置、零不透明度布置等）。这意味着，在过渡期间，非匹配元素逐渐变成可见/不可见（例如通过移动到视图之中/之外或者通过淡入/淡出）。

对于仅限定在源集合中的第一非匹配元素（109），限定第一非匹配元素（并且限定对应于目的地图像中的不可见地点的虚拟显示数据）的虚拟元素标识符（117）在目的地集合中生成。对于仅限定在目的地集合中的第二非匹配元素（108），虚拟元素标识符（114）生成在源集合中，其限定源集合中的第二非匹配目的地元素（并且限定对应于源图像中的不可见布置的虚拟显示数据）。

更具体地，圆形与如由源和目的地集合内的相应显示数据限定的源屏幕图像中的布置和目的地屏幕图像中的布置相关联。然而，方形不出现在源屏幕图像中，因此虚拟显示数据生成在限定屏幕外布置的源集合中。该屏幕外布置可以与x和y坐标二者相关联（其中y坐标为负）或者仅与x坐标相关联（y坐标可以例如被设置成零）。如目的地集合限定的，目的地屏幕图像中的方形屏幕布置在115处示出。类似地，三角形具有由S104处生成的虚拟显示数据限定的源屏幕图像中的屏幕上布置116（由源集合限定）和目的地屏幕图像中的屏幕外布置。在源屏幕图像与目的地屏幕图像之间出现或消失的元素可以由任何合适的屏幕外布置表示，并且图1中所示的布置仅仅是示例。等同地，在源屏幕图像与目的地屏幕图像之间出现或消失的元素根本不需要与屏幕外布置相关联。例如，元素可能在两个屏幕图像之间“淡入”或“淡出”，在这种情况下它们可以与两个屏幕图像（即屏幕上）中的相同地点相关联，但是在源屏幕图像和目的地屏幕图像中具有不同的不透明度（以及因此具有不同的屏幕布置）。

步骤S104是可选的并且在不存在非匹配元素的情况下不需要执行。

在步骤S105中，过渡数据通过源集合与目的地集合之间的线性内插生成以创建通过从范围为0.0到1.0的不同参数b参数化的多个合并集合。合并集合以b的升序顺序地再现。以下参照图3更加详细地描述该生成。

在步骤S104中确定的屏幕布置可以由生成过渡数据的装置设置以便实现特定视觉效果。这样的视觉效果的示例包括滑动和阿尔法（alpha）过渡。当元素没有出现在源屏幕图像或目的地屏幕图像之一中时可能存在这样做的更大范围，因为然后在屏幕图像之一中的它们的屏幕布置对于装置而言主要是选择的问题。该装置可以针对不同的元素做出不同的选择。该装置可以被配置成针对特定类型的元素选择特定视觉效果。例如，视频可以从左向右移动，而照片可以从右向左移动。

在步骤106中生成一个或多个居间屏幕图像。在右手侧，在121处示出两个居间屏幕图像。适当地，居间屏幕图像的效果是示出元素递增地从其在源屏幕图像中的布置过渡到其在目的地屏幕图像中的布置。

在实施例中，显示数据可以线性内插在源集合与目的地集合之间以生成至少一个过渡图像。

在实施例中，传输数据可以通过针对作为图像或文本的元素的alpha过渡生成。

新颖框架可以允许开发者指定源图像与目的地图像之间的期望数目的过渡图像，其可以在确定如何生成居间屏幕图像时被访问。

过渡数据可以具有元素标识符的一个或多个居间集合的形式，元素标识符限定相应居间图像中的静态元素和用于每一个元素的显示数据。至少一个居间集合可以存储在存储器中并且随后用作另外的过渡所基于的另外的源集合和/或另外的目的地集合。

该方法可以通过具有从框架导出的框架代码基的计算机程序210实现，框架代码基可操作以作为生成用户接口的部分而生成（和再现）过渡数据。也就是说，计算机程序产品可以围绕新颖框架（例如由软件开发者）构建。

框架代码基可以可操作以基于静态布局信息实时自动生成过渡。

在图2中示出可以自动生成屏幕图像之间的过渡数据的装置（用户终端）的示例。该装置一般地在201处示出。该装置包括处理器或CPU形式的处理装置210a，其具有在其上执行计算机程序210的一个或多个执行单元。该装置包括或者通信耦合到诸如闪速存储器或其它电子存储器、磁存储设备和/或光学存储设备之类的计算机可读存储介质（存储器）202。存储器202存储限定源图像中的静态元素的元素标识符的至少一个源集合（202a）以及限定目的地图像中的静态元素的元素标识符的至少一个目的地集合（202b）。该装置还包括或者通信耦合到显示屏203。如果该装置连接到外部存储器或外部显示屏，该连接可以经由有线或无线手段进行。

当被执行时，计算机程序210实现屏幕生成模块（CellRenderer）205、映射模块204和过渡模块206。过渡模块包括多个计算模块（CoordCalculator）207，其以并行配置适当布置以便能够同时计算针对多个不同元素的过渡数据。屏幕生成模块、映射模块和过渡模块通信耦合到彼此。

屏幕生成模块可以配置成从元素标识符的集合生成屏幕图像。那些屏幕图像可以用于GUI。该装置可以包括GUI本身。例如，该装置可以是诸如个人计算机、膝上型计算机、平板电脑、移动电话或智能电话之类的具有GUI的最终用户计算设备，或者可以并入在其内。该装置还可能被配置成生成用于另一个物理分离的设备的屏幕图像，在这种情况中它可以具有或可以不具有其自身的GUI。例如，该装置可以是被配置成向第三方设备传输屏幕图像的服务器或者可以并入在该服务器内。

屏幕生成模块可以生成源屏幕图像和目的地屏幕图像。这些中的任一个可以取决于用户输入、来自用户应用或其它软件的输入、存储在存储器中的数据等而生成。屏幕图像生成器还适当地生成居间屏幕图像。这可以依赖于从过渡模块接收的过渡数据而完成。

映射模块被配置成标识源和目的地集合中的匹配/非匹配元素。

这些模块或阶段中的每一个可以实现为存储在传输终端的存储介质14上并且布置用于在其处理装置16上执行的代码的部分，尽管不排除这些中的一些或全部完整或部分地在专用硬件电路中实现的可能性。

图3图示了如何生成过渡数据。图3示出形成限定源图像中的静态元素的源集合的部分的元素标识符（RenderItem）310，以及形成限定目的地图像中的静态元素集合的目的地集合的部分的元素标识符320。标识符310限定匹配标识符320的元素的元素。标识符310、320中的一个可以是在S104中生成的虚拟元素标识符（如果元素仅在源和目的地图像中的一个中可见的话）。

标识符310和320中的每一个包括对相同数据元素的引用302，相同数据元素可以包括图像、文本或要显示在屏幕上的其它数据。数据元素可以在适当寻址的地点处存储在存储器中。

源标识符包括显示数据304，显示数据包括类型数据304a。类型数据304标识数据元素的类型。类型可以是（例如）“图像”、“文本”等。显示数据304还包括限定x和y坐标（x1，y1）的布局信息304b。此外，显示数据还可以限定下述中的至少一个：颜色、不透明度、旋转和z顺序。

目的地标识符320包括显示数据304'，显示数据包括匹配源标识符310的类型数据304a。显示数据304'还包括限定x和y坐标（x2，y2）的布局信息304'b。此外，显示数据还可以限定诸如颜色、不透明度、旋转和z顺序之类的附加信息。

在已经标识了匹配/非匹配元素之后，分别包括标识符310和320的源和目的地集合被输入到过渡模块206。过渡模块206生成限定过渡的居间图像中的静态元素和用于每一个元素的显示数据的元素标识符的合并集合。该合并集合包括对应于与标识符310和320相同的元素并且由多个计算模块中的一个生成的合并元素标识符330。

合并标识符330包括布局数据304''b，其是通过参数b参数化的布局数据304b和布局数据304'b的线性内插，其中0.0<b<1.0。例如，如图3中所示，显示数据304''b限定x坐标x3=(1-b)*x1+b*x2以及y坐标y3=(1-b)*y1+b*y2。

合并集合（包括合并标识符330）然后输出到屏幕生成模块205，其在屏幕203上再现作为居间图像370的合并集合。合并标识符330作为元素372被再现。

附加过渡数据（未示出）也以由具有与b不同的值（并且因此具有不同的布局信息）的参数b'参数化的附加合并集合（未示出）的形式生成，其对应于过渡的其它阶段处的居间图像并且在不同的时间处再现到屏幕。也就是说，多个合并集合利用从0.0增加到1.0的参数生成并且随后在过渡期间再现到屏幕。

通过框架生成的过渡的示例在图4至6中示出。布局通过仅意识到边界框矩形的静态CoordCalculator来生成：所有过渡通过两个布局集合——源集合和目的地集合——之间的线性内插而生成。每一个居间集合的内插比例由范围为从0.0到1.0的参数B支配。

图4示出其中存在非匹配元素410、420的源和目的地图像。在该实例中，框架自动生成对应于目的地图像中的不可见布置（在该情况中，屏幕外地点）的用于非匹配元素410的虚拟显示数据。框架还自动生成对应于源图像中的不可见布置（在该情况中，屏幕外地点）的用于非匹配元素420的虚拟显示数据。

图5示出匹配和非匹配元素的组合，其中针对非匹配元素自动生成屏幕外虚拟显示数据。图6具体地图示了设备取向改变过渡。

程序代码可以存储在一个或多个计算机可读存储器设备中。以下所描述的技术的特征是独立于平台的，这意味着这些技术可以在具有各种各样的处理器的各种各样的商用计算平台上实现。

例如，用户终端还可以包括使用户终端的硬件执行操作（例如处理器功能块等等）的实体（例如软件）。例如，用户终端可以包括计算机可读介质，其可以被配置成保持指令，这些指令使用户终端并且更特别地使用户终端的操作系统和相关联的硬件执行操作。因此，这些指令起作用以将操作系统和相关联的硬件配置成执行操作并且以此方式导致执行功能的操作系统和相关联的硬件的变换。这些指令可以由计算机可读介质通过各种各样的不同配置提供给用户终端。

计算机可读介质的一个这样的配置是信号承载介质，并且因此被配置成诸如经由网络向计算设备传输指令（例如作为载波）。计算机可读介质还可以被配置为计算机可读存储介质并且因此不是信号承载介质。计算机可读存储介质的示例包括随机存取存储器（RAM）、只读存储器（ROM）、光盘、闪速存储器、硬盘存储器和可以使用磁性、光学和其它技术来存储指令和其它数据的其它存储器设备。

尽管已经以特定于结构特征和/或方法学动作的语言描述了主题，但是要理解的是，在随附权利要求中限定的主题不一定受限于以上所描述的特定特征或动作。相反，以上所描述的特定特征和动作作为实现权利要求的示例形式而被公开。

Claims (20)

1.一种计算机实现的方法，用于生成用于在屏幕上显示源图像与目的地图像之间的至少一个过渡图像的过渡数据，所述方法包括：

访问限定源图像中的静态元素和用于每一个元素的显示数据的元素标识符的源集合；

访问限定目的地图像中的静态元素和用于每一个元素的显示数据的元素标识符的目的地集合；

标识源和目的地集合中的至少一个匹配静态元素；以及

基于用于源集合和目的地集合中的匹配静态元素的显示数据生成过渡数据。

2.权利要求1的方法，其中显示数据线性内插在源集合与目的地集合之间以生成过渡数据的至少一个集合。

3.权利要求2的方法，其中显示数据是数字并且限定以下中的至少一个：坐标、颜色、不透明度、旋转和z顺序。

4.权利要求1的方法，包括从过渡数据在屏幕上再现过渡图像的步骤。

5.权利要求4的方法，包括访问源图像与目的地图像之间的期望数目的过渡图像的步骤。

6.权利要求1的方法，其中过渡数据通过针对为图像或文本的元素的alpha过渡而生成。

7.权利要求1的方法，其中显示数据包括元素的类型。

8.权利要求1的方法，其中显示数据包括布局相关信息。

9.权利要求1的方法，其中过渡数据具有限定相应居间图像中的静态元素和用于每一个元素的显示数据的元素标识符的一个或多个合并集合的形式。

10.权利要求8的方法，其中至少一个居间集合存储在存储器中并且该方法进一步包括使用所述至少一个居间集合作为另外的源集合和/或另外的目的地集合来生成另外的过渡。

11.任何前述权利要求的方法，包括基于过渡数据在屏幕上再现一连串居间屏幕图像，其中生成过渡数据，使得相比于先前的屏幕图像，每一个相继屏幕图像在外观上渐进地更接近目的地屏幕图像。

12.权利要求1的方法，其中过渡数据表示一个或多个元素从它们在源屏幕图像中的位置到它们在目的地屏幕图像中的位置的移动。

13.权利要求1的方法，进一步包括：对于在源集合或目的地集合中的仅一个中限定的元素，生成表示那些一个或多个图像在相应屏幕外位置与相应屏幕上位置之间的移动的过渡数据。

14.权利要求1的方法，进一步包括，对于在源集合或目的地集合中的仅一个中限定的元素，生成表示那些元素在源屏幕图像与目的地屏幕图像之间的相应淡入或淡出的过渡数据。

15.权利要求1的方法，其中过渡数据针对所述一个或多个元素中的每一个独立生成。

16.一种计算机实现的方法，用于生成用于在屏幕上显示源图像与目的地图像之间的至少一个过渡图像的过渡数据，所述方法包括：

访问限定源图像中的静态元素和用于每一个元素的显示数据的元素标识符的源集合；

访问限定目的地图像中的静态元素和用于每一个元素的显示数据的元素标识符的目的地集合；

标识源和目的地集合中的至少一个匹配静态元素；和/或

标识源集合和目的地集合中的一个中的至少一个非匹配静态元素并且生成分别对应于目的地图像和源图像中的一个中的非匹配元素的不可见布置的虚拟显示数据；以及

基于用于源集合和目的地集合中的匹配静态元素的显示数据和/或基于用于非匹配静态元素的虚拟显示数据和显示数据生成过渡数据。

17.一种用于生成过渡数据的软件框架产品，该框架包括当被执行时可操作以执行根据任何前述权利要求的方法的操作的代码。

18.一种用于生成用户接口并且具有从权利要求17的框架导出的框架代码基的计算机程序产品，其中该框架代码基可操作以作为生成用户接口的部分而生成过渡数据。

19.一种用户设备，包括：

屏幕；

存储器，其持有限定源图像中的静态元素和用于每一个元素的显示数据的元素标识符的源集合和限定目的地图像中的静态元素和用于每一个元素的显示数据的元素标识符的目的地集合；

处理器，其被配置成执行计算机程序，该计算机程序访问源和目的地集合，标识源和目的地集合中的至少一个匹配静态元素，基于用于源集合和目的地集合中的匹配静态元素的显示数据生成过渡数据的至少一个集合，并且在屏幕上再现作为居间图像的过渡数据，

其中显示数据根据内插因子线性内插在源集合与目的地集合之间以生成过渡数据的至少一个集合，并且其中过渡数据的每一个集合限定用于显示的静态元素。

20.权利要求18的装置，其中显示数据包括布局相关信息。