CN104484096B - 一种桌面交互方法及装置 - Google Patents

Abstract

本发明提供了一种桌面交互方法，该方法包括：根据终端设备的屏幕的尺寸建立视景体，以及建立所述视景体所在的视点坐标系；在所述视景体内设置背景图层、桌面图层以及前景图层，其中，所述背景图层与所述视点坐标系中的视点之间的距离大于所述桌面图层与所述视点之间的距离，所述桌面图层与所述视点之间的距离大于或等于所述前景图层与所述视点之间的距离；将所述视景体投影并绘制到所述终端设备的屏幕上进行显示，并相应实现所述背景图层和所述前景图层所构成的动态效果场景、以及所述桌面图层中桌面元素与该动态效果场景的交互。相应地，本发明还提供了一种桌面交互装置。实施本发明可以使桌面元素参与到终端设备的屏幕所呈现的动态效果中并与该动态效果进行交互，同时还可以极大地提升终端设备的屏幕所呈现的动态效果的层次感、真实度以及美观度。

Description

一种桌面交互方法及装置

技术领域

本发明涉及终端设备显示领域，尤其涉及一种桌面交互方法及装置。

背景技术

在终端设备显示领域中，壁纸是指例如手机、平板电脑、计算机等终端设备所使用的屏幕背景图片。用户在使用壁纸的时候可以从壁纸自身所具有的美感中得到视觉上的享受。此外，用户还可以根据个人喜好以及使用习惯等需要随意更换设备终端的壁纸。

早期的壁纸通常是指静态壁纸，即屏幕背景图片采用静态图片。随着技术的发展以及用户需求的增加，在静态壁纸的基础上出现了动态壁纸。动态壁纸是一种动画式图片，其本质是在位于最底层的背景图片上加载若干层附加图片，并通过代码实现所需的各种动画效果，最终在终端设备的屏幕上进行显示。由于动态壁纸为终端设备的屏幕提供了动态效果，能够将终端设备的屏幕装饰得更加生动、立体和美观，因此受到了广大用户的喜爱，其应用也越来越广泛。

终端设备的屏幕上除了显示动态壁纸之外，还会显示例如桌面组件、桌面控件和/或桌面图标等桌面元素，其中，该桌面元素设置在动态壁纸的上层。目前，由于桌面元素无法和动态壁纸之间进行交互，且桌面元素自身又不提供动态效果，同时桌面元素的存在还会对动态壁纸造成一定的遮挡，因此极大地降低了终端设备的屏幕在动态效果方面的表现力，进而影响了用户的视觉体验。

发明内容

为了克服现有技术中的上述缺陷，本发明提供了一种桌面交互方法，该方法包括：

根据终端设备的屏幕的尺寸建立视景体，以及建立所述视景体所在的视点坐标系；

在所述视景体内设置背景图层、桌面图层以及前景图层，其中，所述背景图层与所述视点坐标系中的视点之间的距离大于所述桌面图层与所述视点之间的距离，所述桌面图层与所述视点之间的距离大于或等于所述前景图层与所述视点之间的距离；

将所述视景体投影并绘制到所述终端设备的屏幕上进行显示，并相应实现所述背景图层和所述前景图层所构成的动态效果场景、以及所述桌面图层中桌面元素与该动态效果场景的交互。

根据本发明的一个方面，该方法中，根据终端设备的屏幕的尺寸建立视景体包括：通过锥形投影的方式建立视景体，并设定终端设备的屏幕是该视景体的投影平面。

根据本发明的另一个方面，该方法中，将所述视景体投影并绘制到所述终端设备的屏幕上进行显示包括：将所述视景体中的所述背景图层、所述桌面图层以及所述前景图层中的每一个点经过投影变换矩阵变换，得到所述每一个点在所述终端设备的屏幕上的平面坐标值；根据所述平面坐标值在所述终端设备的屏幕上依次绘制所述背景图层、所述桌面图层以及所述前景图层。

根据本发明的又一个方面，该方法中，实现所述桌面图层中桌面元素与该动态效果场景的交互包括：根据所述桌面图层中桌面元素在所述视点坐标系中的三维坐标值以及几何轮廓实现所述桌面元素与所述动态效果场景的交互。

根据本发明的又一个方面，该方法中，所述桌面图层中桌面元素在所述视点坐标系中的三维坐标值以及几何轮廓通过所述桌面元素在所述终端设备的屏幕上的平面坐标值以及所述桌面图层在所述视点坐标系中的深度值得到。

根据本发明的又一个方面，该方法中，所述桌面元素包括桌面组件、桌面控件和/或桌面图标。

根据本发明的又一个方面，该方法中，所述终端设备是智能手机或平板电脑。

相应地，本发明还提供了一种桌面交互装置，该装置包括：

建立模块，用于根据终端设备的屏幕的尺寸建立视景体、以及建立所述视景体所在的视点坐标系；

设置模块，用于在所述视景体内设置背景图层、桌面图层以及前景图层，其中，所述背景图层与所述视点坐标系中的视点之间的距离大于所述桌面图层与所述视点之间的距离，所述桌面图层与所述视点之间的距离大于或等于所述前景图层与所述视点之间的距离；

实现模块，用于将所述视景体投影并绘制到所述终端设备的屏幕上进行显示，并相应实现所述背景图层和所述前景图层所构成的动态效果场景、以及所述桌面图层中桌面元素与该动态效果场景的交互。

根据本发明的一个方面，该装置中，所述建立模块通过锥形投影的方式建立视景体并设定终端设备的屏幕是该视景体的投影平面。

根据本发明的另一个方面，该装置中，所述实现模块将所述视景体中的所述背景图层、所述桌面图层以及所述前景图层中的每一个点经过投影变换矩阵变换得到所述每一个点在所述终端设备的屏幕上的平面坐标值，以及根据所述平面坐标值在所述终端设备的屏幕上依次绘制所述背景图层、所述桌面图层以及所述前景图层。

根据本发明的又一个方面，该装置中，所述实现模块根据所述桌面图层中桌面元素在所述视点坐标系中的三维坐标值以及几何轮廓实现所述桌面元素与所述动态效果场景的交互。

根据本发明的又一个方面，该装置中，所述桌面图层中桌面元素在所述视点坐标系中的三维坐标值以及几何轮廓通过所述桌面元素在所述终端设备的屏幕上的平面坐标值以及所述桌面图层在所述视点坐标系中的深度值得到。

根据本发明的又一个方面，该装置中，所述桌面元素包括桌面组件、桌面控件和/或桌面图标。

根据本发明的另一个方面，该装置中，所述终端设备是智能手机或平板电脑。

本发明所提供的桌面交互方法及装置通过建立视景体以及该视景体所在的视点坐标系，并在视景体内设置具有不同深度值的背景图层、桌面图层(包括例如桌面组件、桌面控件和/或桌面图标等桌面元素)以及前景图层，其中桌面图层位于背景图层和前景图层之间，以及根据该不同深度值在终端设备的屏幕上依次绘制背景图层、桌面图层以及前景图层，并实现背景图层和前景图层的动态效果以及桌面元素与该动态效果之间的交互。一方面，相较于现有技术中桌面元素无法与终端设备的屏幕所呈现的动态效果进行交互且对动态效果造成遮挡以及桌面元素自身不提供动态效果的缺陷，本发明由于使桌面元素位于背景图层和前景图层之间，因此可以保证桌面元素始终处于整个动态效果场景中并参与到动态效果的交互中；另一方面，本发明由于根据不同深度值绘制背景图层、桌面图层以及前景图层，使得融合后的背景图层、桌面图层以及前景图层呈现立体效果，因此可以极大地提升终端设备的屏幕所呈现的动态效果的层次感、真实度以及美观度，使用户在终端设备的使用过程中享受到更加精彩的视觉体验。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是根据本发明的桌面交互方法流程图；

图2是通过锥形投影的实现方式建立视景体的示意图；

图3是根据本发明的背景图层、桌面图层以及前景图层在视景体内的位置示意图；

图4是根据本发明的桌面交互装置结构示意图；

图5是可实现本发明提供的桌面交互方法的智能终端的结构示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

为了更好地理解和阐释本发明，下面将结合附图对本发明作进一步的详细描述。

本发明提供了一种桌面交互方法。请参考图1，图1是根据本发明的桌面交互方法流程图。如图所示，该方法包括以下步骤：

在步骤S101中，根据终端设备的屏幕的尺寸建立视景体，以及建立所述视景体所在的视点坐标系；

在步骤S102中，在所述视景体内设置背景图层、桌面图层以及前景图层，其中，所述背景图层与所述视点坐标系中的视点之间的距离大于所述桌面图层与所述视点之间的距离，所述桌面图层与所述视点之间的距离大于或等于所述前景图层与所述视点之间的距离；

在步骤S103中，将所述视景体投影并绘制到所述终端设备的屏幕上进行显示，并相应实现所述背景图层和所述前景图层所构成的动态效果场景、以及所述桌面图层中桌面元素与该动态效果场景的交互。

具体地，在步骤S101中，根据终端设备的屏幕的尺寸建立视景体，相应地，建立该视景体所在的视点坐标系，其中，所述视点坐标系是以视点(即用户的眼睛)为原点的三维坐标系。在本实施例中，所述终端设备终端是移动终端，其中，所述移动终端包括但不限于安装了Syber OS、iOS、Android、Symbian、Windows Mobile、Maemo、WebOS、Palm OS或Blackberry OS等终端操作系统的智能手机或平板电脑。本领域技术人员可以理解的是，本发明中的终端设备不仅仅限于上述智能手机和平板电脑，凡是屏幕可以呈现动态效果且屏幕上显示例如桌面组件、桌面控件和/或桌面图标等桌面元素的电子设备都包括在本发明所保护的范围内，为了简明起见，在此不再一一列举。

建立视景体时采用的是投影变换的方式。其中，为了使最终终端设备屏幕的显示效果更加符合人的视觉体验，在本实施例中，所述投影变换具体采用锥形投影的实现方式，即视景体的形状为棱台。通过锥形投影的实现方式建立视景体是本领域技术人员所熟悉的技术手段。请参考图2，图2是通过锥形投影的实现方式建立视景体的示意图。针对于本发明来说，图中的投影中心是视点(即用户的眼睛)，前剪裁面到后剪裁面之间的空间(即具有六面体形状的棱台)是建立的视景体，投影平面是终端设备的屏幕，其中，视景体中所有的点投影至终端设备的屏幕后可以被用户的眼睛所看到。需要说明的是，在本实施例中，根据终端设备的屏幕的尺寸所建立的视景体，其投影平面的尺寸与终端设备屏幕的尺寸相同。在其他实施例中，视景体的投影平面的尺寸也可以和终端设备屏幕的尺寸不相同，但是其二者之间成一定的比例关系，将视景体中的点投影至投影平面后，可以按照该比例关系转换为终端设备屏幕的显示尺寸。本领域技术人员可以理解的是，投影变换的具体实现方式并不仅仅限于上述锥形投影，还可以采用平行投影的实现方式，为了简明起见，在此不再对投影变换所有可能的实现方式进行一一列举。

通常情况下，所述视点坐标系包括X轴、Y轴以及Z轴，其中X轴和Y轴构成的坐标系平面垂直于用户的视线方向(即平行于视景体的前剪裁面和后剪裁面)，Z轴的方向是用户的视线方向，其中，距离视点越远Z轴上的坐标值越小。

下文中，将以终端设备是智能手机以及采用锥形投影的实现方式建立视景体为例对本发明后续的步骤进行说明。

在步骤S102中，视景体以及视点坐标系建立以后，在所述视景体内设置背景图层、桌面图层以及前景图层。其中，在最终智能手机屏幕所呈现的动态效果场景中，背景图层用于提供远景动态效果，前景图层用于提供近景动态效果，而桌面图层用于提供与整个动态效果场景进行交互的桌面元素，所述桌面元素包括但不限于桌面组件、桌面控件和/或桌面图标等。在本文中，定义背景图层、桌面图层以及前景图层在视点坐标系中的深度值为该各个图层在视点坐标系的Z轴上的坐标值。

在一个具体实施例中，请参考图3，图3是根据本发明的背景图层、桌面图层以及前景图层在视景体内的位置示意图。在视景体中从后剪裁面至前剪裁面的方向上，依次是背景图层、桌面图层以及前景图层。也就是说，背景图层、桌面图层以及前景图层在视点坐标系中的深度值各不同，具体地，所述背景图层与所述视点坐标系中的视点之间的距离大于所述桌面图层与所述视点之间的距离，所述桌面图层与所述视点之间的距离大于所述前景图层与所述视点之间的距离。

在另一个具体实施例中，桌面元素位于前景图层中，即桌面图层和前景图层是同一图层，也就是说桌面图层与前景图层在视点坐标系中的深度值是相同的。此时，在视景体中从后剪裁面至前剪裁面的方向上，依次是背景图层以及前景图层(桌面图层)。也就是说，所述背景图层与所述视点坐标系中的视点之间的距离大于所述桌面图层与所述视点之间的距离，所述桌面图层与所述视点之间的距离等于所述前景图层与所述视点之间的距离。

需要说明的是，恰当地设置背景图层、桌面图层以及前景图层在视点坐标系中的深度值，一方面可以保证背景图层、桌面图层以及前景图层投影至智能手机的屏幕上以后各图层在显示的时候不发生变形，特别是保证桌面图层中的桌面元素投影至智能手机屏幕的预设位置上，另一方面可以使背景图层、桌面图层以及前景图层投影至智能手机的屏幕上以后显示出真实的立体层次感。

在视景体中设置了背景图层、桌面图层以及前景图层后，相应可以确定背景图层、桌面图层以及前景图层中每一个点在视点坐标系内的三维坐标值。

在步骤S103中，在确定了背景图层、桌面图层以及前景图层中每一个点的三维坐标值以后，将该每一个点经过投影变换矩阵的变换得到该点在智能手机的屏幕上的平面坐标值，即该点在智能手机的屏幕上的位置。需要说明的是，视景体建立以后相应会确定一个投影矩阵，视点坐标系建立以后相应会确定一个视点矩阵，该投影矩阵与该视点矩阵的乘积即为投影变换矩阵，该投影变换矩阵用于将视景体中的场景投影至投影平面上，其中，如何确定投影矩阵以及视点矩阵是本领域技术人员所熟悉的技术手段，为了简明起见，在此不再赘述。

接着，在智能手机的屏幕上依次绘制用于提供远景动态效果的背景图层、用于提供桌面元素的桌面图层以及用于提供近景动态效果的前景图层，从而在智能手机的屏幕上呈现出真实的三维动态效果场景。

下面针对于背景图层、桌面图层和前景图层在视点坐标系中具有不同深度值的情况进行说明。

首先，在智能手机的屏幕上绘制背景图层。在本实施例中，背景图层包括一个静态背景图片以及至少一个背景附加图片，并通过对该静态背景图片以及该背景附加图片进行处理使得背景图层呈现动态效果。由于背景图层位于视景体的远端，因此投影并绘制在屏幕上以后背景图层呈现出远景动态效果。

接着，背景图层绘制完成以后，在智能手机的屏幕上继续绘制桌面图层。所述桌面图层包括桌面元素以及至少一个桌面附加图片，并通过对该桌面元素以及该桌面附加图片进行处理使得桌面元素参与到动态效果的交互中。在一个实施例中，根据桌面图层中桌面元素在所述视点坐标系中的三维坐标值以及几何轮廓实现桌面元素与动态效果的交互中。其中，可以通过所述桌面元素在所述智能手机的屏幕上的平面坐标值、以及所述桌面图层在所述视点坐标系中的深度值确定所述桌面元素在所述视点坐标系中的三维坐标值以及几何轮廓。具体地，一方面，由于考虑了桌面元素在视点坐标系中的三维坐标值，因此桌面元素参与交互时在动态效果方面可以呈现出的真实的层次感，另一方面由于考虑了桌面元素的几何轮廓，因此桌面元素参与交互时在动态效果方面可以呈现出和动态场景之间的具体交互行为(例如动态场景中的动态元素触与桌面元素之间的碰撞、附着等)。其中，所述桌面元素在智能手机屏幕上的平面坐标值可以由外部模块(用于预先对桌面元素在智能手机屏幕上的平面坐标值进行设定的模块)来提供，也可以在绘制桌面元素的前后截取屏幕作为图片数据模板，并将绘制桌面元素前后所截取的图片数据模板进行比较、并根据桌面元素的形状特征通过边缘检测的方式来获得桌面元素在智能手机屏幕上的平面坐标值。

然后，桌面图层绘制完成以后，在智能手机的屏幕上继续绘制前景图层。在本实施例中，前景图层包括一个静态前景图片以及至少一个前景附加图片，并通过对该静态前景图片以及该前景附加图片进行处理使得前景图层呈现动态效果。由于前景图层位于视景体的近端，因此投影并绘制在屏幕上以后前景图层呈现出近景动态效果。

以一个具体实施例进行描述。背景图层中的静态背景图片是一片树林、背景附加图片是雨滴；桌面图层中的桌面元素具有类似矩形的形状、桌面附加图片是雨滴；前景图层中的静态前景图片是几棵树、前景附加图片是雨滴。由于背景图层、桌面图层以及前景图层在视点坐标系中具有不同的深度值，因此背景图层、桌面图层以及前景图层依次叠加融合以后在智能手机的屏幕上呈现出具有立体层次感的场景，即，远处是一片树林，近处是几颗树，树林以及树木都笼罩在雨中，雨滴从屏幕上方沿特定方向不间断地落下，其中，远处的雨滴形状较小且轮廓模糊，近处的雨滴形状较大且轮廓清晰。此外，由于桌面图层中的桌面元素呈现类似矩形的形状，因此当雨滴在落下的过程中遇到桌面元素的上边缘或者侧边缘时，雨滴滑落的轨迹根据桌面元素的形状发生变化，沿着桌面元素的边缘滑落。

需要说明的是，在另一个实施例中，背景图层包括一个静态背景图片以及至少一个背景附加图片，桌面图层仅仅包括桌面元素，前景图层除了包括一个静态前景图片以及至少一个前景附加图片之外，还包括桌面附加图片。其中，在绘制背景图层时通过对该静态背景图片以及该背景附加图片进行处理使得背景图层呈现远景动态效果；在绘制桌面图层时仅仅绘制出桌面元素而并未实现桌面元素与动态效果的互动；在绘制前景图层时，首先在前景图层中桌面元素所在的投影区域内绘制桌面附加图片，并通过对该桌面附加图片的处理使桌面元素参与到动态效果的互动中，然后再绘制静态前景图片以及前景附加图片并通过一定的处理使得前景图层呈现近景动态效果。

此外，还需要说明的是，针对于桌面图层和前景图层在视景体所在三维坐标系中具有相同的景深值的情况(即桌面元素以及桌面附加图片均位于前景图层中)来说，在智能手机的屏幕上绘制背景图层以后，在绘制前景图层时绘制顺序如下：首先绘制桌面元素，接着绘制桌面附加图片，然后绘制静态前景图片，最后绘制前景附加图片。

需要说明的是，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

相应地，本发明还提供了一种桌面交互装置。请参考图4，图4是根据本发明的桌面交互装置结构示意图。如图所示，该装置20包括：

建立模块201，用于根据终端设备的屏幕的尺寸建立视景体、以及建立所述视景体所在的视点坐标系；

设置模块202，用于在所述视景体内设置背景图层、桌面图层以及前景图层，其中，所述背景图层与所述视点坐标系中的视点之间的距离大于所述桌面图层与所述视点之间的距离，所述桌面图层与所述视点之间的距离大于或等于所述前景图层与所述视点之间的距离；

实现模块203，用于将所述视景体投影并绘制到所述终端设备的屏幕上进行显示，并相应实现所述背景图层和所述前景图层所构成的动态效果场景、以及所述桌面图层中桌面元素与该动态效果场景的交互。

下面，将对上模块的具体工作过程进行详细说明。

具体地，建立模块201根据终端设备的屏幕的尺寸建立视景体，相应地，建立模块201还建立该视景体所在的视点坐标系，其中，所述视点坐标系是以视点(即用户的眼睛)为原点的三维坐标系。在本实施例中，所述终端设备终端是移动终端，其中，所述移动终端包括但不限于安装了Syber OS、iOS、Android、Symbian、Windows Mobile、Maemo、WebOS、PalmOS或Blackberry OS等终端操作系统的智能手机或平板电脑。本领域技术人员可以理解的是，本发明中的终端设备不仅仅限于上述智能手机和平板电脑，凡是屏幕可以呈现动态效果且屏幕上显示例如桌面组件、桌面控件和/或桌面图标等桌面元素的电子设备都包括在本发明所保护的范围内，为了简明起见，在此不再一一列举。

建立模块201在建立视景体时采用的是投影变换的方式。其中，为了使最终终端设备屏幕的显示效果更加符合人的视觉体验，在本实施例中，所述投影变换具体采用锥形投影的实现方式，即视景体的形状为棱台。通过锥形投影的实现方式建立视景体是本领域技术人员所熟悉的技术手段。请参考图2，图2是通过锥形投影的实现方式建立视景体的示意图。针对于本发明来说，图中的投影中心是视点(即用户的眼睛)，前剪裁面到后剪裁面之间的空间(即具有六面体形状的棱台)是建立的视景体，投影平面是终端设备的屏幕，其中，视景体中所有的点投影至终端设备的屏幕后可以被用户的眼睛所看到。需要说明的是，在本实施例中，建立模块201根据终端设备的屏幕的尺寸所建立的视景体，其投影平面的尺寸与终端设备屏幕的尺寸相同。在其他实施例中，视景体的投影平面的尺寸也可以和终端设备屏幕的尺寸不相同，但是其二者之间成一定的比例关系，将视景体中的点投影至投影平面后，可以按照该比例关系转换为终端设备屏幕的显示尺寸。本领域技术人员可以理解的是，投影变换的具体实现方式并不仅仅限于上述锥形投影，还可以采用平行投影的实现方式，为了简明起见，在此不再对投影变换所有可能的实现方式进行一一列举。

通常情况下，所述视点坐标系包括X轴、Y轴以及Z轴，其中X轴和Y轴构成的坐标系平面垂直于用户的视线方向(即平行于视景体的前剪裁面和后剪裁面)，Z轴的方向是用户的视线方向，其中，距离视点越远Z轴上的坐标值越小。

下文中，将以终端设备是智能手机以及采用锥形投影的实现方式建立视景体为例对本发明后续的步骤进行说明。

视景体以及视点坐标系建立以后，设置模块202在所述视景体内设置背景图层、桌面图层以及前景图层。其中，在最终智能手机屏幕所呈现的动态效果场景中，背景图层用于提供远景动态效果，前景图层用于提供近景动态效果，而桌面图层用于提供与整个动态效果场景进行交互的桌面元素，所述桌面元素包括但不限于桌面组件、桌面控件和/或桌面图标等。在本文中，定义背景图层、桌面图层以及前景图层在视点坐标系中的深度值为该各个图层在视点坐标系的Z轴上的坐标值。

在一个具体实施例中，请参考图3，图3是根据本发明的背景图层、桌面图层以及前景图层在视景体内的位置示意图。在视景体中从后剪裁面至前剪裁面的方向上，依次是背景图层、桌面图层以及前景图层。也就是说，背景图层、桌面图层以及前景图层在视点坐标系中的深度值各不同，具体地，所述背景图层与所述视点坐标系中的视点之间的距离大于所述桌面图层与所述视点之间的距离，所述桌面图层与所述视点之间的距离大于所述前景图层与所述视点之间的距离。

在另一个具体实施例中，桌面元素位于前景图层中，即桌面图层和前景图层是同一图层，也就是说桌面图层与前景图层在视点坐标系中的深度值是相同的。此时，在视景体中从后剪裁面至前剪裁面的方向上，依次是背景图层以及前景图层(桌面图层)。也就是说，所述背景图层与所述视点坐标系中的视点之间的距离大于所述桌面图层与所述视点之间的距离，所述桌面图层与所述视点之间的距离等于所述前景图层与所述视点之间的距离。

需要说明的是，恰当地设置背景图层、桌面图层以及前景图层在视点坐标系中的深度值，一方面可以保证背景图层、桌面图层以及前景图层投影至智能手机的屏幕上以后各图层在显示的时候不发生变形，特别是保证桌面图层中的桌面元素投影至智能手机屏幕的预设位置上，另一方面可以使背景图层、桌面图层以及前景图层投影至智能手机的屏幕上以后显示出真实的立体层次感。

设置模块202在视景体中设置了背景图层、桌面图层以及前景图层后，相应可以确定背景图层、桌面图层以及前景图层中每一个点在视点坐标系内的三维坐标值，然后实现模块203将该每一个点经过投影变换矩阵的变换得到该点在智能手机的屏幕上的平面坐标值，即该点在智能手机的屏幕上的位置。需要说明的是，建立模块201在视景体建立以后相应会确定一个投影矩阵，以及在视点坐标系建立以后相应会确定一个视点矩阵，该投影矩阵与该视点矩阵的乘积即为投影变换矩阵，该投影变换矩阵用于将视景体中的场景投影至投影平面上，其中，如何确定投影矩阵以及视点矩阵是本领域技术人员所熟悉的技术手段，为了简明起见，在此不再赘述。

实现模块203在智能手机的屏幕上依次绘制用于提供远景动态效果的背景图层、用于提供桌面元素的桌面图层以及用于提供近景动态效果的前景图层，从而在智能手机的屏幕上呈现出真实的三维动态效果场景。

下面针对于背景图层、桌面图层和前景图层在视点坐标系中具有不同深度值的情况进行说明。

首先，实现模块203在智能手机的屏幕上绘制背景图层。在本实施例中，背景图层包括一个静态背景图片以及至少一个背景附加图片。实现模块203通过对该静态背景图片以及该背景附加图片进行处理使得背景图层呈现动态效果。由于背景图层位于视景体的远端，因此投影并绘制在屏幕上以后背景图层呈现出远景动态效果。

接着，背景图层绘制完成以后，实现模块203在智能手机的屏幕上继续绘制桌面图层。所述桌面图层包括桌面元素以及至少一个桌面附加图片。实现模块203通过对该桌面元素以及该桌面附加图片进行处理使得桌面元素参与到动态效果的交互中。在一个实施例中，实现模块203根据桌面图层中桌面元素在所述视点坐标系中的三维坐标值以及几何轮廓实现桌面元素与动态效果的交互中。其中，实现模块203可以通过所述桌面元素在所述智能手机的屏幕上的平面坐标值、以及所述桌面图层在所述视点坐标系中的深度值确定所述桌面元素在所述视点坐标系中的三维坐标值以及几何轮廓。具体地，一方面，由于考虑了桌面元素在视点坐标系中的三维坐标值，因此桌面元素参与交互时在动态效果方面可以呈现出的真实的层次感，另一方面由于考虑了桌面元素的几何轮廓，因此桌面元素参与交互时在动态效果方面可以呈现出和动态场景之间的具体交互行为(例如动态场景中的动态元素触与桌面元素之间的碰撞、附着等)。其中，所述桌面元素在智能手机屏幕上的平面坐标值还可以由外部模块(用于预先对桌面元素在智能手机屏幕上的平面坐标值进行设定的模块)来提供，也还可以由实现模块203在绘制桌面元素的前后截取屏幕作为图片数据模板，并将绘制桌面元素前后所截取的图片数据模板进行比较、并根据桌面元素的形状特征通过边缘检测的方式来获得桌面元素在智能手机屏幕上的平面坐标值。

然后，桌面图层绘制完成以后，实现模块203在智能手机的屏幕上继续绘制前景图层。在本实施例中，前景图层包括一个静态前景图片以及至少一个前景附加图片。实现模块203通过对该静态前景图片以及该前景附加图片进行处理使得前景图层呈现动态效果。由于前景图层位于视景体的近端，因此投影并绘制在屏幕上以后前景图层呈现出近景动态效果。

以一个具体实施例进行描述。背景图层中的静态背景图片是一片树林、背景附加图片是雨滴；桌面图层中的桌面元素具有类似矩形的形状、桌面附加图片是雨滴；前景图层中的静态前景图片是几棵树、前景附加图片是雨滴。由于背景图层、桌面图层以及前景图层在视点坐标系中具有不同的深度值，因此背景图层、桌面图层以及前景图层依次叠加融合以后在智能手机的屏幕上呈现出具有立体层次感的场景，即，远处是一片树林，近处是几颗树，树林以及树木都笼罩在雨中，雨滴从屏幕上方沿特定方向不间断地落下，其中，远处的雨滴形状较小且轮廓模糊，近处的雨滴形状较大且轮廓清晰。此外，由于桌面图层中的桌面元素呈现类似矩形的形状，因此当雨滴在落下的过程中遇到桌面元素的上边缘或者侧边缘时，雨滴滑落的轨迹根据桌面元素的形状发生变化，沿着桌面元素的边缘滑落。

需要说明的是，在另一个实施例中，背景图层包括一个静态背景图片以及至少一个背景附加图片，桌面图层仅仅包括桌面元素，前景图层除了包括一个静态前景图片以及至少一个前景附加图片之外，还包括桌面附加图片。其中，实现模块203在绘制背景图层时通过对该静态背景图片以及该背景附加图片进行处理使得背景图层呈现远景动态效果；实现模块203在绘制桌面图层时仅仅绘制出桌面元素而并未实现桌面元素与动态效果的互动；实现模块203在绘制前景图层时，首先在前景图层中桌面元素所在的投影区域内绘制桌面附加图片，并通过对该桌面附加图片的处理使桌面元素参与到动态效果的互动中，然后再绘制静态前景图片以及前景附加图片并通过一定的处理使得前景图层呈现近景动态效果。

此外，还需要说明的是，针对于桌面图层和前景图层在视景体所在三维坐标系中具有相同的景深值的情况(即桌面元素以及桌面附加图片均位于前景图层中)来说，实现模块203在智能手机的屏幕上绘制背景图层以后，在绘制前景图层时绘制顺序如下：首先绘制桌面元素，接着绘制桌面附加图片，然后绘制静态前景图片，最后绘制前景附加图片。

请参考图5，图5是可实现本发明提供的桌面交互方法的智能终端的结构示意图，该智能终端包括前文中提及的所述移动终端。图5示意性地示出了所述智能终端的常见结构，参考图5对常见的智能终端的内部组件、软件和协议结构进行说明。

该智能终端具有处理器510，其负责智能终端的整体操作，并且可以利用任何商业可得中央处理单元、数字信号处理器或任何其他电子可编程逻辑器件实现。处理器510具有关联的存储器520，该存储器520包括但不限于RAM存储器、ROM存储器、EEPROM存储器、闪存或其组合。存储器520由处理器500控制用于各种目的，其中之一在于为智能终端中各种软件存储程序指令和数据。

该智能终端的软件层面包括实时操作系统540、用于人机界面560的驱动器、应用处理机550和各种应用。所述应用例如是文本编辑器551、手写识别应用552和各种其他多媒体应用553，典型地该其他多媒体应用包括诸如语音呼叫应用、视频呼叫应用、发送和接收短消息服务(SMS)消息应用、多媒体消息服务(MMS)应用或电子邮件应用、web浏览器、即时消息收发应用、电话簿应用、日历应用、控制面板应用、照相机应用、一个或多个视频游戏、记事本应用等。应当注意，上述应用的两个或更多可以作为同一应用执行。

所述智能终端还包括一个或多个硬件控制器，用于与人机界面560的驱动器一起与显示设备561，物理按键562、麦克风563和各种其他I/O设备(诸如扬声器、振动器、响铃发生器、LED指示器等)协作，以实现所述智能终端的人机交互。本领域技术人员应当理解用户可以通过这样形成的人机界面560来操作移动终端。

该智能终端的软件层面还可以包括各种模块、协议栈、驱动器等与通信相关的逻辑，归纳为如图5中示出的通信接口570，用于为无线射频接口571以及可选地为蓝牙接口572和/或红外接口573提供通信服务(例如传输、网络和连通性)，以实现所述智能终端的网络连通性。无线射频接口571包括内部或外部天线以及用于建立和维护通往基站的无线链路的适当无线电电路。如本领域技术人员公知的，所述无线电电路包括一系列模拟和数字电子组件，其一起形成无线电接收机和发射机。这些组件例如包括带通滤波器、放大器、混频器、本地振荡器、低通滤波器、AD/DA转换器等。

移动通信终端还可以包括读卡装置530，该读卡装置530通常包括处理器以及数据存储器等，用于读出SIM卡的信息并以此为根据协作无线射频接口517接入运营商所提供的网络。

本发明提供的桌面交互方法可以使用可编程逻辑器件来实现，也可以实施为计算机程序软件，例如根据本发明的实施例可以是一种计算机程序产品，运行该程序产品使计算机执行用于所示范的方法。所述计算机程序产品包括计算机可读存储介质，该介质上包含计算机程序逻辑或代码部分，用于实现上述方法的各个步骤。所述计算机可读存储介质可以是被安装在计算机中的内置介质或者可从计算机主体拆卸的可移动介质(例如热拔插技术存储设备)。所述内置介质包括但不限于可重写的非易失性存储器，例如RAM、ROM、快闪存储器和硬盘。所述可移动介质包括但不限于：光存储媒体(例如CD-ROM和DVD)、磁光存储媒体(例如MO)、磁存储媒体(例如盒带或移动硬盘)、具有内置的可重写的非易失性存储器的媒体(例如存储卡)和具有内置ROM的媒体(例如ROM盒)。

本领域技术人员应当理解，任何具有适当编程装置的计算机系统都将能够执行包含在程序产品中的本发明的方法的诸步骤。尽管本说明书中描述的多数具体实施方式都侧重于软件程序，但是作为固件和硬件实现本发明提供的方法的替代实施例同样在本发明要求保护的范围之内。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他部件、单元或步骤，单数不排除复数。系统权利要求中陈述的多个部件、单元或装置也可以由一个部件、单元或装置通过软件或者硬件来实现。

本发明所提供的桌面交互方法及装置通过建立视景体以及该视景体所在的视点坐标系，并在视景体内设置具有不同深度值的背景图层、桌面图层(包括例如桌面组件、桌面控件和/或桌面图标等桌面元素)以及前景图层，其中桌面图层位于背景图层和前景图层之间，以及根据该不同深度值在终端设备的屏幕上依次绘制背景图层、桌面图层以及前景图层，并实现背景图层和前景图层的动态效果以及桌面元素与该动态效果之间的交互。一方面，相较于现有技术中桌面元素无法与终端设备的屏幕所呈现的动态效果进行交互且对动态效果造成遮挡以及桌面元素自身不提供动态效果的缺陷，本发明由于使桌面元素位于背景图层和前景图层之间，因此可以保证桌面元素始终处于整个动态效果场景中并参与到动态效果的交互中；另一方面，本发明由于根据不同深度值绘制背景图层、桌面图层以及前景图层，使得融合后的背景图层、桌面图层以及前景图层呈现立体效果，因此可以极大地提升终端设备的屏幕所呈现的动态效果的层次感、真实度以及美观度，使用户在终端设备的使用过程中享受到更加精彩的视觉体验。

以上所揭露的仅为本发明的一些较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (12)

1.一种桌面交互方法，该方法包括：

根据终端设备的屏幕的尺寸建立视景体，以及建立所述视景体所在的视点坐标系；

在所述视景体内设置背景图层、桌面图层以及前景图层，其中，所述背景图层与所述视点坐标系中的视点之间的距离大于所述桌面图层与所述视点之间的距离，所述桌面图层与所述视点之间的距离大于或等于所述前景图层与所述视点之间的距离；

将所述视景体投影并绘制到所述终端设备的屏幕上进行显示，并相应实现所述背景图层和所述前景图层所构成的动态效果场景、以及根据所述桌面图层中桌面元素在所述视点坐标系中的三维坐标值以及几何轮廓实现所述桌面元素与所述动态效果场景的交互。

2.根据权利要求1所述的方法，其中，根据终端设备的屏幕的尺寸建立视景体包括：

通过锥形投影的方式建立视景体，并设定终端设备的屏幕是该视景体的投影平面。

3.根据权利要求1所述的方法，其中，将所述视景体投影并绘制到所述终端设备的屏幕上进行显示包括：

将所述视景体中的所述背景图层、所述桌面图层以及所述前景图层中的每一个点经过投影变换矩阵变换，得到所述每一个点在所述终端设备的屏幕上的平面坐标值；

根据所述平面坐标值在所述终端设备的屏幕上依次绘制所述背景图层、所述桌面图层以及所述前景图层。

4.根据权利要求1所述的方法，其中：

所述桌面图层中桌面元素在所述视点坐标系中的三维坐标值以及几何轮廓通过所述桌面元素在所述终端设备的屏幕上的平面坐标值以及所述桌面图层在所述视点坐标系中的深度值得到。

5.根据权利要求1或4所述的方法，其中，所述桌面元素包括桌面组件、桌面控件和/或桌面图标。

6.根据权利要求1或2所述的方法，其中，所述终端设备是智能手机或平板电脑。

7.一种桌面交互装置，该装置包括：

建立模块，用于根据终端设备的屏幕的尺寸建立视景体、以及建立所述视景体所在的视点坐标系；

设置模块，用于在所述视景体内设置背景图层、桌面图层以及前景图层，其中，所述背景图层与所述视点坐标系中的视点之间的距离大于所述桌面图层与所述视点之间的距离，所述桌面图层与所述视点之间的距离大于或等于所述前景图层与所述视点之间的距离；

实现模块，用于将所述视景体投影并绘制到所述终端设备的屏幕上进行显示，并相应实现所述背景图层和所述前景图层所构成的动态效果场景、以及根据所述桌面图层中桌面元素在所述视点坐标系中的三维坐标值以及几何轮廓实现所述桌面元素与所述动态效果场景的交互。

8.根据权利要求7所述的装置，其中：

所述建立模块通过锥形投影的方式建立视景体并设定终端设备的屏幕是该视景体的投影平面。

9.根据权利要求7所述的装置，其中：

所述实现模块将所述视景体中的所述背景图层、所述桌面图层以及所述前景图层中的每一个点经过投影变换矩阵变换得到所述每一个点在所述终端设备的屏幕上的平面坐标值，以及根据所述平面坐标值在所述终端设备的屏幕上依次绘制所述背景图层、所述桌面图层以及所述前景图层。

10.根据权利要求7所述的装置，其中：

所述桌面图层中桌面元素在所述视点坐标系中的三维坐标值以及几何轮廓通过所述桌面元素在所述终端设备的屏幕上的平面坐标值以及所述桌面图层在所述视点坐标系中的深度值得到。

11.根据权利要求7或10所述的装置，其中，所述桌面元素包括桌面组件、桌面控件和/或桌面图标。

12.根据权利要求7或8所述的装置，其中，所述终端设备是智能手机或平板电脑。