CN102915232A

CN102915232A - 一种3d控件的交互方法及通信终端

Info

Publication number: CN102915232A
Application number: CN2011102206946A
Authority: CN
Inventors: 仇志华; 张�杰; 陈臣; 蒋飞虎; 王大为
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2011-08-01
Filing date: 2011-08-01
Publication date: 2013-02-06
Anticipated expiration: 2031-08-01
Also published as: CN102915232B

Abstract

一种在通信终端上实现3D控件交互的方法及相应的终端，根据用户的指令创建3D场景和需要显示的2D控件；根据用户的指令在所述3D场景中创建3D控件，并建立所述2D控件和所述3D控件的绑定关系；所述3D控件接收用户发送的交互事件并转发给所述2D控件，由所述2D控件处理所述交互事件；所述3D控件根据所述2D控件处理所述交互事件后缓存里的图片更新所述3D控件的纹理。可以应用于不同的操作系统，且3d效果与该操作系统保持一致的风格。

Description

一种3D控件的交互方法及通信终端

技术领域

本发明涉及电子通信领域，尤其是一种通信终端上3D控件的交互方法和通信终端。

背景技术

移动终端类业务的用户体验决定了产品是否能够被客户(运营商、用户)认可。用户交互User Interface(UI)体验是用户体验的重要因素之一，用户或者运营商对移动终端类应用的UI体验期望值水涨船高。三维用户界面3DUI的用户体验可以有效的提升视觉效果，吸引用户的眼球。目前，在终端通信终端的场景中UI控件的显示方式有两种：

(1)操作系统内置的2D控件通过画布显示：比如android

(2)3D控件通过3DUI引擎提供的OpenGL/Direct3D图形API来绘制显示。比如Nokia公司提供的QT

在交互事件方面，操作系统内置的2D控件的交互事件由操作系统自身的事件管理模块进行处理，3D控件的交互事件由3DUI引擎的事件管理模块进行处理。

目前在3DUI领域中，主流的3DUI引擎架构中控件和模型的显示基本都是通过OpenGl/Direct3D的API接口实现。此外为高效快捷的创建3DUI用户界面，一般都提供一套完整的UI设计工具，支持动画和模型导入的功能。每个3DUI引擎都有自己的一套UI独立控件。但是在跨操作系统时，很难与操作系统内置的UI机制以及UI控件风格保持一致。

发明内容

本发明实施方式针对上述问题，提供了一种在通信终端上实现3D控件交互的方法及相应的终端，根据用户的指令创建3D场景和需要显示的2D控件；根据用户的指令在所述3D场景中创建3D控件，并建立所述2D控件和所述3D控件的绑定关系；所述3D控件接收用户发送的交互事件并转发给所述2D控件，由所述2D控件根据所述交互事件更新所述2D控件的绘制缓存里的信息；所述3D控件根据所述2D控件的绘制缓存里的信息更新所述3D控件的纹理。。可以广泛通用于不同的操作系统，且3D效果与该操作系统保持一致的风格。

附图说明

图1为图1所示，为本发明的一个实施方式的通信终端的结构示意图；

图2为一个本发明实施方式中的流程示意图；

图3为另一发明实施方式Android操作系统为例的流程简化示意图；

图4为图3中的“接收并处理交互事件”的具体过程的流程示意图；

图5为经过上述实施方式中的Ratingbar在处理前后的显示的效果示意图。

具体实施方式

本发明实施方式针对上述问题，提出一种具体方案：在3D场景中重用操作系统中的内置2D控件，界面风格以及事件交互都和操作系统本身保持一致，避免针对不同的操作系统都要重新开发一套UI控件，大量的减少了重复开发的工作量。

为了使具体实施方式清楚并便于理解，对下述术语进行如下解释：

OpengGL(Open Graphics Library)定义一个跨编程语言、跨平台的编程接口的规格，是一个性能卓越的三维图形标准。OpengGL是一个专业的图形程序接口，是一个功能强大、调用方便的底层图形库。

Direct3D(简称：D3D)是微软公司在Microsoft Windows操作系统上所开发的一套3D绘图编程接口，是DirectX的一部份，目前为各家显示卡所支援。与OpenGL同为电脑绘图软体和电脑游戏最常使用的两套绘图编程接口之一。

纹理：是一个数组，其中的数据为颜色和灰度，或者颜色和alpha值。纹理数组中的值通常被称为纹素；

3D场景：一个包含三维对象的空间或者区域；

3D控件：即3维组件，有X、Y、Z三维概念的组件，例如是一种立体按钮；

2D控件：即2维组件，有X、Y二维概念的组件；例如是一种平面按钮；

交互事件：指用户通过图形界面与通信终端进行交互时触发的操作；

绘制监听器：用于监测2D控件的绘制状态的装置；

绘制缓存：指由操作系统分配的，用于存放2D控件的相关信息的存储区域。

如图1所示，为本发明的一个实施方式的通信终端的结构示意图。该通信终端可以为移动终端，掌上电脑，个人计算机等装置。该实施方式中，设置一个3D场景和所需要在3D场景中显示的该通信终端的操作系统内置的2D控件，获取2D控件的绘制缓存作为纹理加载在3D控件上；接收针对3D控件的来自用户的交互事件(例如触摸事件和键盘事件)，并将接收到的交互事件进行3D到2D的映射转换，传递给2D控件去处理，处理的结果通过设置一个2D控件的绘制监听器，重新获取绘制缓存图片，更新3D控件的纹理反映到3D控件的显示中去。

具体而言，上述实施方式中的各模块的功能和结构如下所述：一般的，下述各模块为安装在通信终端的处理器上的软件模块，或者软硬件的结合体，其中，

基础处理模块：用于根据用户的指令，创建3D场景以及需要在该3D场景中显示的2D控件；接收到来自用户的交互事件后，向场景管理模块分发所述交互事件；所述场景管理模块：用于创建需要显示的3D控件；建立所述3D控件和所述2D控件的绑定关系；将所述基础处理模块分发的交互事件分发给所述3D控件。一般的，用户的指令或者交互事件可以是用户通过图形交互界面进行的，比如触摸点击相关得按钮或者图形，或者输入命令符等等。

该3D控件：用于转发由该场景管理模块分发的交互事件给该2D控件；在实施的过程中，该3D控件进一步用于根据该2D控件的绘制缓存里的信息更新纹理并显示给用户。

该2D控件：用于处理该交互事件，并提供绘制缓存里的信息给该3D控件。

较优的实施方式中，该2D控件为该通信终端的操作系统中内置的2D控件；这样，上述处理系统能够重用操作系统中内置的2D控件，并且能保持风格的一致。

更为具体的，该基础处理模块，进一步用于为该2D控件绑定绘制监听器；

该绘制监听器，用于在该2D控件的绘制状态改变时，获取该2D控件的绘制缓存里的信息并发送给该3D控件，以便于该3D控件根据接收到的图片更新该3D控件的纹理并显示。绘制状态改变，即指2D控件的绘制缓存内的信息发生了改变或者更新。

上述实施方式中，该交互事件包括触摸事件或者键盘事件；该3D控件可以是通过OpenGL或者Direct3D绘制的控件，该基础处理模块是Android操作系统，Windows操作系统，Symbian操作系统或者IPhone操作系统的基础处理模块。上述实施方式中，对3D控件或者2D控件在通信终端的显示屏上显示。

如图2为一个本发明实施方式中的流程示意图。对图2步骤的简要描述如下：

步骤1～2：创建一个3D场景和需要在该3D场景中显示的2D控件。该2D控件是操作系统中内置的2D控件，具有该操作系统自身的风格和显示特色。

步骤3～4：在3D场景中创建一个3D控件，用于显示上述2D控件；将该2D控件绑定到该3D控件，以确定该2D控件和3D控件之间的对应关系，并以便于后续3D控件收到交互事件后，转发给该2D控件，由该2D控件完成事件交互处理，即更新该2D控件的绘制缓存里的信息。

步骤5：为了使该2D控件交互处理的结果实时的反映到3D控件上，对该2D控件设置绘制监听器。当该2D控件的绘制状态改变时，该绘制监听器获取绘制缓存里的信息，用于该3D控件的纹理更新。

步骤6～8：当基础处理模块通过图形交互界面接收到交互事件时，将交互事件分发给场景管理模块，场景管理模块将交互事件分发给对应的3D控件，当3D控件接收到交互事件时，经过交互事件的转换处理，将事件分发给对应的2D控件处理。

步骤9：当2D控件处理交互后，2D控件的绘制状态发生改变时，重新获取绘制缓存里的信息，将获取的图片传递给3D控件，用于3D控件纹理的更新。

在一个更为具体的实施方式中，上述步骤6-8中“当3D控件接收到交互事件时，经过交互事件的转换处理，将事件分发给对应的2D控件处理”，具体实施时的方式有多种，其中，对于如何将用户针对3D控件的交互事件转换为针对2D控件的交互事件的过程，主要涉及将3D空间坐标转换到2D空间坐标的过程。具体的，包括下面的过程：

当用户点击图形交互界面中显示的(显示在通信终端的屏幕上)3D控件时，通过坐标转换的方式实现将点击的位置真实的反映到对应的2D控件上这一过程。3D场景中的每个3D控件都有一个包围它的最小六面体，当用户点击屏幕时，根据视线的位以及屏幕上点击的位置，产生一条射线，这条射线将与包含3D控件的最小六面体产生一个交点P，通过现有的技术可以计算出P点的精确坐标(x，y，z)，根据P点的坐标计算出P点在3D控件上的相对坐标(Δx，Δy，Δz)，根据相对坐标计算出P点在2D控件上相对位置。

图3为另一发明实施方式的流程简化示意图。该实施方式中，以在3D场景(或称3D空间)中显示Android系统中的widget组件RatingBar为例，其中RatingBar为该Android系统自带的2D控件，ImageView 3D为3D控件。该实现在Android系统中显示和自带的2D风格相同的3D控件的过程包括：

1)创建3D场景以及需要在3D场景中显示的Android系统中的2D控件RatingBar，为该RatingBar绑定绘制监听器。

2)在3D场景中创建ImageView3D，建立ImageView3D和RatingBar的对应关系，以便于后续将从RatingBar的绘制缓存中获取的图片以纹理映射的方式添加到ImageView3D中。

3)由ImageView3D接收到交互事件，将该交互事件转发给RatingBar处理

4)当RatingBar处理交互事件时，如果RatingBar的绘制状态发生改变时，重新获取绘制缓存里的信息，将获取的信息(例如图片)传递给ImageView3D，更新ImageView3D的纹理。绘制状态改变，即指2D控件的绘制缓存内的信息发生了改变或者更新，本实施例中例如RatingBar中的3颗星填充为绿色，变为4颗星填充变为绿色。

上述图3中的“接收并处理交互事件”的具体过程的流程示意图如图4所示。

当场景管理模块从基础处理模块接收到交互事件后，分发给该交互事件对应的ImageView 3D(3D控件)；当该ImageView 3D接收到交互事件时，转发该交互事件到Ratingbar；该Ratingbar处理该交互事件；当该Ratingbar的绘制状态发生改变时，获取该Ratingbar的绘制缓存中的图片，根据该图片更新ImageView 3D的纹理，以便于显示该ImageView 3D。

如图5所示，为经过上述实施方式的Ratingbar在处理前后的显示的效果示意图。其中，上面一行显示的是Android操作系统中自带的Ratingbar，下方显示的是3D场景中的“Ratingbar”，绕Y轴已经旋转了45度，成为3D控件。从上述效果图5也可以看到，本发明的实施方式在3D场景中重用了操作系统内置的2D控件，且界面风格以及事件交互的过程能够保持一致。方便了用户的使用，并节约了操作系统的通信资源。同时避免了针对不同的操作系统都要重新开发一套用户界面UI控件，大量的减少了重复开发的工作，提高了开发的效率。

上述各实施方式中的3D控件仅为举例，该3D控件包括但不限于OpenGL，Direct3D，或者其它三维图形绘制系统所绘制的控件。2D控件可以是各种操作系统内置或者自带的2D控件，操作系统包括但不限于Android操作系统，Windows操作系统，Symbian操作系统，IPhone操作系统？

以上所描述的通信终端实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。

Claims

1.一种通信终端上实现3D控件交互的方法，其特征在于：

根据用户的指令创建3D场景和需要显示的2D控件；

根据用户的指令在所述3D场景中创建3D控件，并建立所述2D控件和所述3D控件的绑定关系；

所述3D控件接收用户发送的交互事件并转发给所述2D控件，由所述2D控件根据所述交互事件更新所述2D控件的绘制缓存里的信息；

所述3D控件根据所述2D控件的绘制缓存里的信息更新所述3D控件的纹理。

2.如权利要求1所述的方法，其特征在于，

所述2D控件为所述通信终端的操作系统中内置的2D控件；

所述3D控件进一步用于显示所述更新后的纹理。

3.如权利要求1所述的方法，其特征在于，该方法进一步包括：为所述2D控件绑定绘制监听器；

所述3D控件根据所述2D控件的绘制缓存里的信息更新所述3D控件的纹理的步骤具体包括：

所述绘制监听器在所述2D控件的绘制状态改变时，获取所述2D控件的绘制缓存里的信息并发送给所述3D控件，所述3D控件根据接收到的图片更新所述3D控件的纹理。

4.如权利要求1所述的方法，其特征在于，所述3D控件接收用户发送的交互事件并转发给所述2D控件，具体包括：

当基础处理模块接收到用户发送的针对所述3D控件的交互事件后，将其转发给场景管理模块，所述场景管理模块将接收到的所述交互事件分发给所述所述3D控件，所述3D控件将所述交互事件转发给具有绑定关系的所述2D控件。

5.如权利要求1-4任一所述的方法，其特征在于，所述交互事件包括触摸事件或者键盘事件。

6.如权利要求1-5任一所述的方法，其特征在于，所述3D控件是通过OpenGL或者Direct3D绘制的控件。

7.如权利要求2-5任一所述的方法，其特征在于，所述通信终端的操作系统是Android操作系统，Windows操作系统，Symbian操作系统或者IPhone操作系统。

8.一种实现3D控件交互的通信终端，其特征在于，包括

基础处理模块：用于根据用户的指令，创建3D场景以及需要在该3D场景中显示的2D控件；接收到来自用户的交互事件后，向场景管理模块分发所述交互事件；

所述场景管理模块：用于创建需要显示的3D控件；建立所述3D控件和所述2D控件的绑定关系；将所述基础处理模块分发的交互事件分发给所述3D控件；

所述3D控件：用于转发由所述场景管理模块分发的交互事件给所述2D控件；根据所述2D控件提供的信息更新纹理并显示。

所述2D控件：用于根据所述交互事件更新绘制缓存里的信息，并提供所述绘制缓存里的信息给所述3D控件。

9.根据权利要求8所述的通信终端，其特征在于，包括

所述2D控件为所述通信终端的操作系统中内置的2D控件；

所述3D控件进一步用于根据所述2D控件的绘制缓存里的信息更新纹理并显示。

10.根据权利要求8所述的通信终端，其特征在于，包括

所述基础处理模块，进一步用于为该2D控件绑定绘制监听器；

所述绘制监听器，用于在所述2D控件的绘制状态改变时，获取所述2D控件的绘制缓存里的信息并发送给所述3D控件，以便于所述3D控件根据接收到的图片更新所述3D控件的纹理并显示。

11.根据权利要求8-10任一所述的通信终端，其特征在于，所述交互事件包括触摸事件或者键盘事件。

12.根据权利要求8-10任一所述的通信终端，其特征在于，所述3D控件是通过OpenGL或者Direct3D绘制的控件。

13.根据权利要求8-10任一所述的通信终端，其特征在于，所述通信终端的操作系统是Android操作系统，Windows操作系统，Symbian操作系统或者IPhone操作系统。