CN106354455B - 人机界面显示处理装置及其方法 - Google Patents

Abstract

本发明公开的是关于一种人机界面显示处理装置及其方法。一种人机界面显示处理装置，应用于嵌入式设备，所述嵌入式设备中能够同时安装一第一应用程序和一第二应用程序，包括：第一图形绘制设备，用于将所述第一应用程序需要显示的数据绘制到第一图形缓存上；第二图形绘制设备，用于将所述第二应用程序需要显示的数据绘制到第二图形缓存上；渲染设备，用于将所述第一图形缓存和所述第二图形缓存相应的数据进行合成形成有效图像，且将所述有效图像渲染到一显示设备中进行显示。本发明能够实现嵌入式设备中两种基于不同图形绘制引擎的应用程序的界面同时显示于一显示设备上。

Description

人机界面显示处理装置及其方法

技术领域

本公开涉及嵌入式设备技术，尤其涉及一种人机界面显示处理装置及其方法。

背景技术

随着硬件技术的不断提高，大多数智能设备已经支持OpenGL ES图形加速设备，以实现快速显示复杂的2D/3D图形。

在一个嵌入式设备的软件系统中，有可能会集成各种各样的应用程序例如第三方提供的应用程序以及该智能设备自带的一些应用程序。这些应用程序中的部分应用程序的人机界面可能是基于DirectFB技术实现的，而另一部分应用程序的人机界面可能是基于OpenGL ES技术实现的。这就可能会导致基于DirectFB实现的应用程序与基于OpenGL ES实现的应用程序在显示时产生冲突。例如，当有两路设备数据(DirectFB设备和OpenGL ES设备)同时输出到显示设备时，会产生显示混乱。

因此，需要一种新的人机界面显示处理装置及其方法。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种人机界面显示处理装置及其方法，能够实现同一嵌入式设备上安装的基于不同图形绘制引擎的应用程序的人机界面在显示屏幕上的同时显示。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本发明的一个方面，提供一种人机界面显示处理装置，应用于嵌入式设备，所述嵌入式设备中能够同时安装一第一应用程序和一第二应用程序，包括：第一图形绘制设备，用于将所述第一应用程序需要显示的数据绘制到第一图形缓存上；第二图形绘制设备，用于将所述第二应用程序需要显示的数据绘制到第二图形缓存上；渲染设备，用于将所述第一图形缓存和所述第二图形缓存相应的数据进行合成形成有效图像，且将所述有效图像渲染到一显示设备中进行显示。

在本公开的一种示例性实施例中，所述第一图形绘制设备包括DirectFB设备，所述第二图形绘制设备包括OpenGL ES设备，所述嵌入式设备同时支持所述DirectFB设备和所述OpenGL ES设备。

在本公开的一种示例性实施例中，所述DirectFB设备包括：第一申请模块，用于申请所述第一图形缓存作为绘制所述第一应用程序的人机界面的画板；第一绑定模块，用于将初始化后的DirectFB与申请作为画板的所述第一图形缓存绑定；第一绘制模块，用于控制DirectFB的函数在所述申请作为画板的所述第一图形缓存上进行所述第一应用程序的人机界面的绘制。

在本公开的一种示例性实施例中，所述OpenGL ES设备包括：第二申请模块，用于申请所述第二图形缓存作为绘制所述第二应用程序的人机界面的画板；第二绑定模块，用于将初始化后的OpenGL ES与申请作为画板的所述第二图形缓存绑定；第二绘制模块，用于控制OpenGL ES的函数在所述申请作为画板的所述第二图形缓存上进行所述第二应用程序的人机界面的绘制。

在本公开的一种示例性实施例中，所述渲染设备包括：第一转换模块，用于将所述第一图形缓存对应的数据转换为图像数据；第二转换模块，用于将所述图像数据转换为OpenGL ES的第一纹理数据；第三转换模块，用于将所述第二图形缓存对应的数据转换为OpenGL ES的第二纹理数据；合成模块，用于将所述第一纹理数据和第二纹理数据进行合成形成要显示的有效图像；显示模块，用于将所述有效图像进行渲染，并输出到所述显示设备中进行显示。

根据本公开的一个方面，提供一种应用于上述的人机界面显示处理装置的人机界面显示处理方法，应用于嵌入式设备，所述嵌入式设备中能够同时安装一第一应用程序和一第二应用程序，包括：通过所述第一图形绘制设备将第一应用程序需要显示的数据绘制到第一图形缓存上；通过所述第二图形绘制设备将第二应用程序需要显示的数据绘制到第二图形缓存上；当需要在显示设备中同时显示所述第一应用程序和所述第二应用程序的人机界面时，通过所述渲染设备将所述第一图形缓存和所述第二图形缓存相应的数据进行合成形成有效图像，且将所述有效图像渲染到所述显示设备中进行显示。

在本公开的一种示例性实施例中，所述第一图形绘制设备包括DirectFB设备，所述第二图形绘制设备包括OpenGL ES设备，所述嵌入式设备同时支持所述DirectFB设备和所述OpenGL ES设备。

在本公开的一种示例性实施例中，通过所述第一图形绘制设备将第一应用程序需要显示的数据绘制到第一图形缓存上包括：申请所述第一图形缓存作为绘制所述第一应用程序的人机界面的画板；将初始化后的DirectFB与申请作为画板的所述第一图形缓存绑定；控制DirectFB的函数在所述申请作为画板的所述第一图形缓存上进行所述第一应用程序的人机界面的绘制。

在本公开的一种示例性实施例中，通过所述第二图形绘制设备将第二应用程序需要显示的数据绘制到第二图形缓存上包括：申请所述第二图形缓存作为绘制所述第二应用程序的人机界面的画板；用于将初始化后的OpenGL ES与申请作为画板的所述第二图形缓存绑定；控制OpenGL ES的函数在所述申请作为画板的所述第二图形缓存上进行所述第二应用程序的人机界面的绘制。

在本公开的一种示例性实施例中，通过所述渲染设备将所述第一图形缓存和所述第二图形缓存相应的数据进行合成形成有效图像，且将所述有效图像渲染到所述显示设备中进行显示包括：将所述第一图形缓存对应的数据转换为图像数据；将所述图像数据转换为OpenGL ES的第一纹理数据；将所述第二图形缓存对应的数据转换为OpenGL ES的第二纹理数据；将所述第一纹理数据和第二纹理数据进行合成形成要显示的有效图像；将所述有效图像进行渲染，并输出到所述显示设备中进行显示。

根据本公开的人机界面显示处理装置及其方法，通过设置基于两种图形加速设备其中之一的渲染设备，可以将该两种图形加速设备中的另一者要显示的数据转换为该者图形加速设备的格式，从而能够在同一显示设备上同时显示基于两种不兼容的图形加速设备的应用程序的界面的显示，而不会导致显示混乱。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1示意性示出根据本公开示例实施方式的人机界面显示处理装置的框图；

图2示意性示出基于图1的人机界面显示处理装置中的第一图形绘制设备的框图；

图3示意性示出基于图1的人机界面显示处理装置中的第二图形绘制设备的框图；

图4示意性示出基于图1的人机界面显示处理装置中的渲染设备的框图；

图5示意性示出根据本公开一示例实施方式的人机界面显示处理方法的流程图；

图6示意性示出根据本公开另一示例实施方式的人机界面显示处理方法的流程图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、系统、步骤等。在其它情况下，不详细示出或描述公知结构、方法、系统、实现、材料或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。

附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器系统和/或微控制器系统中实现这些功能实体。

以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的系统和方法的例子。

需要说明的是，本发明实施例中的“第一”和“第二”不用于表征先后顺序，也不用于限制数量的多少，仅用于区别不同对象的目的。

下面综合考虑图1至图4，阐述本发明实施方式提供的人机界面显示装置。

图1示意性示出根据本公开示例实施方式的人机界面显示处理装置的框图。

如图1所示，人机界面显示处理装置10，应用于嵌入式设备，所述嵌入式设备中能够同时安装一第一应用程序21和一第二应用程序22。

其中所述人机界面显示处理装置10包括第一图形绘制设备11、第二图形绘制设备12以及渲染设备13。

在示例性实施例中，所述第一应用程序21和所述第二应用程序22可以包括2D(二维)应用程序和/或3D(三维)应用程序。其中2D应用程序又可以包括有用户界面的程序或者2D图像程序，有用户界面的程序包括按钮、滚动条、对话框、文本框等，2D图像程序包括地图绘制、图像编辑器等。

其中所述第一图形绘制设备11用于将所述第一应用程序21需要显示的数据绘制到第一图形缓存上。

所述第二图形绘制设备12用于将所述第二应用程序22需要显示的数据绘制到第二图形缓存上。

所述渲染设备13用于将所述第一图形缓存和所述第二图形缓存相应的数据进行合成形成有效图像，且将所述有效图像渲染到一显示设备23中进行显示。

在示例性实施例中，所述显示设备23为独立的显示设备；或所述显示设备23为集成在所述终端的显示设备。具体来说，若终端是电视或媒体盒子，则显示单元就是集成在所述嵌入式设备的显示设备，若所述嵌入式设备为机顶盒，可以通过电视、显示屏等其他显示设备进行显示，则所述显示设备23就是独立于所述嵌入式设备的显示设备。

在示例性实施例中，所述第一图形绘制设备11包括DirectFB设备，所述第二图形绘制设备12包括OpenGL ES设备。其中所述嵌入式设备同时支持所述DirectFB设备和所述OpenGL ES设备。

在另一些实施例中，所述所述第一图形绘制设备11可以为OpenGL ES设备，所述第二图形绘制设备12可以为DirectFB设备。

下面的图2至图3均以所述第一图形绘制设备11为DirectFB设备、所述第二图形绘制设备12为OpenGL ES设备例进行说明。

在嵌入式设备上，由于系统资源限制，需要采用占用资源少、效率高且稳定的图形库，而DirectFB图形库正好满足这些要求。DirectFB图形库是一个基于framebuffer的图形库，它的主要领域是嵌入式，以最低限度的资源使用和开销，提供最大的硬件加速性能，目前在手持移动设备、IPTV机顶盒、网络电视和数控机床等嵌入式设备上得到较广泛的应用。

从近几年的发展趋势来看，3D技术得到很大的发展，OpenGL(Open GraphicsLibrary)作为跨平台的3D图像库在嵌入式系统的应用也越来越多，OpenGL是一个功能强大，调用方便的底层3D图形库，用于生成二维、三维图像的跨平台编程接口规范，OpenGL ES(OpenGL for Embedded Systems)是用在嵌入式系统中OpenGL简化图形库。

需要说明的是，本发明并不以此为限，本发明实施例公开的人机界面显示处理装置10可以应用于任意两种不兼容的图形绘制引擎。

如图2所示，所述DirectFB设备11包括第一申请模块111、第一绑定模块112以及第一绘制模块113。

在设计开发期，需要设计出软件体系架构，包括日志打印函数、字体图片资源管理函数，时间函数、绘制函数、事件输入函数、消息处理函数等；对DirectFB库、软件体系架构、主界面进行初始化，并进入创建控件阶段；基于DirectFB创建控件，为控件指定通用属性，设置具体控件唯一ID标示、显示区域以及位置属性，指定控件的绘制函数、时间函数、消息处理函数、监听函数等通用功能，扩展具体控件特定功能函数，实现控件功能。每个控件创建时指定其父节点，前后兄弟节点以及子节点，采用树形结构对系统创建的控件进行管理。

其中所述第一申请模块111用于申请所述第一图形缓存(第一surface)作为绘制所述第一应用程序(第一app)的人机界面的画板。

通过DirectFB相应的API接口，所述第一申请模块111在所述DirectFB设备11上创建一个第一surface，并将其信息(句柄handle、大小、格式等等)传递给所述渲染设备13。Surface是内存中一个图像以一种具体的像素格式被保存的一块保留区域。一个Surface可以位于视频和/或系统内存中。可以在一个Surface上进行画图操作。在全屏模式下时，屏幕中的可视区表示为“主Surface”，所以可以直接在屏幕的可视区完成图形操作。

所述第一绑定模块112用于将初始化后的DirectFB与申请作为画板的所述第一图形缓存绑定。

所述第一绘制模块113，用于控制DirectFB的函数在所述申请作为画板的所述第一图形缓存上进行所述第一应用程序的人机界面的绘制。

当绘制消息到达时，调用DirectFB库中的绘制函数绘制控件，创建主界面。第一绘制模块113在第一surface上进行绘制。绘制完毕后，第一绘制模块113通知所述渲染设备13进行显示。

在系统应用阶段，根据开发期设计的软件体系架构和控件管理树形结构，按层遍历方式逐层调用控件的绘制函数，控件的绘制函数再调用DirectFB的绘制函数绘制出控件，搭建出用户主界面。其实现原理是基于DirectFB库向系统申请一块图像空间，并设定在屏幕上显示的区域块，然后在指定屏幕坐标位置绘制控件。由于每个控件预先指定有相关控件节点，在得到绘制消息时，从根节点开始，逐层调用控件节点，调用其指定的绘制函数，在指定位置绘制出控件。

如图3所示，所述OpenGL ES设备12包括第二申请模块121、第二绑定模块122以及第二绘制模块123。

OpenGL ES是免授权费的、跨平台的，功能完善的2D和3D图形应用程序接口API，针对手机、PDA和游戏主机等嵌入式设备而设计。OpenGL ES是从OpenGL裁剪的定制而来的，去除了glBegin/glEnd，四边形(GL_QUADS)、多边形(GL_POLYGONS)等复杂图元等许多非绝对必要的特性。经过多年发展，现在主要有两个版本，OpenGL ES 1.x面向功能固定的硬件所设计并提供加速支持、图形质量及性能标准，OpenGL ES 2.x则提供包括遮盖器技术在内的全可编程3D图形算法。

其中所述第二申请模块121用于申请所述第二图形缓存(第二surface)作为绘制所述第二应用程序(第二app)的人机界面的画板。

所述第二绑定模块122用于将初始化后的OpenGL ES与申请作为画板的所述第二图形缓存绑定。

在OpenGL ES与第二surface绑定后，OpenGL ES就可以与本地系统的窗口系统进行通信，以使得OpenGL ES的数学图形运算能够在第二surface上进行展示。在运行OpenGLES之前首先需要对OpenGL ES进行初始化处理，在进行初始化处理后，再将OpenGL ES与第二surface绑定。

所述第二绘制模块123用于控制OpenGL ES的函数在所述申请作为画板的所述第二图形缓存上进行所述第二应用程序的人机界面的绘制。

控制OpenGL ES的函数在所述申请作为画板的第二surface上进行界面绘制。在进行用户界面绘制时，可以直接使用OpenGL ES的函数在上述第二surface上进行图形绘制，以形成用户界面。可以理解的是，在使用OpenGL ES的函数进行用户界面绘制时，可以采用OpenGL ES的本身自带的图形函数，也可以采用纹理贴图的方式。即包括：控制OpenGL ES的函数利用OpenGL ES的图形函数在所述申请作为画板的第二surface上绘制图形，以形成界面；或者，控制OpenGL ES的函数利用纹理贴图在所述第二surface上进行贴图处理，以形成界面。

如图4所示，所述渲染设备(RenderServer)13包括第一转换模块131、第二转换模块132、第三转换模块133、合成模块134以及显示模块135。

当上述第一应用程序和第二应用程序的人机界面需要同时显示在同一显示设备上时，需要调用RenderServer将上述两应用程序要显示的数据进行合成后显示。例如，一个基于DirectFB的应用程序在后台运行，而前台是一个基于OpenGL ES的应用程序，基于OpenGL ES的应用程序当前显示的菜单是非全屏的界面，此时显示屏幕上除了该基于OpenGL ES的应用程序的界面外，还存在多余部分，如果不将后台的基于DirectFB的应用程序的部分界面显示在该相应的多余部分，则会在该多余部分显示为黑屏。

其中所述第一转换模块131用于将所述第一图形缓存对应的数据转换为图像数据。

所述第二转换模块132用于将所述图像数据转换为OpenGL ES的第一纹理数据。

所述第三转换模块133用于将所述第二图形缓存对应的数据转换为OpenGL ES的第二纹理数据。

所述合成模块134用于将所述第一纹理数据和第二纹理数据进行合成形成要显示的有效图像。

在一些实施例中，RenderServer根据各个surface的Z坐标(深度坐标)将所有surface混合显示。Z坐标表示该surface离观察者的远近，离观察者近，那么该surface才可能被显示出来，如果离观察者远，就有可能被其他观察者近的surface全部或者部分遮挡住。Z坐标可以是该surface离观察者的垂直物理距离。各个surface的Z坐标可以通过系统动态设置，当前对应的surface一般都在最上面。

RenderServer根据各个surface的Z坐标一次绘制各个surface，将各个surface的数据中需要显示的部分复制到显示设备相应的区域。所述有效图像是指Z坐标绘制后需要显示的图像。例如，被覆盖的就不是有效的图像数据。

所述显示模块135用于将所述有效图像进行渲染，并输出到所述显示设备中进行显示。

在一些实施例中，按照Z坐标顺序依次渲染，这样最上面的surface会覆盖掉下面的图像。在另一些实施例中，可以首先计算出各个surface当前要显示的部分，然后再依据Z坐标顺序渲染各个surface要显示的部分。

在界面绘制完成后，将所有的surface组合形成画板窗口数据与显示帧缓冲窗口数据交换；将交换后的显示帧缓冲窗口数据输出至显示设备显示。

当一个用户界面绘制完成后，可以通过显示缓冲窗口与画板的窗口进行数据交换，以将所有的surface组合形成画板窗口数据转换至帧缓冲窗口中，即存储至显存中；最后将显存中的数据进行输出显示即可实现人机界面的显示。具体地，硬件显示芯片会直接处理帧缓冲窗口的数据，有必要时会进行一些信号转换，把具体的像素信号输出到屏幕上，屏幕再根据像素信号，把每个对应的像素点显示出来。

本发明实施方式提供的人机界面显示处理装置，通过在显示设备与DirectFB设备和OpenGL ES设备之间添加一个RenderServer模块，来负责管理来自DirectFB设备和OpenGL ES设备的所有Surface，将所有Surface根据其Z坐标进行混合，并将混合后的一路显示数据输出到显示设备进行显示，便于在同一嵌入式设备中集成基于不同类型的图形加速设备的应用程序。

图5示意性示出根据本公开一示例实施方式的人机界面显示处理方法的流程图。

应用于上述的人机界面显示装置的人机界面显示处理方法，该人机界面显示装置能够应用于嵌入式设备，所述嵌入式设备中能够同时安装一第一应用程序和一第二应用程序。

在示例性实施例中，所述人机显示装置包括第一图形绘制设备、第二图形绘制设备以及渲染设备。在一些实施例中，所述第一图形绘制设备包括DirectFB设备，所述第二图形绘制设备包括OpenGL ES设备。其中所述嵌入式设备同时支持所述DirectFB设备和所述OpenGL ES设备。

如图5所示，在步骤S11，通过所述第一图形绘制设备将第一应用程序需要显示的数据绘制到第一图形缓存上。

在示例性实施例中，步骤S11进一步包括：申请所述第一图形缓存作为绘制所述第一应用程序的人机界面的画板；将初始化后的DirectFB与申请作为画板的所述第一图形缓存绑定；控制DirectFB的函数在所述申请作为画板的所述第一图形缓存上进行所述第一应用程序的人机界面的绘制。

在步骤S12，通过所述第二图形绘制设备将第二应用程序需要显示的数据绘制到第二图形缓存上。

在示例性实施例中，步骤S12进一步包括：申请所述第二图形缓存作为绘制所述第二应用程序的人机界面的画板；用于将初始化后的OpenGL ES与申请作为画板的所述第二图形缓存绑定；控制OpenGL ES的函数在所述申请作为画板的所述第二图形缓存上进行所述第二应用程序的人机界面的绘制。

在步骤S13，当需要在显示设备中同时显示所述第一应用程序和所述第二应用程序的人机界面时，通过所述渲染设备将所述第一图形缓存和所述第二图形缓存相应的数据进行合成形成有效图像，且将所述有效图像渲染到所述显示设备中进行显示。

在示例性实施例中，步骤S13进一步包括：将所述第一图形缓存对应的数据转换为图像数据；将所述图像数据转换为OpenGL ES的第一纹理数据；将所述第二图形缓存对应的数据转换为OpenGL ES的第二纹理数据；将所述第一纹理数据和第二纹理数据进行合成形成要显示的有效图像；将所述有效图像进行渲染，并输出到所述显示设备中进行显示。

图6示意性示出根据本公开另一示例实施方式的人机界面显示处理方法的流程图。

如图6所示，在步骤S21，申请第一surface作为绘制第一app的人机界面的画板。

在步骤S22，将初始化后的DirectFB与第一surface绑定。

在步骤S23，控制DirectFB的函数在第一surface上进行第一app的人机界面的绘制。

在步骤S24，将第一surface对应的数据转换为图像数据。

在步骤S25，将图像数据转换为OpenGLES的第一纹理数据。

在步骤S26，申请第二surface作为绘制第二app的人机界面的画板。

在步骤S27，将初始化后的OpenGLES与申请作为画板的第二surface绑定。

在步骤S28，控制OpenGLES的函数在第二surface上进行第二app的人机界面的绘制。

在步骤S29，将第二surface对应的数据转换为OpenGLES的第二纹理数据。

在步骤S210，将第一纹理数据和第二纹理数据进行合成形成要显示的有效图像。

在步骤S211，将有效图像进行渲染，并输出到显示设备中进行显示。

关于上述实施例中的方法，其中各个步骤执行操作的具体方式已经在有关该装置的实施例中进行了详细描述，此处将不做详细阐述说明。

本发明实施方式还提供一种嵌入式设备，包括：处理器；用于存储处理器可执行指令的存储器。所述嵌入式设备中能够同时安装一第一应用程序和一第二应用程序。

所述处理器可被配置为：通过第一图形绘制设备将第一应用程序需要显示的数据绘制到第一图形缓存上；通过第二图形绘制设备将第二应用程序需要显示的数据绘制到第二图形缓存上；当需要在显示设备中同时显示所述第一应用程序和所述第二应用程序的人机界面时，通过渲染设备将所述第一图形缓存和所述第二图形缓存相应的数据进行合成形成有效图像，且将所述有效图像渲染到所述显示设备中进行显示。

例如，所述嵌入式设备可以是智能手机，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

所述嵌入式设备可以包括以下一个或多个组件：处理组件，存储器，电源组件，多媒体组件，音频组件，输入/输出(I/O)的接口，传感器组件，以及通信组件。

处理组件通常控制所述嵌入式设备的整体操作，诸如与显示，数据通信，相机操作和记录操作相关联的操作。处理组件可以包括一个或多个处理器来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件可以包括一个或多个模块，便于处理组件和其他组件之间的交互。例如，处理组件可以包括多媒体模块，以方便多媒体组件和处理组件之间的交互。

存储器被配置为存储各种类型的数据以支持在设备的操作。这些数据的示例包括用于在所述嵌入式设备上操作的任何应用程序或方法的指令，消息，图片，视频等。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件为所述嵌入式设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为所述嵌入式设备生成、管理和分配电力相关联的组件。

多媒体组件包括在所述所述嵌入式设备和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件包括一个前置摄像头和/或后置摄像头。当设备处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(MIC)，当所述嵌入式设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。

I/O接口为处理组件和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件包括一个或多个传感器，用于为所述嵌入式设备提供各个方面的状态评估。例如，传感器组件可以检测到设备的打开/关闭状态，组件的相对定位，例如所述组件为所述嵌入式设备的显示器和小键盘，传感器组件还可以检测所述嵌入式设备或所述嵌入式设备一个组件的位置改变，用户与所述嵌入式设备接触的存在或不存在，所述嵌入式设备方位或加速/减速和所述嵌入式设备的温度变化。传感器组件可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件被配置为便于所述嵌入式设备和其他设备之间有线或无线方式的通信。所述嵌入式设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例，所述嵌入式设备可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

图5和6示出根据本公开示例实施方式的人机界面显示处理方法的流程图。该方法可例如利用如图1、2、3或4所示的人机界面显示处理装置实现，但本公开不限于此。需要注意的是，图5和6仅是根据本公开示例实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，图5和6所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块/进程/线程中同步或异步执行的。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

以上具体地示出和描述了本公开的示例性实施方式。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (10)

1.一种人机界面显示处理装置，应用于嵌入式设备，所述嵌入式设备中能够同时安装一第一应用程序和一第二应用程序，其特征在于，包括：

第一图形绘制设备，用于将所述第一应用程序需要显示的数据绘制到第一图形缓存上；

第二图形绘制设备，用于将所述第二应用程序需要显示的数据绘制到第二图形缓存上；

渲染设备，用于当需要在显示设备中同时显示所述第一应用程序和所述第二应用程序的人机界面时，将所述第一图形缓存和所述第二图形缓存相应的数据进行合成形成有效图像，且将所述有效图像渲染到所述显示设备中进行显示。

2.根据权利要求1所述的人机界面显示处理装置，其特征在于，所述第一图形绘制设备包括DirectFB设备，所述第二图形绘制设备包括OpenGL ES设备，所述嵌入式设备同时支持所述DirectFB设备和所述OpenGL ES设备。

3.根据权利要求2所述的人机界面显示处理装置，其特征在于，所述DirectFB设备包括：

第一申请模块，用于申请所述第一图形缓存作为绘制所述第一应用程序的人机界面的画板；

第一绑定模块，用于将初始化后的DirectFB与申请作为画板的所述第一图形缓存绑定；

第一绘制模块，用于控制DirectFB的函数在所述申请作为画板的所述第一图形缓存上进行所述第一应用程序的人机界面的绘制。

4.根据权利要求2所述的人机界面显示处理装置，其特征在于，所述OpenGL ES设备包括：

第二申请模块，用于申请所述第二图形缓存作为绘制所述第二应用程序的人机界面的画板；

第二绑定模块，用于将初始化后的OpenGL ES与申请作为画板的所述第二图形缓存绑定；

第二绘制模块，用于控制OpenGL ES的函数在所述申请作为画板的所述第二图形缓存上进行所述第二应用程序的人机界面的绘制。

5.根据权利要求2所述的人机界面显示处理装置，其特征在于，所述渲染设备包括：

第一转换模块，用于将所述第一图形缓存对应的数据转换为图像数据；

第二转换模块，用于将所述图像数据转换为OpenGL ES的第一纹理数据；

第三转换模块，用于将所述第二图形缓存对应的数据转换为OpenGL ES的第二纹理数据；

合成模块，用于将所述第一纹理数据和第二纹理数据进行合成形成要显示的有效图像；

显示模块，用于将所述有效图像进行渲染，并输出到所述显示设备中进行显示。

6.一种应用于如权利要求1所述的人机界面显示处理装置的人机界面显示处理方法，应用于嵌入式设备，所述嵌入式设备中能够同时安装一第一应用程序和一第二应用程序，其特征在于，包括：

通过所述第一图形绘制设备将第一应用程序需要显示的数据绘制到第一图形缓存上；

通过所述第二图形绘制设备将第二应用程序需要显示的数据绘制到第二图形缓存上；

当需要在显示设备中同时显示所述第一应用程序和所述第二应用程序的人机界面时，通过所述渲染设备将所述第一图形缓存和所述第二图形缓存相应的数据进行合成形成有效图像，且将所述有效图像渲染到所述显示设备中进行显示。

7.根据权利要求6所述的人机界面显示处理方法，其特征在于，所述第一图形绘制设备包括DirectFB设备，所述第二图形绘制设备包括OpenGL ES设备，所述嵌入式设备同时支持所述DirectFB设备和所述OpenGL ES设备。

8.根据权利要求7所述的人机界面显示处理方法，其特征在于，通过所述第一图形绘制设备将第一应用程序需要显示的数据绘制到第一图形缓存上包括：

申请所述第一图形缓存作为绘制所述第一应用程序的人机界面的画板；

将初始化后的DirectFB与申请作为画板的所述第一图形缓存绑定；

控制DirectFB的函数在所述申请作为画板的所述第一图形缓存上进行所述第一应用程序的人机界面的绘制。

9.根据权利要求7所述的人机界面显示处理方法，其特征在于，通过所述第二图形绘制设备将第二应用程序需要显示的数据绘制到第二图形缓存上包括：

申请所述第二图形缓存作为绘制所述第二应用程序的人机界面的画板；

用于将初始化后的OpenGL ES与申请作为画板的所述第二图形缓存绑定；

控制OpenGL ES的函数在所述申请作为画板的所述第二图形缓存上进行所述第二应用程序的人机界面的绘制。

10.根据权利要求7所述的人机界面显示处理方法，其特征在于，通过所述渲染设备将所述第一图形缓存和所述第二图形缓存相应的数据进行合成形成有效图像，且将所述有效图像渲染到所述显示设备中进行显示包括：

将所述第一图形缓存对应的数据转换为图像数据；

将所述图像数据转换为OpenGL ES的第一纹理数据；

将所述第二图形缓存对应的数据转换为OpenGL ES的第二纹理数据；

将所述第一纹理数据和第二纹理数据进行合成形成要显示的有效图像；

将所述有效图像进行渲染，并输出到所述显示设备中进行显示。