CN105426191B - 用户界面显示处理方法及装置 - Google Patents

用户界面显示处理方法及装置 Download PDF

Info

Publication number
CN105426191B
CN105426191B CN201510823978.2A CN201510823978A CN105426191B CN 105426191 B CN105426191 B CN 105426191B CN 201510823978 A CN201510823978 A CN 201510823978A CN 105426191 B CN105426191 B CN 105426191B
Authority
CN
China
Prior art keywords
interface
opengl
user interface
drawing board
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510823978.2A
Other languages
English (en)
Other versions
CN105426191A (zh
Inventor
梁权清
吕伟龙
宁秋梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Skyworth RGB Electronics Co Ltd
Original Assignee
Shenzhen Skyworth RGB Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Skyworth RGB Electronics Co Ltd filed Critical Shenzhen Skyworth RGB Electronics Co Ltd
Priority to CN201510823978.2A priority Critical patent/CN105426191B/zh
Priority to AU2016269452A priority patent/AU2016269452B2/en
Priority to PCT/CN2016/075878 priority patent/WO2017088318A1/zh
Priority to US15/317,127 priority patent/US10268336B2/en
Publication of CN105426191A publication Critical patent/CN105426191A/zh
Application granted granted Critical
Publication of CN105426191B publication Critical patent/CN105426191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Abstract

本发明公开了一种用户界面显示处理方法，所述用户界面显示处理方法包括以下步骤：向Surface管理器申请Surface作为绘制界面的画板；将初始化后的OpenGL ES与申请作为画板的Surface绑定；控制OpenGL ES的函数在所述申请作为画板的Surface上进行界面绘制；在界面绘制完成后，将所有的Surface组合形成画板窗口数据与显示帧缓冲窗口数据交换；将交换后的显示帧缓冲窗口数据输出显示。本发明还公开了一种用户界面显示处理装置。本发明提高了应用程序的可移植性。

Description

用户界面显示处理方法及装置
技术领域
本发明涉及电视技术领域，尤其涉及用户界面显示处理方法及装置。
背景技术
众所周知，Android操作系统由Linux内核、库、Dalvik虚拟机、Android应用框架等组成。在智能电视系统中，Android应用进行图形界面绘制的方式通常是基于Dalvik虚拟机和Android视窗框架，因此导致应用程序的依赖性较高，可移植性较差。
发明内容
本发明的主要目的在于提供一种用户界面显示处理方法及装置，旨在提高应用程序的可移植性。
为实现上述目的，本发明提供的一种用户界面显示处理方法包括以下步骤：
向Surface管理器申请Surface作为绘制界面的画板；
将初始化后的OpenGL ES与申请作为画板的Surface绑定；
控制OpenGL ES的函数在所述申请作为画板的Surface上进行界面绘制；
在界面绘制完成后，将所有的Surface组合形成画板窗口数据与显示帧缓冲窗口数据交换；
将交换后的显示帧缓冲窗口数据输出显示。
优选地，所述控制OpenGL ES的函数在所述申请作为画板的Surface上进行界面绘制包括：
控制OpenGL ES的函数利用OpenGL ES的图形函数在所述申请作为画板的Surface上绘制图形，以形成界面；或者，
控制OpenGL ES的函数利用纹理贴图在所述申请作为画板的Surface上进行贴图处理，以形成界面。
优选地，在控制OpenGL ES的函数绘制界面时，利用多张界面图片实现界面的动画显示，或者，利用OpenGL ES的渲染变换实现界面的动画显示。
优选地，所述用户界面显示处理方法还包括：
与预置的壳程序建立通讯机制；
接收并处理所述壳程序转发的操作信息；所述操作信息为所述壳程序接收到的输入信息与预置的窗口管理器的指令。
优选地，所述用户界面显示处理方法还包括：
侦测到用户界面显示指令时，调用show()函数显示所述帧缓冲窗口数据对应的界面；
侦测到用户界面隐藏指令时，调用hide()函数隐藏所述帧缓冲窗口数据对应的界面。
此外，为实现上述目的，本发明还提供一种用户界面显示处理装置包括：
画板申请模块，用于向Surface管理器申请Surface作为绘制界面的画板；
绑定模块，用于将初始化后的OpenGL ES与申请作为画板的Surface绑定；
控制模块，用于控制OpenGL ES的函数在所述申请作为画板的Surface上进行界面绘制；
数据交换模块，用于在界面绘制完成后，将所有的Surface组合形成画板窗口数据与显示帧缓冲窗口数据交换；
输出模块，用于将交换后的显示帧缓冲窗口数据输出显示。
优选地，所述控制模块具体用于：
控制OpenGL ES的函数利用OpenGL ES的图形函数在所述申请作为画板的Surface上绘制图形，以形成界面；或者，
控制OpenGL ES的函数利用纹理贴图在所述申请作为画板的Surface上进行贴图处理，以形成界面。
优选地，所述控制模块还用于，在控制OpenGL ES的函数绘制界面时，利用多张界面图片实现界面的动画显示，或者，利用OpenGL ES的渲染变换实现界面的动画显示。
优选地，所述用户界面显示处理装置还包括：
通讯模块，用于与预置的壳程序建立通讯机制；
接收模块，用于接收并处理所述壳程序转发的操作信息；所述操作信息为所述壳程序接收到的输入信息与预置的窗口管理器的指令。
优选地，所述用户界面显示处理装置还包括：
调用模块，用于侦测到用户界面显示指令时，调用show()函数显示所述帧缓冲窗口数据对应的界面；侦测到用户界面隐藏指令时，调用hide()函数隐藏所述帧缓冲窗口数据对应的界面。
本发明实施例通过向Surface管理器申请Surface作为绘制界面的画板；将初始化后的OpenGL ES与申请作为画板的Surface绑定；控制OpenGL ES的函数在所述申请作为画板的Surface上进行界面绘制；在界面绘制完成后，将所有的Surface组合形成画板窗口数据与显示帧缓冲窗口数据交换；将交换后的显示帧缓冲窗口数据输出显示。由于本发明实施例可以显现用户界面的绘制和显示既能够不依赖Android视窗框架、又不依赖Dalvik虚拟机就能运行，提高了应用程序的可移植性。
附图说明
图1为本发明用户界面显示处理方法一实施例的流程示意图；
图2为本发明用户界面显示处理方法另一实施例的流程示意图；
图3为本发明用户界面显示处理装置一实施例的功能模块示意图；
图4为本发明用户界面显示处理装置另一实施例的功能模块示意图；
图5为本发明用户界面显示处理装置又一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明主要的目的在于如何实现一套UI(User Interface，用户界面)绘制，既能够不依赖Android视窗框架、又不依赖Dalvik虚拟机就能运行。而且这套UI的绘制既能独立运行，又能与Android视窗框架同时无缝结合运行，用户操作起来，跟普通的应用程序毫无区别。基于这套UI的绘制，可以很方便地实现悬浮界面的绘制。在需要显示的时候，能够实现立即显示的速度，在需要隐藏的时候，也能做到立即显示。
参照图1，在一实施例中，该用户界面显示处理方法包括以下步骤：
步骤S10，向Surface管理器申请Surface作为绘制界面的画板；
由于需要在终端的屏幕上进行用户界面绘制，所以必须申请一块可以进行绘画的画板。这块画板可以是硬件上的帧缓冲，也可以是受操作系统管理的一块显示对象。由于本发明需要与Android视窗框架同时无缝结合运行，所以本发明向Android的Surface管理器(SurfaceFlinger)申请一个Surface作为绘制界面的画板显示层。
步骤S20，将初始化后的OpenGL ES与申请作为画板的Surface绑定；
具体地，OpenGL ES(OpenGL for Embedded Systems)是OpenGL三维图形API的子集，针对手机、PDA和游戏主机等嵌入式设备而设计。该API由Khronos集团定义推广，Khronos是一个图形软硬件行业协会，该协会主要关注图形和多媒体方面的开放标准。OpenGL ES是免授权费的，跨平台的，功能完善的2D和3D图形应用程序接口API，主要针对多种嵌入式系统专门设计-包括控制台、移动电话、手持设备、家电设备和汽车。它由精心定义的桌面OpenGL子集组成，创造了软件与图形加速间灵活强大的底层交互接口。OpenGL ES包含浮点运算和定点运算系统描述以及EGL针对便携设备的本地视窗系统规范。OpenGL ES1.X面向功能固定的硬件所设计并提供加速支持、图形质量及性能标准。OpenGL ES 2.X则提供包括遮盖器技术在内的全可编程3D图形算法。
在OpenGL ES与Surface绑定后，OpenGL ES就可以与本地系统的窗口系统进行通信，以使得OpenGL ES的数学图形运算能够在Surface上进行展示。在运行OpenGL ES之前首先需要对OpenGL ES进行初始话处理，在进行初始化处理后，再将OpenGL ES与Surface绑定。
步骤S30，控制OpenGL ES的函数在所述申请作为画板的Surface上进行界面绘制；
本实施例中，需要使用OpenGL ES的函数进行界面绘制。具体地，在进行用户界面绘制时，可以直接使用OpenGL ES的函数在上述Surface上进行图形绘制，以形成用户界面。可以理解的是，在使用OpenGL ES的函数进行用户界面绘制时，可以采用OpenGL ES的本身自带的图形函数，也可以采用纹理贴图的方式。即在本实施例中，上述步骤S30包括：控制OpenGL ES的函数利用OpenGL ES的图形函数在所述申请作为画板的Surface上绘制图形，以形成界面；或者，控制OpenGL ES的函数利用纹理贴图在所述申请作为画板的Surface上进行贴图处理，以形成界面。
步骤S40，在界面绘制完成后，将所有的Surface组合形成画板窗口数据与显示帧缓冲窗口数据交换；
步骤S50，将交换后的显示帧缓冲窗口数据输出显示。
本实施例中，当一个用户界面绘制完成后，可以通过显示缓冲窗口与画板的窗口进行数据交换，以将将所有的Surface组合形成画板窗口数据转换至帧缓冲窗口中，即存储至显存中；最后将显存中的数据进行输出显示即可实现用户界面的显示。具体地，硬件显示芯片会直接处理帧缓冲窗口的数据，有必要时会进行一些信号转换，把具体的像素信号输出的屏幕上，屏幕再根据像素信号，把每个对应的像素点显示出来。
本发明实施例通过向Surface管理器申请Surface作为绘制界面的画板；将初始化后的OpenGL ES与申请作为画板的Surface绑定；控制OpenGL ES的函数在所述申请作为画板的Surface上进行界面绘制；在界面绘制完成后，将所有的Surface组合形成画板窗口数据与显示帧缓冲窗口数据交换；将交换后的显示帧缓冲窗口数据输出显示。由于本发明实施例可以显现用户界面的绘制和显示既能够不依赖Android视窗框架、又不依赖Dalvik虚拟机就能运行，提高了应用程序的可移植性。
进一步地，基于上述实施例，在本实施例中，在控制OpenGL ES的函数绘制界面时，利用多张界面图片实现界面的动画显示，或者，利用OpenGL ES的渲染变换实现界面的动画显示。
具体地，本实施例中，用户界面可以采用静态显示，也可以采用动画效果显示。当采用动画效果显示时，可以利用多张界面图片实现界面的动画显示，也可以利用OpenGL ES的渲染变换实现界面的动画显示。例如利用多张界面图片实现界面的动画显示时，可以每隔一预置时间间隔在申请作为绘制界面的画板的Surface绘制一张界面，然后将所有的Surface组合形成画板窗口数据与显示帧缓冲窗口数据交换，最后将交换后的显示帧缓冲窗口数据输出显示，从而实现动画效果。利用OpenGL ES的渲染变换实现界面的动画显示时，可以每隔一预置时间间隔对Surface上绘制的界面进行渲染形成不同的效果，其次将Surface组合形成画板窗口数据与显示帧缓冲窗口数据交换，最后将交换后的显示帧缓冲窗口数据输出显示，从而实现动画效果。
进一步地，参照图2，基于上述实施例，本实施例中，上述用户界面显示处理方法还包括：
步骤S60，与预置的壳程序建立通讯机制；
步骤S70，接收并处理所述壳程序转发的操作信息；所述操作信息为所述壳程序接收到的输入信息与预置的窗口管理器的指令。
由于本方案直接跳过了Android应用程序框架以及Dalvik虚拟机，所以采用本发明实施例提供的用户界面显示处理方法对应的目标应用程序在Android系统上运行，会有一些输入输出上的不兼容问题，主要集中在按键、触摸输入以及窗口显示调度上。例如遥控按键，该目标应用程序接收到了按键值，Android应用程序也能同时接收到按键值。造成这种不兼容的主要原因是：不采用Android应用框架来制作上述目标应用程序，导致Android系统的窗口管理器不知道上述目标应用程序的存在。
在此为了解决上述问题，本实施例中可以首先设置一个普通的Android应用该应用没有任何界面内容，全部看起来都是透明的(即为本申请中所称的壳程序)。该壳程序跟普通的Android应用一样能够接收Android的输入输出信号，并且受Android窗口管理器管理与调度。在本申请中，可以首先与该壳程序建立SOCKET通讯机制，该壳程序将会把所有接收到的输入信息和Android窗口管理器发送的指令转发给上述目标应用程序，进行处理；从而实现与Android视窗框架同时无缝结合。
进一步地，基于上述实施例，本实施例中，上述用户界面显示处理方法还包括：
侦测到用户界面显示指令时，调用show()函数显示所述帧缓冲窗口数据对应的界面；
侦测到用户界面隐藏指令时，调用hide()函数隐藏所述帧缓冲窗口数据对应的界面。
本发明实施例，上述show()函数与hide()函数为本方案中内置的程序接口函数，并非安卓程系统序中的函数。安卓系统通过壳程序反向间接调用本方案的show()与hide()，来实现显示与隐藏用户界面的目的，使得本方案程序与一般Android应用表现得一样，都接受安卓系统的窗口显示调度，增强兼容性。
本发明还提供一种用户界面显示处理装置，参照图3，在一实施例中，本发明提供的用户界面显示处理装置包括：
画板申请模块10，用于向Surface管理器申请Surface作为绘制界面的画板；
由于需要在终端的屏幕上进行用户界面绘制，所以必须申请一块可以进行绘画的画板。这块画板可以是硬件上的帧缓冲，也可以是受操作系统管理的一块显示对象。由于本发明需要与Android视窗框架同时无缝结合运行，所以本发明向Android的Surface管理器(SurfaceFlinger)申请一个Surface作为绘制界面的画板显示层。
绑定模块20，用于将初始化后的OpenGL ES与申请作为画板的Surface绑定；
具体地，OpenGL ES(OpenGL for Embedded Systems)是OpenGL三维图形API的子集，针对手机、PDA和游戏主机等嵌入式设备而设计。该API由Khronos集团定义推广，Khronos是一个图形软硬件行业协会，该协会主要关注图形和多媒体方面的开放标准。OpenGL-ES是免授权费的，跨平台的，功能完善的2D和3D图形应用程序接口API，主要针对多种嵌入式系统专门设计-包括控制台、移动电话、手持设备、家电设备和汽车。它由精心定义的桌面OpenGL子集组成，创造了软件与图形加速间灵活强大的底层交互接口。OpenGL ES包含浮点运算和定点运算系统描述以及EGL针对便携设备的本地视窗系统规范。OpenGL ES1.X面向功能固定的硬件所设计并提供加速支持、图形质量及性能标准。OpenGL ES 2.X则提供包括遮盖器技术在内的全可编程3D图形算法。
在OpenGL ES与Surface绑定后，OpenGL ES就可以与本地系统的窗口系统进行通信，以使得OpenGL ES的数学图形运算能够在Surface上进行展示。在运行OpenGL ES之前首先需要对OpenGL ES进行初始话处理，在进行初始化处理后，再将OpenGL ES与Surface绑定。
控制模块30，用于控制OpenGL ES的函数在所述申请作为画板的Surface上进行界面绘制；
本实施例中，需要使用OpenGL ES的函数进行界面绘制。具体地，在进行用户界面绘制时，可以直接使用OpenGL ES的函数在上述Surface上进行图形绘制，以形成用户界面。可以理解的是，在使用OpenGL ES的函数进行用户界面绘制时，可以采用OpenGL ES的本身自带的图形函数，也可以采用纹理贴图的方式。即在本实施例中，上述控制模块30具体用于：控制OpenGL ES的函数利用OpenGL ES的图形函数在所述申请作为画板的Surface上绘制图形，以形成界面；或者，控制OpenGL ES的函数利用纹理贴图在所述申请作为画板的Surface上进行贴图处理，以形成界面。
数据交换模块40，用于在界面绘制完成后，将所有的Surface组合形成画板窗口数据与显示帧缓冲窗口数据交换；
输出模块50，用于将交换后的显示帧缓冲窗口数据输出显示。
本实施例中，当一个用户界面绘制完成后，可以通过显示缓冲窗口与画板的窗口进行数据交换，以将将所有的Surface组合形成画板窗口数据转换至帧缓冲窗口中，即存储至显存中；最后将显存中的数据进行输出显示即可实现用户界面的显示。具体地，硬件显示芯片会直接处理帧缓冲窗口的数据，有必要时会进行一些信号转换，把具体的像素信号输出的屏幕上，屏幕再根据像素信号，把每个对应的像素点显示出来。
本发明实施例通过向Surface管理器申请Surface作为绘制界面的画板；将初始化后的OpenGL ES与申请作为画板的Surface绑定；控制OpenGL ES的函数在所述申请作为画板的Surface上进行界面绘制；在界面绘制完成后，将所有的Surface组合形成画板窗口数据与显示帧缓冲窗口数据交换；将交换后的显示帧缓冲窗口数据输出显示。由于本发明实施例可以显现用户界面的绘制和显示既能够不依赖Android视窗框架、又不依赖Dalvik虚拟机就能运行，提高了应用程序的可移植性。
进一步地，基于上述实施例，在本实施例中，在控制OpenGL ES的函数绘制界面时，利用多张界面图片实现界面的动画显示，或者，利用OpenGL ES的渲染变换实现界面的动画显示。
具体地，本实施例中，用户界面可以采用静态显示，也可以采用动画效果显示。当采用动画效果显示时，可以利用多张界面图片实现界面的动画显示，也可以利用OpenGL ES的渲染变换实现界面的动画显示。例如利用多张界面图片实现界面的动画显示时，可以每隔一预置时间间隔在申请作为绘制界面的画板的Surface绘制一张界面，然后将所有的Surface组合形成画板窗口数据与显示帧缓冲窗口数据交换，最后将交换后的显示帧缓冲窗口数据输出显示，从而实现动画效果。利用OpenGL ES的渲染变换实现界面的动画显示时，可以每隔一预置时间间隔对Surface上绘制的界面进行渲染形成不同的效果，其次将Surface组合形成画板窗口数据与显示帧缓冲窗口数据交换，最后将交换后的显示帧缓冲窗口数据输出显示，从而实现动画效果。
进一步地，参照图4，基于上述实施例，本实施例中，上述用户界面显示处理装置还包括：
通讯模块60，用于与预置的壳程序建立通讯机制；
接收模块70，用于接收并处理所述壳程序转发的操作信息；所述操作信息为所述壳程序接收到的输入信息与预置的窗口管理器的指令。
由于本方案直接跳过了Android应用程序框架以及Dalvik虚拟机，所以采用本发明实施例提供的用户界面显示处理方法对应的目标应用程序在Android系统上运行，会有一些输入输出上的不兼容问题，主要集中在按键、触摸输入以及窗口显示调度上。例如遥控按键，该目标应用程序接收到了按键值，Android应用程序也能同时接收到按键值。造成这种不兼容的主要原因是：不采用Android应用框架来制作上述目标应用程序，导致Android系统的窗口管理器不知道上述目标应用程序的存在。
在此为了解决上述问题，本实施例中可以首先设置一个普通的Android应用该应用没有任何界面内容，全部看起来都是透明的(即为本申请中所称的壳程序)。该壳程序跟普通的Android应用一样能够接收Android的输入输出信号，并且受Android窗口管理器管理与调度。在本申请中，可以首先与该壳程序建立SOCKET通讯机制，该壳程序将会把所有接收到的输入信息和Android窗口管理器发送的指令转发给上述目标应用程序，进行处理；从而实现与Android视窗框架同时无缝结合。
进一步地，参照图5，基于上述实施例，本实施例中，上述用户界面显示处理装置还包括：
调用模块80，用于侦测到用户界面显示指令时，调用show()函数显示所述帧缓冲窗口数据对应的界面；侦测到用户界面隐藏指令时，调用hide()函数隐藏所述帧缓冲窗口数据对应的界面。
本发明实施例，上述show()函数与hide()函数为本方案中内置的程序接口函数，并非安卓程系统序中的函数。安卓系统通过壳程序反向间接调用本方案的show()与hide()，来实现显示与隐藏用户界面的目的，使得本方案程序与一般Android应用表现得一样，都接受安卓系统的窗口显示调度，增强兼容性。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种用户界面显示处理方法，其特征在于，所述用户界面显示处理方法包括以下步骤：
向Surface管理器申请Surface作为绘制界面的画板；
将初始化后的OpenGL ES与申请作为画板的Surface绑定；
控制OpenGL ES的函数在所述申请作为画板的Surface上进行界面绘制；
在界面绘制完成后，将所有的Surface组合形成画板窗口数据与显示帧缓冲窗口数据交换；
将交换后的显示帧缓冲窗口数据输出显示；
与预置的壳程序建立通讯机制；
接收并处理所述壳程序转发的操作信息；所述操作信息为所述壳程序接收到的输入信息与预置的窗口管理器的指令。
2.如权利要求1所述的用户界面显示处理方法，其特征在于，所述控制OpenGL ES的函数在所述申请作为画板的Surface上进行界面绘制包括：
控制OpenGL ES的函数利用OpenGL ES的图形函数在所述申请作为画板的Surface上绘制图形，以形成界面；或者，
控制OpenGL ES的函数利用纹理贴图在所述申请作为画板的Surface上进行贴图处理，以形成界面。
3.如权利要求2所述的用户界面显示处理方法，其特征在于，在控制OpenGL ES的函数绘制界面时，利用多张界面图片实现界面的动画显示，或者，利用OpenGL ES的渲染变换实现界面的动画显示。
4.如权利要求1至3任一项所述的用户界面显示处理方法，其特征在于，所述用户界面显示处理方法还包括：
侦测到用户界面显示指令时，调用show()函数显示所述帧缓冲窗口数据对应的界面；
侦测到用户界面隐藏指令时，调用hide()函数隐藏所述帧缓冲窗口数据对应的界面。
5.一种用户界面显示处理装置，其特征在于，所述用户界面显示处理装置包括：
画板申请模块，用于向Surface管理器申请Surface作为绘制界面的画板；
绑定模块，用于将初始化后的OpenGL ES与申请作为画板的Surface绑定；
控制模块，用于控制OpenGL ES的函数在所述申请作为画板的Surface上进行界面绘制；
数据交换模块，用于在界面绘制完成后，将所有的Surface组合形成画板窗口数据与显示帧缓冲窗口数据交换；
输出模块，用于将交换后的显示帧缓冲窗口数据输出显示；
通讯模块，用于与预置的壳程序建立通讯机制；
接收模块，用于接收并处理所述壳程序转发的操作信息；所述操作信息为所述壳程序接收到的输入信息与预置的窗口管理器的指令。
6.如权利要求5所述的用户界面显示处理装置，其特征在于，所述控制模块具体用于：
控制OpenGL ES的函数利用OpenGL ES的图形函数在所述申请作为画板的Surface上绘制图形，以形成界面；或者，
控制OpenGL ES的函数利用纹理贴图在所述申请作为画板的Surface上进行贴图处理，以形成界面。
7.如权利要求6所述的用户界面显示处理装置，其特征在于，所述控制模块还用于，在控制OpenGL ES的函数绘制界面时，利用多张界面图片实现界面的动画显示，或者，利用OpenGL ES的渲染变换实现界面的动画显示。
8.如权利要求5至7任一项所述的用户界面显示处理装置，其特征在于，所述用户界面显示处理装置还包括：
调用模块，用于侦测到用户界面显示指令时，调用show()函数显示所述帧缓冲窗口数据对应的界面；侦测到用户界面隐藏指令时，调用hide()函数隐藏所述帧缓冲窗口数据对应的界面。
CN201510823978.2A 2015-11-23 2015-11-23 用户界面显示处理方法及装置 Active CN105426191B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510823978.2A CN105426191B (zh) 2015-11-23 2015-11-23 用户界面显示处理方法及装置
AU2016269452A AU2016269452B2 (en) 2015-11-23 2016-03-08 User interface displaying and processing method and user interface displaying and processing device
PCT/CN2016/075878 WO2017088318A1 (zh) 2015-11-23 2016-03-08 用户界面显示处理方法及装置
US15/317,127 US10268336B2 (en) 2015-11-23 2016-03-08 User interface displaying and processing method and user interface displaying and processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510823978.2A CN105426191B (zh) 2015-11-23 2015-11-23 用户界面显示处理方法及装置

Publications (2)

Publication Number Publication Date
CN105426191A CN105426191A (zh) 2016-03-23
CN105426191B true CN105426191B (zh) 2019-01-18

Family

ID=55504421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510823978.2A Active CN105426191B (zh) 2015-11-23 2015-11-23 用户界面显示处理方法及装置

Country Status (4)

Country Link
US (1) US10268336B2 (zh)
CN (1) CN105426191B (zh)
AU (1) AU2016269452B2 (zh)
WO (1) WO2017088318A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106873930B (zh) * 2017-01-13 2019-12-13 北京安云世纪科技有限公司 使用OpenGL绘制用户界面的方法、装置以及移动终端
CN106843794B (zh) * 2017-02-27 2020-10-30 福建星网视易信息系统有限公司 一种基于安卓的分屏显示方法和系统
CN108933955A (zh) * 2017-05-24 2018-12-04 阿里巴巴集团控股有限公司 一种绘制方法及装置
CN107608588B (zh) * 2017-10-20 2021-11-30 京东方科技集团股份有限公司 显示层、显示方法、显示系统和操作系统
CN108897487B (zh) * 2018-07-04 2021-09-07 常州新途软件有限公司 车载系统的快速显示方法
CN109308742A (zh) * 2018-08-09 2019-02-05 重庆爱奇艺智能科技有限公司 一种在虚拟现实的3d场景中运行2d应用的方法和装置
CN109887058A (zh) * 2018-11-07 2019-06-14 上海艾麒信息科技有限公司 跨平台绘图系统
CN112860252A (zh) * 2019-11-27 2021-05-28 Oppo广东移动通信有限公司 界面绘制方法及相关产品
CN112764619B (zh) * 2021-01-22 2023-03-21 联想(北京)有限公司 一种窗口控制方法及电子设备
CN113190306B (zh) * 2021-04-12 2024-02-20 沈阳中科创达软件有限公司 显示层级的切换方法、装置、设备及存储介质
CN116627579B (zh) * 2023-07-24 2023-10-31 麒麟软件有限公司 一种在Linux上缩放安卓应用窗口的方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7487516B1 (en) * 2005-05-24 2009-02-03 Nvidia Corporation Desktop composition for incompatible graphics applications
WO2012044557A2 (en) * 2010-10-01 2012-04-05 Imerj, Llc Auto-configuration of a docked system in a multi-os environment
US8860716B2 (en) * 2010-10-13 2014-10-14 3D Nuri Co., Ltd. 3D image processing method and portable 3D display apparatus implementing the same
CN102306076B (zh) * 2011-07-26 2016-02-03 深圳Tcl新技术有限公司 图形动态纹理的生成方法及终端
CN102681853B (zh) * 2012-05-17 2015-05-20 中科方德软件有限公司 一种利用OpenGL ES实现安卓操作系统桌面3D转屏的方法及装置
US9823935B2 (en) * 2012-07-26 2017-11-21 Nvidia Corporation Techniques for latching input events to display flips
US20150193904A1 (en) * 2012-10-24 2015-07-09 OpenMobile World Wide, Inc. Graphics acceleration for applications executing on mobile devices with multi-operating system environment
CN104123110A (zh) * 2013-04-26 2014-10-29 上海赤炫信息科技有限公司 一种Android双屏异像显示方法
CN103456035B (zh) * 2013-09-06 2016-04-13 福建星网视易信息系统有限公司 实现视频三维显示的装置及方法
CN104035768B (zh) * 2014-05-30 2017-09-19 四川长虹电器股份有限公司 Android平台兼容本地代码OpenGL程序的系统及方法
US20160188279A1 (en) * 2014-12-27 2016-06-30 Intel Corporation Mode-switch protocol and mechanism for hybrid wireless display system with screencasting and native graphics throwing

Also Published As

Publication number Publication date
WO2017088318A1 (zh) 2017-06-01
CN105426191A (zh) 2016-03-23
AU2016269452A1 (en) 2017-06-15
AU2016269452B2 (en) 2020-07-09
US20170285883A1 (en) 2017-10-05
US10268336B2 (en) 2019-04-23

Similar Documents

Publication Publication Date Title
CN105426191B (zh) 用户界面显示处理方法及装置
JP6504212B2 (ja) 装置、方法およびシステム
CN105278950B (zh) 用于执行视频通话增强功能的方法及其电子装置
US9665923B2 (en) System, method and computer program product for remote graphics processing
US10902663B2 (en) Method and apparatus for displaying 2D application interface in virtual reality device
US9146762B2 (en) Specialized virtual machine to virtualize hardware resource for guest virtual machines
CN111433743B (zh) 一种app远程控制方法及相关设备
CN108108140B (zh) 一种多屏协同显示方法及存储装置及支持3d显示的设备
CN103164839A (zh) 一种绘图方法、装置及终端
CN101960485A (zh) 多情境图形处理
CN107770618A (zh) 一种图像处理方法、装置及存储介质
CN107122148A (zh) 远程协作方法及系统
CN105844581B (zh) 一种图像绘制方法、装置及设备
WO2021128929A1 (zh) 一种全景应用中图像渲染的方法及终端设备
CN103164227B (zh) 一种窗口图像的采集方法及装置
CN108335342A (zh) 在web浏览器上进行多人绘画的方法、设备和计算机程序产品
CN108595284B (zh) 一种纹理共享方法、计算机设备和存储介质
CN108089929A (zh) 一种用插件操作应用程序的方法及装置
CN115373618A (zh) 一种多屏显示方法、装置、车机及存储介质
CN108604367A (zh) 一种显示方法以及手持电子设备
CN114924837A (zh) 数据处理方法、电子设备和可读存储介质
CN116982069A (zh) 用于灵活图形增强和执行的方法和系统
KR101566508B1 (ko) 메모리 가상화를 구현한 그래픽 처리 방법 및 그 장치
CN116912093A (zh) 画面的渲染方法、装置、电子设备和存储介质
CN115729435A (zh) 一种实现桌面应用交互及渲染的方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant