CN111813404B - 基于混合图形显示的应用方法、介质及客户端 - Google Patents

Abstract

本发明提供一种基于混合图形显示的应用方法、介质及客户端，所述基于混合图形显示的应用方法包括：根据一待显示应用程序的图形绘制指令，将所述待显示应用程序绘制于用户界面上；获取所述用户界面上的事件触发指令；结合所述事件触发指令确定用户所需的开发资源内容，并在所述用户界面上叠加显示用户所需的开发资源内容。本发明可以实现在现有项目的应用程序中借助另一个软件系统提供的环境进行快速、灵活的拓展。

Description

基于混合图形显示的应用方法、介质及客户端

技术领域

本发明属于图形显示的技术领域，涉及一种混合图形显示的方法，特别是涉及一种基于混合图形显示的应用方法、介质及客户端。

背景技术

目前，某些系统的开发环境及应用环境比较单一，尚没有可实现的能将其他系统应用集成在该系统中的方案。例如，Linux系统下有些应用层开发库仍不成熟，市面上并未出现能借助Android、iOS成熟的方案、海量的软件库，来丰富和提高用户的体验。而如果是为了在Linux系统下应用Android、iOS成熟的方案、海量的软件库，而原样移植整个应用程序到Android往往不符合实际需求，耗费巨大，且往往并不可行。

因此，如何提供一种基于混合图形显示的应用方法、介质及客户端，以解决现有技术无法简便、快捷地在一系统中集成另一系统的应用等缺陷，成为本领域技术人员亟待解决的技术问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于混合图形显示的应用方法、介质及客户端，用于解决现有技术无法简便、快捷地在一系统中集成另一系统的应用的问题。

为实现上述目的及其他相关目的，本发明一方面提供一种基于混合图形显示的应用方法，所述基于混合图形显示的应用方法包括：根据一待显示应用程序的图形绘制指令，将所述待显示应用程序绘制于用户界面上；获取所述用户界面上的事件触发指令；结合所述事件触发指令确定用户所需的开发资源内容，并在所述用户界面上叠加显示用户所需的开发资源内容。

于本发明的一实施例中，所述根据一待显示应用程序的图形绘制指令，将所述待显示应用程序绘制于用户界面上的步骤包括：确定所述图形绘制指令的绘制逻辑；根据所述绘制逻辑将所述待显示应用程序绘制于用户界面的相应位置上。

于本发明的一实施例中，所述获取所述用户界面上的事件触发指令的步骤包括：获取用户在所述用户界面上操作后发出的事件触发指令；所述事件触发指令是指用户针对所需的开发资源发出的操作指令；所述操作包括：触控操作、语音操作和感应操作中的一种操作或多种操作的组合。

于本发明的一实施例中，所述在所述用户界面上叠加显示用户所需的开发资源内容的步骤包括：接收网络下发的与所述开发资源内容对应的图形绘制指令；通过解析所述图形绘制指令确定所述开发资源内容的显示区域及绘制逻辑；在所述显示区域中按照所述绘制逻辑对所述开发资源内容进行绘制。

于本发明的一实施例中，所述接收网络下发的与所述开发资源内容对应的图形绘制指令的步骤包括：通过容器技术部署所述待显示应用程序的环境；在所述待显示应用程序的环境中将用户利用开发资源产生的输出结果转换为相应的图形绘制指令。

于本发明的一实施例中，所述在所述显示区域中按照所述绘制逻辑对所述开发资源内容进行绘制的步骤包括：按照所述输出结果帧缓冲的大小确定绘制周期；结合所述绘制逻辑，在所述绘制周期内逐一执行每一帧的输出结果图形对应的图形绘制指令，以完成对所述开发资源内容进行绘制。

于本发明的一实施例中，所述用户所需的开发资源内容为安卓手写输入法，所述获取所述用户界面上的事件触发指令的步骤包括：获取用户在所述用户界面的输入框中发出的点击指令。

于本发明的一实施例中，所述结合所述事件触发指令确定用户所需的开发资源内容，并在所述用户界面上叠加显示用户所需的开发资源内容的步骤包括：隐藏所述待显示应用程序对应的原始输入法功能；检测用户使用所述安卓输入法后的输出结果；将所述输出结果与所述待显示应用程序在所述用户界面上进行叠加显示。

本发明另一方面提供一种介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的基于混合图形显示的应用方法。

本发明最后一方面提供一种客户端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述客户端执行所述的基于混合图形显示的应用方法。

如上所述，本发明所述的基于混合图形显示的应用方法、介质及客户端，具有以下有益效果：

本发明提供了一种混合视图的显示方法，实现了不同应用的图形叠加，尤其是linux与不同系统中相应内容转换的图形的叠加。此外，控台上的linux程序把自己的逻辑分支替换成android上的代码，即替换指隐藏linux的逻辑分支，通过android来处理事务，得到结果，拓展了linux本土开发环境的某些局限，现有项目的应用程序中借助另一个软件系统提供的环境进行快速、灵活的拓展，特别是Windows/Linux系统下的应用程序，使用Android/iOS商用成熟的手写输入法、自然语言处理等提升用户体验的应用。

附图说明

图1显示为本发明的基于混合图形显示的应用方法于一实施例中的原理流程图。

图2显示为本发明的基于混合图形显示的应用方法于一实施例中的应用程序绘制流程图。

图3显示为本发明的基于混合图形显示的应用方法于一实施例中的叠加显示流程图。

图4显示为本发明的基于混合图形显示的应用方法于一实施例中的混合图形显示示意图。

图5显示为本发明的基于混合图形显示的应用方法于一实施例中的调用安卓手写输入法流程图。

图6显示为本发明的基于混合图形显示的客户端于一实施例中的结构连接示意图。

元件标号说明

6 客户端

61 处理器

62 存储器

S11～S13 步骤

S111～S112 步骤

S131～S133 步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明所述的基于混合图形显示的应用方法、介质及客户端可以实现在现有项目的应用程序中借助另一个软件系统提供的环境进行快速、灵活的拓展，提高了用户在应用单一且应用限制较多的系统环境中的用户体验。

其中，所述客户端从控台中接收图形绘制指令，所述控台与客户端统称为硬件设备，所述硬件设备例如可以是包括存储器、存储控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、显示屏、其他输出或控制设备，以及外部端口等组件的计算机。所述控台可以看作为服务器，该服务器根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以由分布的或集中的服务器集群构成；所述客户端包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal Digital Assistant，简称PDA)等个人电脑，还可以是行车电脑或智能眼镜、智能手表等智能穿戴设备。

以下将结合图1至图6详细阐述本实施例的一种基于混合图形显示的应用方法、介质及客户端的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本实施例的基于混合图形显示的应用方法、介质及客户端。

请参阅图1，显示为本发明的基于混合图形显示的应用方法于一实施例中的原理流程图。如图1所示，所述基于混合图形显示的应用方法具体包括以下几个步骤：

S11，根据一待显示应用程序的图形绘制指令，将所述待显示应用程序绘制于用户界面上。

需要说明的是，所述图形绘制指令是底层显卡的绘制原语，而非界面库提供的绘制逻辑集合。一般应用程序开发人员是用界面库绘制输入框，如Android提供的UI API。这些界面库封装了显卡的绘制细节。如Android的界面库和Linux的界面库是不同的，开发人员基于界面库编程写出来的程序不能在另一个操作系统直接运行使用。然而底层的显卡绘制指令在Android和Linux是一样的。通过底层的显卡的绘制指令进行绘制显示，可以实现在两个操作系统上运行同一个应用程序。

请参阅图2，显示为本发明的基于混合图形显示的应用方法于一实施例中的应用程序绘制流程图。如图2所示，S11包括：

S111，确定所述图形绘制指令的绘制逻辑。

S112，根据所述绘制逻辑将所述待显示应用程序绘制于用户界面的相应位置上。

S12，获取所述用户界面上的事件触发指令。

在本实施例中，获取用户在所述用户界面上操作后发出的事件触发指令；所述事件触发指令是指用户针对所需的开发资源发出的操作指令；所述操作包括：触控操作、语音操作和感应操作中的一种操作或多种操作的组合。

S13，结合所述事件触发指令确定用户所需的开发资源内容，并在所述用户界面上叠加显示用户所需的开发资源内容。

具体地，在调用开发资源的应用后，通过开发资源自身的指令逻辑处理事务，并将事务处理后的输出结果作为开发资源内容，用于绘制和显示。

请参阅图3，显示为本发明的基于混合图形显示的应用方法于一实施例中的叠加显示流程图。如图3所示，S13包括：

S131，接收网络下发的与所述开发资源内容对应的图形绘制指令。

具体地，S131包括：

(1)通过容器技术部署所述待显示应用程序的环境。

(2)在所述待显示应用程序的环境中将用户利用开发资源产生的输出结果转换为相应的图形绘制指令。

S132，通过解析所述图形绘制指令确定所述开发资源内容的显示区域及绘制逻辑。

S133，在所述显示区域中按照所述绘制逻辑对所述开发资源内容进行绘制。

具体地，S133包括：

(1)按照所述输出结果帧缓冲的大小确定绘制周期。

(2)结合所述绘制逻辑，在所述绘制周期内逐一执行每一帧的输出结果图形对应的图形绘制指令，以完成对所述开发资源内容进行绘制。

请参阅图4，显示为本发明的基于混合图形显示的应用方法于一实施例中的混合图形显示示意图。如图4所示，通过网络通讯将与Linux应用程序对应的图形绘制指令传输至安卓Android系统端，Android系统端按照所接收的图形绘制指令将Linux应用程序UI界面绘制在Android系统端界面上，同时，对Linux应用程序进行编辑、输入等操作时，隐藏Linux应用程序自带的编辑、输入逻辑，同时调用安卓Android系统端与该编辑、输入等应用对应的原生UI界面。

具体地，使用容器技术，将Linux应用程序的容器跑在安卓机器上，跟安卓主系统进行NAT(Network Address Translation，网络地址转换)连接。Linux应用程序通过这个网络线路显示在安卓的View界面上，可以调用Android原生的所有的开发资源。当要用Android开发资源代替Linux应用程序的功能时，对Linux应用程序的相应功能逻辑进行隐藏，用安卓Android端相应功能逻辑取而代之，从而使用户得到一台机器上的Linux应用程序调用Android所有开发资源的体验。

需要说明的是，在实际应用中，Linux系统和Android系统可以在一台机器设备上运行，也可以分开在两台机器设备上运行，当分开运行时，将Linux应用程序所在的机器作为控台，Android系统端作为客户端，所述控台用于发出与显示内容对应的图形绘制指令。用户面对的是Android上的屏幕。进一步地，所述控台中存储有多个应用程序或其他显示内容对应的图形绘制指令，将待显示内容进行存储，并看作一个逻辑屏，则控台中包含多个客户端可以调用的逻辑屏，控台中的逻辑屏也可以上传至云端服务器或一台管理服务器进行逻辑屏的统一管理。

此外，除本发明描述的实施例外，其他不同应用软件之间的图形显示结合以及功能结合，都可利用本发明的基于混合图形显示的应用方法进行实现，通过传输相应图形绘制指令的方式进行混合图形界面的显示。例如，在Word编辑界面中叠加显示一视频会议窗口，在Word编辑界面中叠加显示一游戏界面等。

请参阅图5，显示为本发明的基于混合图形显示的应用方法于一实施例中的调用安卓手写输入法流程图。如图5所示，显示了以调用安卓手写输入法为具体实施例的方法流程，具体包括：

S51，根据一待显示应用程序的图形绘制指令，将所述待显示应用程序绘制于用户界面上。

具体地，Android创建一个View，Linux应用程序通过网络将图形绘制指令传输到Android，View将应用程序的画面实时同步绘制出来。

进一步地，Android应用程序通过java代码编写。Android API提供了View这个类，在应用程序代码中新建一个View的类即可。优选的，新建一个GLSurfaceView类。SurfaceView是对Surface进行了一次封装，它内部帮助用户管理了一个Surface.用户使用SurfaceView其实最终都是获取到这个Surface去绘制。GLSurfaceView继承自SurfaceView，其实是对SurfaceView再做了一次封装，方便用户在安卓中使用OpenGL。

S52，获取用户在所述用户界面的输入框中发出的点击指令。

具体地，当用户点击输入框，激活手写输入法。

S53，隐藏所述待显示应用程序对应的原始输入法功能。

具体地，基于“激活手写输入法”这一外部事件，Linux应用程序隐藏调用原UI的逻辑，Android端调用自身的手写输入法，绘制叠加到View上。

由此，Linux的输入框变成Android风格的输入框。这里是“隐藏”linux的输入框逻辑，代替以android的输入框。以此情景为例，linux下的输入框不支持手写输入法，android下的输入框支持商业级完善的高度可用的手法识别功能，同时还支持语音功能。通过将原来linux下应用程序的输入框全替代成android输入框的逻辑，可以获得android手写识别和语音输入功能。

S54，检测用户使用所述安卓输入法后的输出结果。

需要说明的是，Android端调用自身的手写输入法并不是直接将手写输入的结果显示在安卓界面上，而是将手写输入的结果传送至Linux应用程序所在的控台，由控台发出与该手写输入的结果对应的图形绘制指令，Android端按照该图形绘制指令将手写输入的结果绘制显示在输入框的相应位置。由此实现了混合视图之下，用户得到了Linux应用程序调用Android手写输入法的体验。

S55，将所述输出结果与所述待显示应用程序在所述用户界面上进行叠加显示。

具体地，通过容器技术在一台机器中布署linux的环境，将linux下的项目的应用程序通过网络发送显卡级别的图形绘制指令到android上的应用程序。android的应用程序使用GLSurfaceView类将容器(另一台机器)里的应用程序的界面用显卡级别绘制指令的方法绘制出来。当linux端检测到输入法的UI元素，不将这些元素发到网络而是发出android绘制输入法的标记，即标记是指自定义的网络包，linux发网络包告知安卓在安卓屏幕显示的输入框内调用手写输入法的UI，具体的文字不是直接显示，而是根据网络包中的绘制坐标、绘制颜色等信息进行图形绘制。呈现在android应用程序上的观感就是linux应用程序的界面上使用的是android输入框、手写输入法。例如，绘制一正方形，并不是直接传输该正方形的图像，而是传输该正方形对应的坐标、颜色等绘制信息的指令。

上述实施例具体实现了在linux的应用程序界面上叠加android输入框，并在输入框中利用安卓的手写输入法显示输入内容的效果。linux应用程序及安卓端反馈的输入结果是通过网络发送显卡绘制指令在android的应用程序上绘制出来的，android应用程序执行显卡绘制指令即图形绘制指令的绘制逻辑，进而呈现显示内容。

将舞台灯光师编程这一具体地应用场景中，每一个触控按钮对应一套灯光舞美动作。灯光师在触控按钮上绘制文字可通过所述的基于混合图形显示的应用方法实现。灯光师点击触控按钮后绘制文字，该文字被转换成图形绘制指令，进而灯光师所用设备接收并执行图形绘制指令，以此将该文字对应的图片显示叠加到触控按钮上，其中这个绘制文字的UI界面可以是安卓设备上的。

本发明所述的基于混合图形显示的应用方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。

本实施例提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述基于混合图形显示的应用方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的计算机可读存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的计算机存储介质。

请参阅图6，显示为本发明的基于混合图形显示的客户端于一实施例中的结构连接示意图。如图6所示，本发明所述的客户端6包括：处理器61及存储器62。

所述存储器62用于存储计算机程序，所述处理器61用于执行所述存储器存储的计算机程序，以使所述客户端6执行所述的基于混合图形显示的应用方法。

上述的存储器62可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

上述的处理器61可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Alication SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable GateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

综上所述，本发明所述基于混合图形显示的应用方法、介质及客户端提供了一种混合视图的显示方法，实现了不同应用的图形叠加，尤其是linux与不同系统中相应内容转换的图形的叠加。此外，控台上的linux程序把自身的逻辑分支替换成android上的代码，即替换指隐藏linux的逻辑分支，通过android来处理事务，得到结果，拓展了linux本土开发环境的某些局限，现有项目的应用程序中借助另一个软件系统提供的环境进行快速、灵活的拓展，特别是Windows/Linux系统下的应用程序，使用Android/iOS商用成熟的手写输入法、自然语言处理等提升用户体验的应用。本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (8)

1.一种基于混合图形显示的应用方法，其特征在于，所述基于混合图形显示的应用方法包括：

根据一待显示应用程序的图形绘制指令，将所述待显示应用程序绘制于用户界面上；包括：确定所述图形绘制指令的绘制逻辑；根据所述绘制逻辑将所述待显示应用程序绘制于用户界面的相应位置上；所述图形绘制指令为底层的显卡绘制指令，在不同的操作系统中是相同的；通过底层的显卡绘制指令进行绘制，在两个不同的操作系统上运行同一个应用程序；

获取所述用户界面上的事件触发指令；包括：获取用户在所述用户界面上操作后发出的事件触发指令；所述事件触发指令是指用户针对所需的开发资源发出的操作指令；所述操作包括：触控操作、语音操作和感应操作中的一种操作或多种操作的组合；

结合所述事件触发指令确定用户所需的开发资源内容，并在所述用户界面上叠加显示用户所需的开发资源内容；包括：使用容器技术，将Linux应用程序的容器跑在安卓机器上，跟安卓主系统进行网络地址转换连接，Linux应用程序通过网络线路显示在安卓的View界面上，调用安卓原生的所有的开发资源；当要用安卓开发资源代替Linux应用程序的功能时，对Linux应用程序的相应功能逻辑进行隐藏，用安卓端相应功能逻辑代替。

2.根据权利要求1所述的基于混合图形显示的应用方法，其特征在于，所述在所述用户界面上叠加显示用户所需的开发资源内容的步骤包括：

接收网络下发的与所述开发资源内容对应的图形绘制指令；

通过解析所述图形绘制指令确定所述开发资源内容的显示区域及绘制逻辑；

在所述显示区域中按照所述绘制逻辑对所述开发资源内容进行绘制。

3.根据权利要求2所述的基于混合图形显示的应用方法，其特征在于，所述接收网络下发的与所述开发资源内容对应的图形绘制指令的步骤包括：

通过容器技术部署所述待显示应用程序的环境；

在所述待显示应用程序的环境中将用户利用开发资源产生的输出结果转换为相应的图形绘制指令。

4.根据权利要求3所述的基于混合图形显示的应用方法，其特征在于，所述在所述显示区域中按照所述绘制逻辑对所述开发资源内容进行绘制的步骤包括：

按照所述输出结果帧缓冲的大小确定绘制周期；

结合所述绘制逻辑，在所述绘制周期内逐一执行每一帧的输出结果图形对应的图形绘制指令，以完成对所述开发资源内容进行绘制。

5.根据权利要求1所述的基于混合图形显示的应用方法，其特征在于，所述用户所需的开发资源内容为安卓手写输入法，所述获取所述用户界面上的事件触发指令的步骤包括：

获取用户在所述用户界面的输入框中发出的点击指令。

6.根据权利要求5所述的基于混合图形显示的应用方法，其特征在于，所述结合所述事件触发指令确定用户所需的开发资源内容，并在所述用户界面上叠加显示用户所需的开发资源内容的步骤包括：

隐藏所述待显示应用程序对应的原始输入法功能；

检测用户使用所述安卓手写输入法后的输出结果；

将所述输出结果与所述待显示应用程序在所述用户界面上进行叠加显示。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的基于混合图形显示的应用方法。

8.一种客户端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述客户端执行如权利要求1至6中任一项所述的基于混合图形显示的应用方法。