CN103617027B - 基于安卓系统的图像渲染引擎构建方法及系统 - Google Patents

Abstract

本申请公开了一种基于安卓系统的图像渲染引擎构建方法及系统，该方法包括：创建本地窗口对象，将该本地窗口对象的图像数据传送至相对应的底层接口，建立所述本地窗口对象与渲染线程的连接；所述渲染线程以外的数据线程中有图像数据传输到指定的资源存储空间后，启动所述渲染线程对所述资源存储空间中的所述图像数据进行图像渲染，生成渲染数据；实时获取所述渲染数据进行显示，并在渲染完毕后销毁所述本地窗口对象，结束所述渲染线程。本申请解决了移动设备的渲染线程运行效率较低的问题。

Description

基于安卓系统的图像渲染引擎构建方法及系统

技术领域

本申请涉及图像渲染处理领域，具体地说，涉及一种基于安卓系统的图像渲染引擎构建方法及系统。

背景技术

随着移动设备功能的不断丰富，人们通过移动设备进行视频渲染处理后便可在移动设备上方便地观看视频。视频渲染，指的是将图像数据按帧率在规定时间内按顺序输入到显存中，再输出到屏幕上进行显示，从而呈现出动画效果的过程。

目前，在谷歌公司的Android（安卓）平台（系统）运行的移动应用程序主要由java语言（一种高级程序设计语言）进行开发，安卓系统的SDK（Software Development Kit, 软件开发工具包）中提供了大量的使用系统硬件功能的API（Application Programming Interface，应用程序编程接口）让开发者使用。然而，java语言编写的程序在执行效率上较C/C++（计算机程序编译语言）开发的程序有明显不足，系统SDK中的API虽然种类繁多，但无法普及日益增多且复杂化的开发需求。而视频的渲染程序在开发过程中需要具备处理高吞吐量数据、实时性处理等特点，即对视频的渲染程序的运行效率有极高的要求，那么，仅靠安卓系统自带的SDK所提供的框架API难以实现在资源有限的移动设备中开发出满足上述条件的应用。

现有技术中，移动设备普遍采用Opengl ES（一种针对移动设备而设计的三维图形编程接口）进行图像处理。针对该Opengl ES图形化编程接口，安卓系统的SDK中提供了一个名为GLSurfaceView的java类（其中，类为java语言中状态和行为的集合）来实现移动终端视窗系统与Opengl ES的通信。但是，采用这种方法开发视频应用仍然存在缺陷：1、由于该java类将移动终端视窗系统与Opengl ES的通信做了内部封装，使渲染线程的管理存在封闭性，不利于程序的灵活开发；2、由于渲染线程的管理模块采用谷歌特有的碎片化模块的编写方式，管理类中包含很多冗余操作，直接影响程序的执行效率。

综上所述，如何解决移动设备的渲染线程运行效率较低的问题，便成为亟待解决的技术问题。

发明内容

有鉴于此，本申请所要解决的技术问题是提供了一种基于安卓系统的图像渲染引擎构建方法及系统，以解决移动设备的渲染线程运行效率较低的问题。

为了解决上述技术问题，本申请公开了一种基于安卓系统的图像渲染引擎构建方法，该方法包括：

创建本地窗口对象，将该本地窗口对象的图像数据传送至相对应的底层接口，建立所述本地窗口对象与渲染线程的连接；

所述渲染线程以外的数据线程中有图像数据传输到指定的资源存储空间后，启动所述渲染线程对所述资源存储空间中的所述图像数据进行图像渲染，生成渲染数据；

实时获取所述渲染数据进行显示，并在渲染完毕后销毁所述本地窗口对象，结束所述渲染线程。

进一步地，其中，当所述渲染线程以外的数据线程中有图像数据传输到指定的资源存储空间后，启动所述渲染线程对所述资源存储空间中的所述图像数据进行图像渲染，进一步为，所述渲染线程以外的数据线程中有图像数据传输到指定的资源存储空间后，将预先生成的所述脚本信息数据发送至所述底层接口中与上一次保存的进行渲染处理所执行的所述脚本信息数据进行比较，若相同，则启动该渲染线程进行图像渲染；若不同，则进行初始化处理生成相应的渲染线程后再进行图像渲染。

进一步地，其中，所述脚本信息数据，进一步为字符串形式的脚本信息通过相应函数写入显存，编译为二进制码进行存储的图形处理器进行渲染处理时的执行数据。

进一步地，其中，启动所述渲染线程对所述图像数据进行图像渲染，生成渲染数据，进一步为，启动所述渲染线程，本地渲染接口函数以循环体的方式在该渲染线程中进行轮询监测，在所述图像数据传输至所述指定的资源存储空间后，将该图像数据传递到底层进行图像渲染，生成渲染数据。

进一步地，其中，将所述图像数据传递到底层进行图像渲染，进一步为，将所述图像数据以字节数组的方式传递到底层进行图像渲染。

为了解决上述技术问题，本申请还公开了一种基于安卓系统的图像渲染引擎构建系统，该系统包括：窗口对象创建模块、渲染处理模块以及窗口显示处理模块，其中，

所述窗口对象创建模块，用于创建本地窗口对象，将所述本地窗口对象的图像数据发送至所述渲染处理模块；

所述渲染处理模块，用于通过其内部的所述渲染线程以外的数据线程接收所述图像数据，并在所述图像数据传输到该渲染处理模块内部指定的资源存储空间后，启动所述渲染线程对所述资源存储空间中的所述图像数据进行图像渲染，生成渲染数据发送至所述窗口显示处理模块，以及用于接收所述窗口显示处理模块发送的终止指令结束所述渲染线程；

所述窗口显示处理模块，用于实时获取所述渲染数据进行显示，在渲染完毕后生成销毁指令对所述本地窗口对象进行销毁，同时生成终止指令发送至所述渲染处理模块。

进一步地，其中，所述渲染处理模块，进一步用于，通过其内部的所述渲染线程以外的数据线程接收所述图像数据，并在所述图像数据传输到指定的资源存储空间后，将预先生成的所述脚本信息数据与上一次保存的进行渲染处理所执行的所述脚本信息数据进行比较，若相同，则启动所述渲染线程对所述资源存储空间中的进行图像渲染；若不同，则进行初始化处理生成相应的渲染线程后再进行图像渲染，生成渲染数据发送至所述窗口显示处理模块。

进一步地，其中，所述脚本信息数据，进一步为字符串形式的脚本信息通过相应函数写入显存，编译为二进制码进行存储的图形处理器进行渲染处理时的执行数据。

进一步地，其中，所述渲染处理模块，进一步用于，启动所述渲染线程后，预置的本地渲染接口函数以循环体的方式在所述渲染线程中进行轮询监测，在所述图像数据传输至所述指定的资源存储空间后，对该图像数据进行图像渲染，生成渲染数据。

进一步地，其中，所述图像数据，进一步以字节数组的方式从所述指定的资源存储空间传递到所述渲染线程进行图像渲染。

与现有技术相比，本申请所述的一种基于安卓系统的图像渲染引擎构建方法及系统，达到了如下效果：

1）本申请将移动终端视窗系统通信以及渲染线程管理原生化，通过本地窗口对象与渲染线程的直接连接，极大提高了系统应用程序编程接口中的渲染线程管理的开放性，同时消除了渲染线程结构存在冗余，有效提升了渲染线程的运行效率。

2）采用本申请技术方案的移动应用的程序性能得到大幅提高，明显改善了视频渲染性能，并提高了系统中应用程序编程接口的扩展性。

3）本申请通过通用的原生接口和系统接层相结合，极大提高了渲染引擎的移植性。

当然，实施本申请的任一产品必不一定需要同时达到以上所述的所有技术效果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请实施例一所述的基于安卓系统的图像渲染引擎构建方法的流程图；

图2是本申请实施例二所述的基于安卓系统的图像渲染引擎构建方法的流程图；

图3是本申请实施例四所述的基于安卓系统的图像渲染引擎构建系统的结构框图。

具体实施方式

如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”一词在此包含任何直接及间接的电性耦接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表所述第一装置可直接电性耦接于所述第二装置，或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。

实施例一

如图1所示，为本申请实施例一所述的基于安卓系统的图像渲染引擎构建方法的方法流程，包括：

步骤101，创建本地窗口对象，将该本地窗口对象的图像数据传送至相对应的底层接口，建立所述本地窗口对象与渲染线程的连接。

对于步骤101，移动终端系统中负责显示功能的部分称为视窗系统，该视窗系统将可显示的相应数据反映至屏幕上，用户便可以进行观看，当用户选择观看视频时，该视频窗口界面作为所述本地窗口对象在移动终端系统的后台创建。

进一步地，在建立所述本地窗口对象与渲染线程的直接连接后，保证了渲染线程连接的原生性，所述图像数据就是所述底层接口对所述本地窗口对象生成特定的窗口指针，以作为地址标识，从而保证了后续数据传送时的准确性和对应关系。

步骤102，所述渲染线程以外的数据线程中有图像数据传输到指定的资源存储空间后，启动所述渲染线程对所述资源存储空间中的所述图像数据进行图像渲染，生成渲染数据。

在步骤102中，所述图像数据进一步为帧图像，即分隔的不连续的单幅影像画面。在所述数据线程在所述本地窗口对象与渲染线程的建立连接后，将实时通过所述底层接口接收所述本地窗口对象传送的所述帧图像并传输至指定的资源存储空间，其中，所述指定的资源存储空间可以是内存、缓存、显存和/或移动终端内置存储器等。

所述渲染线程进一步为由数据驱动运转，即相应的所述数据线程中有图像数据进行传输时，则所述渲染线程激活启动，并对所述所述数据线程中的数据进行渲染处理。

在实际应用中，所述渲染线程在所述本地窗口对象创建后再进行创建，移动终端的本地渲染接口函数以循环体的方式在所述渲染线程中做轮询监测，在所述帧图像传输至所述指定的资源存储空间后，将该帧图像以字节数组的方式传递至底层进行图像渲染。

步骤103，实时获取所述渲染数据进行显示，并在渲染完毕后销毁所述本地窗口对象，结束所述渲染线程。

在实际应用中，当不再有渲染需求的时候，即用户关闭所述视频窗口界面或视频放映结束时，销毁创建的所述本地窗口对象，结束渲染线程。

实施例二

如图2所示，为本申请实施例二所述的基于安卓系统的图像渲染引擎构建方法的方法流程，包括：

步骤201，创建本地窗口对象，将该本地窗口对象的图像数据传送至相对应的底层接口，建立所述本地窗口对象与渲染线程的连接。

步骤202，所述渲染线程以外的数据线程中有图像数据传输到指定的资源存储空间后，将根据所述图像数据预先生成的脚本信息数据发送至所述底层接口中与上一次保存的进行渲染处理生成所执行的脚本信息数据进行比较，若相同，则启动该渲染线程进行图像渲染；若不同，则进行初始化处理生成相应的渲染线程后再进行图像渲染；生成渲染数据。

对于步骤202，为了确定具体采用对所述帧图像进行渲染处理的所述渲染线程的类型，便可以对预先生成的所述脚本信息数据进行比较，需要说明的是，所述脚本信息数据进一步为字符串形式的脚本信息通过相应函数写入显存，编译为二进制码进行存储的脚本信息数据，是GPU（Graphic Processing Unit，图形处理器）进行渲染处理时的执行数据。在进行渲染处理之前，所述脚本信息数据将通过所述底层接口传输至底层进行判断，所述底层接收到所述脚本信息数据后，与上一次保存的进行渲染处理所执行的所述脚本信息数据进行比较，如果相同，则仍使用上一次的所述脚本信息数据对应的所述渲染线程的处理方式进行图像渲染，否则重新初始化所述渲染线程进行渲染处理。

步骤203，实时获取所述渲染数据进行显示，并在渲染完毕后销毁所述本地窗口对象，结束所述渲染线程。

在进行渲染后，底层通过相应的接口获取GPU显存内存储的渲染数据，该接口先获取一个与显存内图像存储地址相关联的纹理指针，之后通过数据映射到内存的方式得到GPU处理后的所述渲染数据。

实施例三

以下一个应用实例来说明如何实现本申请的上述操作。

首先，创建本地窗口对象，创建的方式具体可以采用创建SurfaceView类（表面显示系统集合）的对象，再通过安卓系统内的API获得该对象内部的Surface类（表面集合）对象，该对象就是将要显示的视窗系统的本地窗口对象。

在保证渲染线程管理原生化的前提下，建立所述本地窗口对象与渲染线程的连接，即可以将获得的Surface类对象通过JNI（JAVA本地调用）封装构造函数传入底层，使用安卓系统中得原生接口（具体可以是native_window_jni.h文件，即本地窗口文件）中定义的函数（具体可以是ANativeWindow_fromSurface函数）获取视窗系统相应本地窗口的指针，进一步建立本地窗口对象和渲染线程的连接。

之后，所述渲染线程在相应的数据线程中有图像数据传输到指定的资源存储空间后，将根据所述图像数据预先生成的脚本信息数据发送至所述底层接口中与上一次保存的进行渲染处理生成所执行的脚本信息数据进行比较，若相同，则启动该渲染线程进行图像渲染；若不同，则进行初始化处理生成相应的渲染线程后再进行图像渲染；生成渲染数据。

具体来说，由于所述渲染引擎是数据驱动运转的，所以会以外部java线程是否有图像数据传输作为启动条件，当外部java线程有数据传输到指定的的资源存储空间后，就启动渲染线程，该渲染线程是通过创建java编程接口中线性线程类（Thread类）来实现的。在本实施例中，线性线程在SurfaceView子类中继承可追捕接口（Runnable接口）实现一个渲染线程，然后将图形化编程接口的本地渲染接口函数以循环体的方式在该线程中做轮询监测，当有新的帧图像传送至指定的存储空间后，将该帧图像以字节数组的方式传递到底层，创建的所述渲染线程通过线性线程类的生命周期函数进行管理。

为了确定采用何种渲染线程对帧图像进行处理，采用脚本信息数据传递入底层的方式进行判断。当底层得到数据后，通过与上次保存的所述脚本信息数据的序列值进行比较，如果相同，就维持原来渲染线程的处理方式进行图像渲染，否则会重新初始化渲染线程后再进入渲染流程。

进一步地，所述脚本信息数据是以字符串的形式编写的shader（渲染）脚本，通过图形化编程接口库函数写入显存，编译为二进制码存储后来执行的。

然后，实时获取所述渲染数据进行显示，并在渲染完毕后销毁所述本地窗口对象，结束所述渲染线程

具体地，底层通过获取显存内图像数据的本地接口，获取一个与显存内图像存储地址相关联的纹理指针，之后通过显存数据映射到内存的方式得到GPU计算后的图像数据。由于GPU的浮点数运算能力很强，所以可以直接将YUV（颜色编码）数据输入到显存中进行矩阵变换得到显示所需要的RGBA（色彩空间）数据。此时，已经完成了对所述帧图像的渲染处理。销毁创建的对象，结束渲染线程。

通过上述方式便完成了图像渲染引擎的构建，通过本地窗口对象与渲染线程的直接连接，极大提高了系统应用程序编程接口中的渲染线程管理的开放性，同时消除了渲染线程结构存在冗余，有效提升了渲染线程的运行效率。

在本实施例中，采用上述渲染引擎可以结合脸部识别技术进行脸部识别。进行脸部识别处理可以使用OpenCV（Open Source Computer Vision Library，基于开源的跨平台计算机视觉库），脸部识别过程通过对图像进行一次遍历后得到识别特征的像素点坐标来进行特征识别，在处理过程中可以直接调用渲染接口传递浮点数坐标，本方案采用的引擎会实时的进行处理，对识别区域进行图像计算，如在脸部区域打上马赛克。

在本实施例中，采用上述渲染引擎还可以应用与以该渲染引擎为基础的预览页面的应用程序中，用户可以在各个不同的滤镜效果中自由切换，并实时的提取滤镜处理后的图像数据。

如图3所示，为本申请实施例四所述的一种基于安卓系统的图像渲染引擎构建系统，该系统包括：窗口对象创建模块301、渲染处理模块302以及窗口显示处理模块303，其中，

所述窗口对象创建模块301，与所述渲染处理模块302相耦接，用于创建本地窗口对象，将所述本地窗口对象的图像数据发送至所述渲染处理模块302；

所述渲染处理模块302，与所述窗口对象创建模块301和窗口显示处理模块303相耦接，用于通过其内部的所述渲染线程以外的数据线程接收所述图像数据，并在所述图像数据传输到该渲染处理模块302内部指定的资源存储空间后，启动所述渲染线程对所述资源存储空间中的所述图像数据进行图像渲染，生成渲染数据发送至所述窗口显示处理模块303，以及用于接收所述窗口显示处理模块303发送的终止指令结束所述渲染线程；

进一步地，所述渲染处理模块302用于通过其内部的所述渲染线程以外的数据线程接收所述图像数据，并在所述图像数据传输到指定的资源存储空间后，将预先生成的所述脚本信息数据与上一次保存的进行渲染处理所执行的所述脚本信息数据进行比较，若相同，则启动所述渲染线程对所述资源存储空间中的进行图像渲染；若不同，则进行初始化处理生成相应的渲染线程后再进行图像渲染，生成渲染数据发送至所述窗口显示处理模块303。

其中，所述脚本信息数据，进一步为字符串形式的脚本信息通过相应函数写入显存，编译为二进制码进行存储的图形处理器进行渲染处理时的执行数据。

再进一步地，所述渲染处理模块用于，启动所述渲染线程后，预置的本地渲染接口函数以循环体的方式在所述渲染线程中进行轮询监测，在所述图像数据传输至所述指定的资源存储空间后，对该图像数据进行图像渲染，生成渲染数据。

其中，所述图像数据，进一步以字节数组的方式从所述指定的资源存储空间传递到所述渲染线程进行图像渲染。

所述窗口显示处理模块303，与所述渲染处理模块302相耦接，用于实时获取所述渲染数据进行显示，在渲染完毕后生成销毁指令对所述本地窗口对象进行销毁，同时生成终止指令发送至所述渲染处理模块302。

由于方法部分已经对本申请实施例进行了详细描述，这里对实施例中涉及的方法与系统对应部分的展开描述省略，不再赘述。对于系统中具体内容的描述可参考所述方法实施例的内容，这里不再具体限定。

本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。

Claims (10)

1.一种基于安卓系统的图像渲染引擎构建方法，其特征在于，该方法包括：

创建本地窗口对象，将该本地窗口对象的图像数据传送至相对应的底层接口，建立所述本地窗口对象与渲染线程的连接；

所述渲染线程以外的数据线程中有图像数据传输到指定的资源存储空间后，启动所述渲染线程对所述资源存储空间中的所述图像数据进行图像渲染，生成渲染数据；

实时获取所述渲染数据进行显示，并在渲染完毕后销毁所述本地窗口对象，结束所述渲染线程。

2.如权利要求1所述的基于安卓系统的图像渲染引擎构建方法，其特征在于，当所述渲染线程以外的数据线程中有图像数据传输到指定的资源存储空间后，启动所述渲染线程对所述资源存储空间中的所述图像数据进行图像渲染，进一步为，所述渲染线程以外的数据线程中有图像数据传输到指定的资源存储空间后，将预先生成的脚本信息数据发送至所述底层接口中与上一次保存的进行渲染处理所执行的所述脚本信息数据进行比较，若相同，则启动该渲染线程进行图像渲染；若不同，则进行初始化处理生成相应的渲染线程后再进行图像渲染。

3.如权利要求2所述的基于安卓系统的图像渲染引擎构建方法，其特征在于，所述脚本信息数据，进一步为字符串形式的脚本信息通过相应函数写入显存，编译为二进制码进行存储的图形处理器进行渲染处理时的执行数据。

4.如权利要求1所述的基于安卓系统的图像渲染引擎构建方法，其特征在于，启动所述渲染线程对所述图像数据进行图像渲染，生成渲染数据，进一步为，启动所述渲染线程，本地渲染接口函数以循环体的方式在该渲染线程中进行轮询监测，在所述图像数据传输至所述指定的资源存储空间后，将该图像数据传递到底层进行图像渲染，生成渲染数据。

5.如权利要求4所述的基于安卓系统的图像渲染引擎构建方法，其特征在于，将所述图像数据传递到底层进行图像渲染，进一步为，将所述图像数据以字节数组的方式传递到底层进行图像渲染。

6.一种基于安卓系统的图像渲染引擎构建系统，其特征在于，该系统包括：窗口对象创建模块、渲染处理模块以及窗口显示处理模块，其中，

所述窗口对象创建模块，用于创建本地窗口对象，将所述本地窗口对象的图像数据发送至所述渲染处理模块；

所述渲染处理模块，用于通过其内部的所述渲染线程以外的数据线程接收所述图像数据，并在所述图像数据传输到该渲染处理模块内部指定的资源存储空间后，启动所述渲染线程对所述资源存储空间中的所述图像数据进行图像渲染，生成渲染数据发送至所述窗口显示处理模块，以及用于接收所述窗口显示处理模块发送的终止指令结束所述渲染线程；

所述窗口显示处理模块，用于实时获取所述渲染数据进行显示，在渲染完毕后生成销毁指令对所述本地窗口对象进行销毁，同时生成终止指令发送至所述渲染处理模块。

7.如权利要求6所述的基于安卓系统的图像渲染引擎构建系统，其特征在于，所述渲染处理模块，进一步用于，通过其内部的所述渲染线程以外的数据线程接收所述图像数据，并在所述图像数据传输到指定的资源存储空间后，将预先生成的脚本信息数据与上一次保存的进行渲染处理所执行的所述脚本信息数据进行比较，若相同，则启动所述渲染线程对所述资源存储空间中的进行图像渲染；若不同，则进行初始化处理生成相应的渲染线程后再进行图像渲染，生成渲染数据发送至所述窗口显示处理模块。

8.如权利要求7所述的基于安卓系统的图像渲染引擎构建系统，其特征在于，所述脚本信息数据，进一步为字符串形式的脚本信息通过相应函数写入显存，编译为二进制码进行存储的图形处理器进行渲染处理时的执行数据。

9.如权利要求6所述的基于安卓系统的图像渲染引擎构建系统，其特征在于，所述渲染处理模块，进一步用于，启动所述渲染线程后，预置的本地渲染接口函数以循环体的方式在所述渲染线程中进行轮询监测，在所述图像数据传输至所述指定的资源存储空间后，对该图像数据进行图像渲染，生成渲染数据。

10.如权利要求9所述的基于安卓系统的图像渲染引擎构建系统，其特征在于，所述图像数据，进一步以字节数组的方式从所述指定的资源存储空间传递到所述渲染线程进行图像渲染。