CN107038729A - 一种基于OpenGL‑ES的数字仪表盘绘制方法 - Google Patents

Abstract

本发明涉及一种基于OpenGL‑ES的数字仪表盘绘制方法，属于图像实时显示技术领域。本发明的绘制方法采用反走样进行数字仪表盘的线条绘制，将OpenGL‑ES绘制的线条按照从边缘到中心拆分为至少两个三角形，并对三角形顶点赋予不同的透明度，以实现绘制结果中线条颜色和背景颜色的平滑融合。该绘制方法绘制出的数字仪表盘的线条无锯齿，且边缘与背景能够很好的融合，相对于OpenGL‑ES默认的抗锯齿功能的全屏处理，本发明的反走样直线线条绘制能够大幅提高绘制的效率。

Description

一种基于OpenGL-ES的数字仪表盘绘制方法

技术领域

本发明涉及一种基于OpenGL-ES的数字仪表盘绘制方法，属于图像实时显示技术领域。

背景技术

目前航空、汽车驾驶中的人机交互技术迅速发展，智能化程度越来越高，视频、雷达传感器也越来越多，飞行器或者汽车有了更多、更复杂的状态，使用传统的机械仪表难以在有限的空间内显示这些信息，因此数字仪表盘是驾驶技术的的发展趋势。GPU(图形处理单元)具有很强的图像处理、并行运算的能力，目前在手机、机顶盒、平板电脑等手持设备中非常普及，并运用在更多涉及移动计算的场合。Android较新的版本默认运行的硬件包含有GPU，用于加速和显示相关的大多数任务。

OpenGL-ES是免授权费的，跨平台的，功能完善的2D和3D图形应用程序接口API，主要针对多种嵌入式系统专门设计。它由精心定义的桌面OpenGL子集组成。OpenGL-ES是利用GPU强大计算、渲染能力的编程标准，基于shader的编程方式在最新的OpenGL-ES 2.0及以上支持，能够更灵活地实现渲染的管线。虽然OpenGL-ES和GPU针对图形图像渲染而设计，提供了完备的API，但是针对仪表盘绘制这样的应用目前还没有直接的实现方法。一是OpenGL-ES不直接支持矢量的绘制，二是不支持特定字体，比如汉字等字符的高效绘制，三是绘制的线条或者图形边缘有明显的锯齿，目前的抗锯齿算法运算量大，效率低，不适合实时性要求较高的仪表盘绘制，四是目前的渲染流程只支持渲染过程中的处理，但不直接支持对渲染完成后的延迟处理，如基于统计的亮度、对比度调整、变形处理等。

发明内容

本发明的目的是提供一种基于OpenGL-ES的数字仪表盘绘制方法，以解决目前在OpenGL-ES的数字仪表盘绘制过程中所采用的抗锯齿算法运算量大，效率低，不适合实时性要求较高的仪表盘绘制的问题。

本发明为解决上述技术问题而提供一种基于OpenGL-ES的数字仪表盘绘制方法，该方法采用反走样进行数字仪表盘的线条绘制，将OpenGL-ES绘制的线条按照从边缘到中心拆分为至少两个三角形，并对三角形顶点赋予不同的透明度，以实现绘制结果中线条颜色和背景颜色的平滑融合。

该方法采用Truetype字体进行数字仪表盘的字符绘制，使用矢量绘制工具加载Truetype字体，将字符绘制到一个以网格划分的透明背景图像之中，并记录字符的宽高和位置参数，在OpenGL-ES中以纹理的方式加载图像，并根据参数将纹理中的一小块贴图到背景上，从实现数字仪表盘的字符绘制。

该方法采用矢量图形进行数字仪表盘的图形绘制，使用矢量绘制工具绘制出图形，估算所绘制的矢量图形的矩形包围框的大小，将矩形包围框内部的部分上传到GPU的纹理当中，并根据矩形包围框的大小将纹理的局部贴图到背景中。

该方法采用矩阵栈保存来实现仪表盘中图形几何的变换，利用OpenGL-ES中ViewModel矩阵控制绘制的状态。

该方法还包括将视频画面与仪表盘的叠加，将视频的每帧图像上传到OpenGL-ES的FBO对象绑定的纹理当中，将仪表盘的绘制重定向到FBO，即绘制到纹理，以实现仪表盘和视频画面的叠加。

该方法还包括对仪表盘显示画面的畸变校正，利用OpenGL-ES的FBO对象将渲染定向到FBO绑定的纹理，再将纹理以畸变校正参数指定的方式贴图到屏幕上，以实现对仪表盘显示画面的畸变校正。

本发明的有益效果是:本发明的绘制方法采用反走样进行数字仪表盘的线条绘制，将OpenGL-ES绘制的线条按照从边缘到中心拆分为至少两个三角形，并对三角形顶点赋予不同的透明度，以实现绘制结果中线条颜色和背景颜色的平滑融合。该绘制方法绘制出的数字仪表盘的线条无锯齿，且边缘与背景能够很好的融合，相对于OpenGL-ES默认的抗锯齿功能的全屏处理，本发明的反走样直线线条绘制能够大幅提高绘制的效率。

本发明采用Truetype字体进行数字仪表盘的字符绘制，使用矢量绘制工具加载Truetype字体，将字符绘制到一个以网格划分的透明背景图像之中，并记录字符的宽高和位置参数，在OpenGL-ES中以纹理的方式加载图像，并根据参数将纹理中对应的图像块贴图到画布上，相对于实时解析字体文件上传，本发明提高了绘制效率，同时由于贴图中的像素在生成过程中有不等的透明度，因此融合到背景后不会产生锯齿。

附图说明

图1是本发明基于OpenGL-ES的数字仪表盘绘制方法的流程图；

图2是反走样线条拆分示意图；

图3是使用OpenGL-ES进行字符绘制的过程示意图；

图4是本发明实施例使用OpenGL-ES绘制的字符纹理图；

图5是本发明使用OpenGL-ES实现矢量绘制的过程示意图；

图6是本发明使用OpenGL-ES实现几何变换的过程示意图；

图7是本发明使用OpenGL-ES完成视频背景、仪表盘叠加过程的示意图；

图8是本发明使用OpenGL-ES完成畸变校正过程的示意图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步的说明。

本发明的基于OpenGL-ES的数字仪表盘绘制方法的实施例

本实施例的仪表盘绘制方法使用OpenGL-ES基础指令进行绘制，如图1所示，数字仪表盘的绘制过程主要包括线条、曲线图形、文字内容的绘制、背景图像的叠加和畸变校正处理，各步骤具体的实现过程如下。

1.采用反走样进行数字仪表盘的线条绘制。

反走样的本质是建立线条颜色和背景颜色的平滑渐变，OpenGL绘制三角形时在三角形内部的部分就是顶点颜色的渐变，因此可以通过把线条(仅限于直线线条)按照从边缘到中心拆分为多个三角形，如图2所示，指定三角形顶点不同的透明度，来实现绘制结果中线条颜色和背景颜色的平滑融合。比如绘制A到B的线段，首先计算出A->B向量的单位法向量delta，线宽为F1，渐变宽度为F2，绘制的拆分点参数如表1所示。

表1 反走样线条拆分点绘制参数列表

拆分点名称	计算方法	颜色
			A2	A-F1*delta	透明
B2	B-F1*delta	透明
			A1	A-F2*delta	绿色
B1	B-F2*delta	绿色
			A3	A+F2*delta	绿色
B3	B+F2*delta	绿色
			A4	A+F1*delta	透明
B4	B+F1*delta	透明

在绘制的时候依次绘制B2、A2、B1、A1、B3、A3、B4、A4构成的TriangleStrip即可绘制出整个无锯齿、边缘与背景融合良好的线条。相对于OpenGL-ES默认的抗锯齿功能的全屏处理，线条在全屏中所占比例比较小，因此，本发明采用反走样直线线条进行数字仪表盘的绘制能够大幅提高绘制的效率。

2.采用Truetype字体进行数字仪表盘的字符绘制。

由于GPU不具有像CPU一样可以串行解析字体文件的能力，实时解析字体文件上传会增加传输数据，降低效率，因此本发明把字体文件的参数预先提取出来，保存上传到硬件中，在绘制中只需要直接绘制硬件中缓存的数据即可。OpenGL-ES的Truetype字符纹理生成需要依赖外部工具，本发明通过使用Freetype或者skia等矢量绘制工具加载Truetype字体，如图3所示，使用skia的measureText测量出字体的参数，将skia画布划分16*8个网格，在skia画布上在每个网格逐个绘制完成字符，同时记录下每个字符的绘制位置，将画布导出为图像即可，然后上传到GPU中成为字符纹理。

OpenGL-ES执行仪表盘绘制的时候，遇到绘制字符的指令，根据字符的值及其在字符串中的位置，计算出画布上绘制字符的位置作为顶点渲染器(vertex shader)的输入，从字符纹理中截取出对应的图像块作为片段渲染器(fragment shader)，然后贴图到画布上。本实施例通过上述过程得到的字符纹理如图4所示。相对实时解析字体文件上传的方式，本发明采用Truetype字体进行字符绘制提高了绘制效率，同时由于贴图中的像素在生成过程中有不等的透明度，因此融合到背景后不会产生锯齿。

3.采用矢量图形进行数字仪表盘的图形绘制。

该步骤使用OpenGL-ES用贴图的方式模拟矢量绘制，使用矢量绘制工具绘制出图形，估算所绘制的矢量图形保卫矩形的大小，将矩形区域上传到GPU的纹理当中，并根据矩形区域的大小将纹理的局部贴图到背景中，具体的实现过程如图5所示。首先获取仪表盘曲线绘制指令，一般是由点坐标以及点之间的插值方式指定(贝塞尔曲线)，或者圆心和半径(圆、椭圆、圆弧)，将这些类型输入到skia绘制引擎中，绘制到skia的画布，也就是一块内存中；然后估算出这些图形的矩形包围框(skia中有对应的函数)，将内存中矩形包围框内部的部分上传到GPU当中，更新预先开辟的曲线纹理；再将曲线纹理矩形包围框中的部分贴图到画布，最终完成了曲线到GPU画布的绘制。

4.采用矩阵栈保存实现图形的几何变换。

本步骤使用数组实现的矩阵栈保存实现仪表盘中元素的几何绘制矩阵状态，如缩放、平移、旋转，通过矩阵栈的push、pop操作实现状态的保存、还原，如图7所示。OpenGL-ES的矩阵分为投影矩阵和视图-模型矩阵(ViewModel矩阵)，其中投影矩阵控制三维空间到二维平面的映射,同时使像素坐标与绘制坐标一致。仪表盘绘制中使用正交映射，视图-模型控制绘制的状态，在二维平面中就是缩放、平移、旋转三种变换，如图6所示。

通过对当前状态矩阵重新赋值，实现了二维画面的平移、缩放、旋转以及通用的矩阵变换。所有的绘制都要经过坐标与当前矩阵的乘积作为最终绘制的坐标。当前矩阵的变化方式与栈的变化方式相同都是先进后出，栈顶代表了刚刚被push进来的当前矩阵，也就是矩阵变换嵌套最深的地方，栈底代表了最初始的绘制矩阵一般是单位矩阵。矩阵栈使用数组模拟实现，数组的长度代表了栈的长度，也代表了应该插入新元素的位置。平移、缩放、旋转三种变换都对应一个3*3矩阵，变换的执行相当于将当前矩阵乘以这个3*3矩阵，在变换的嵌套中，进入下一层之前一般都要使用push指令保存当前矩阵，在从下一层返回时pop指令恢复当前矩阵。

5.将仪表盘和视频画面进行叠加。

该步骤如图7所示，首先将视频的每帧图像上传到OpenGL-ES的FBO对象绑定的纹理当中，然后将仪表盘的绘制重定向到FBO，即绘制到纹理，绘制完毕即完成了仪表盘和视频画面的基于透明度的叠加，叠加后的图像仍然在GPU的显存当中，可以对叠加后的图像做进一步计算和处理。

完成视频采集后通过OpenGL-ES的API将视频的画面上传到显存纹理中，然后将纹理渲染到FBO中，再将2D画面渲染到FBO纹理中，完成与视频画面的叠加。画面叠加是通过首先渲染背景画面，然后直接绘制仪表盘实现，绘制的过程就是将前景颜色根据透明度值与背景颜色融合的过程。由于画面的透明度值都为1(完全不透明)，直接渲染背景图像可以覆盖掉上一帧的渲染结果，设置blend mode来调整前景和背景的混合方式。

在视频背景上绘制2D画面时需要

glEnable(GL_BLEND)；

glBlendFunc(GL_ONE,GL_ONE_MINUS_SRC_ALPHA)；

渲染纹理到FBO或者渲染纹理到屏幕时由于要完全覆盖之前的画面，因此需要

glDisable(GL_BLEND)；

Blend参数只在发生绘制的地方起作用，将绘制颜色和外视频叠加。没有绘制的地方不会起作用。

6.使用OpenGL-ES完成畸变校正后处理。

使用OpenGL-ES完成畸变校正后处理过程如图8所示，首先将FBO绑定的纹理(也就是叠加后的图像纹理)激活为当前纹理；然后对待输出的画布进行网格划分，计算出每个网格的顶点坐标；再根据畸变校正查找表，计算出每个网格顶点所对应的纹理坐标；然后再根据OpenGL-ES的TrangleStrip绘制规则，计算出绘制的顶点索引值，并将这三组数值传入GPU中，GPU通过传入的纹理坐标对FBO纹理图像进行采样，绘制输出，得到即为畸变校正后的图像。解决了OpenGL-ES无法根据整体结果进行畸变校正处理的缺陷。

通过上述过程，本发明利用嵌入式GPU支持的OpenGL-ES开放接口标准实现数字仪表盘的绘制，充分利用硬件的图形绘制能力，生成2D仪表盘中的各种元素，具有生成效率高、结果平滑无锯齿、可叠加图像、可对绘制结果任意变形，同时还可对绘制结果进行亮度和对比度等像素变换。本发明可用于航空、汽车驾驶、工业控制、仪器仪表等领域，可以用于游戏、可穿戴设备、虚拟现实设备等涉及到2D图形、字符、图像显示和实时处理等领域。

Claims (6)

1.一种基于OpenGL-ES的数字仪表盘绘制方法，其特征在于，该方法采用反走样进行数字仪表盘的线条绘制，将OpenGL-ES绘制的线条按照从边缘到中心拆分为至少两个三角形，并对三角形顶点赋予不同的透明度，以实现绘制结果中线条颜色和背景颜色的平滑融合。

2.根据权利要求1所述的基于OpenGL-ES的数字仪表盘绘制方法，其特征在于，该方法采用Truetype字体进行数字仪表盘的字符绘制，使用矢量绘制工具加载Truetype字体，将字符绘制到一个以网格划分的透明背景图像之中，并记录字符的宽高和位置参数，在OpenGL-ES中以纹理的方式加载图像，并根据参数将纹理中的一小块贴图到背景上，从实现数字仪表盘的字符绘制。

3.根据权利要求1或2所述的基于OpenGL-ES的数字仪表盘绘制方法，其特征在于，该方法采用矢量图形进行数字仪表盘的图形绘制，使用矢量绘制工具绘制出图形，估算所绘制的矢量图形的矩形包围框的大小，将矩形包围框内部的部分上传到GPU的纹理当中，并根据矩形包围框的大小将纹理的局部贴图到背景中。

4.根据权利要求3所述的基于OpenGL-ES的数字仪表盘绘制方法，其特征在于，该方法采用矩阵栈保存来实现仪表盘中图形几何的变换，利用OpenGL-ES中ViewModel矩阵控制绘制的状态。

5.根据权利要求1所述的基于OpenGL-ES的数字仪表盘绘制方法，其特征在于，该方法还包括将视频画面与仪表盘的叠加，将视频的每帧图像上传到OpenGL-ES的FBO对象绑定的纹理当中，将仪表盘的绘制重定向到FBO，即绘制到纹理，以实现仪表盘和视频画面的叠加。

6.根据权利要求5所述的基于OpenGL-ES的数字仪表盘绘制方法，其特征在于，该方法还包括对仪表盘显示画面的畸变校正，利用OpenGL-ES的FBO对象将渲染定向到FBO绑定的纹理，再将纹理以畸变校正参数指定的方式贴图到屏幕上，以实现对仪表盘显示画面的畸变校正。