CN103617031A

CN103617031A - 图像渲染的方法和装置

Info

Publication number: CN103617031A
Application number: CN201310590667.7A
Authority: CN
Inventors: 荆建营
Original assignee: Vtron Technologies Ltd
Current assignee: Vtron Group Co Ltd
Priority date: 2013-11-20
Filing date: 2013-11-20
Publication date: 2014-03-05
Anticipated expiration: 2033-11-20
Also published as: CN103617031B

Abstract

一种图像渲染的方法和装置，所述方法包括步骤：创建至少两个帧缓冲区对象；创建图像渲染线程，将图像数据渲染到所述帧缓冲区对象；创建swap线程，将后缓冲所存储的图像数据交换到前缓冲，将渲染后的所述图像数据从所述帧缓冲区对象复制到所述后缓冲。上述图像渲染的方法和装置，图像渲染线程和swap线程分属不同的线程，可以并发执行，swap线程的Swap buffer的阻塞不会影响图像渲染线程的图像渲染，因此可以保证图像渲染的帧率。同时又由于图像渲染线程未被阻塞，可以最快的响应用户的操作，因此可以减少操作延时。

Description

图像渲染的方法和装置

技术领域

本发明涉及图像显示技术领域，特别是涉及一种图像渲染的方法和装置。

背景技术

目前渲染显示图像的过程大致有2种：

(1)开启垂直同步，并且使用双缓冲模式：响应用户的图像操作，渲染图像到BBuffer（Back Buffer，后缓冲），然后Swap buffer，将图像复制到FBuffer（FrontBuffer）使用户看到图像，如此循环。

(2)不开启垂直同步，并且使用双缓冲模式：渲染图像到BBuffer，然后Swapbuffer，将图像复制到FBuffer使用户看到图像，如此循环。

在这2种方式中，过程似乎一样，但在（2）中，由于未开启垂直同步，将会引起图像水平撕裂；在（1）中，由于开启了垂直同步，将会引起Swap buffer阻塞。如果显示器刷新帧率为60FPS（Frames Per Second），最坏情况下，Swapbuffer将阻塞16ms，这足以引起下一个渲染循环阻塞，导致响应用户操作迟缓。再加上所有的循环是串行的，一旦前一个循环卡的时间较常，后面渲染也就相应被延后，加剧了响应操作迟缓的问题，不能保证图像渲染的帧率。

发明内容

基于此，有必要针对上述问题，提供一种减少操作延时和保证图像渲染帧率的图像渲染的方法和装置。

一种图像渲染的方法，包括步骤：

创建至少两个帧缓冲区对象；

创建图像渲染线程，将图像数据渲染到所述帧缓冲区对象；

创建swap线程，将后缓冲所存储的图像数据交换到前缓冲，将渲染后的所述图像数据从所述帧缓冲区对象复制到所述后缓冲。

一种图像渲染的装置，包括：

帧缓冲区对象模块，所述帧缓冲区对象模块创建至少两个帧缓冲区对象；

与帧缓冲区对象模块相连的图像渲染线程模块，所述图像渲染线程模块创建图像渲染线程，将图像数据渲染到所述帧缓冲区对象；

与帧缓冲区对象模块相连的swap线程模块，所述swap线程模块创建swap线程，将后缓冲所存储的图像数据交换到前缓冲，将渲染后的所述图像数据从所述帧缓冲区对象复制到所述后缓冲。

上述图像渲染的方法和装置，图像渲染线程和swap线程分属不同的线程，可以并发执行，swap线程的将后缓冲所存储的图像数据交换到前缓冲（Swapbuffer）的阻塞不会影响图像渲染线程的图像渲染，因此可以保证图像渲染的帧率。同时又由于图像渲染线程未被阻塞，可以最快的响应用户的操作，因此可以减少操作延时。

附图说明

图1为本发明方法实施例的流程图；

图2为本发明方法图像渲染线程实施例的流程图；

图3为本发明方法swap线程实施例的流程图；

图4为本发明方法具体实施例的操作示意图；

图5为本发明装置实施例的结构图；

图6为本发明装置图像渲染线程模块实施例的结构图；

图7为本发明装置swap线程模块实施例的结构图。

具体实施方式

首先对本发明中用到的术语做以下简单说明：

1、FBO（Frame buffer object，帧缓冲区对象）：图像渲染的临时缓冲区，所有的图像数据都可以绘制到该缓冲区，形成一幅二维的光栅图像。

2、FBuffer：图像数据一旦被复制到该缓冲，用户在显示器上就可以看到所绘制出的最终图像。

3、BBuffer：图像数据被临时绘制到该缓冲。本发明中是将FBO的图像数据复制到该缓冲区。

4、Swap buffer：将BBuffer图像数据交换到FBuffer，使用户看到图像。在开启垂直同步时，是等到垂直同步信号后才进行该交换；不开启垂直同步时，不阻塞，立即进行该交换。

下面结合附图对本发明图像渲染的方法具体实施方式做详细描述。

如图1所示，一种图像渲染的方法，包括步骤：

S110、创建至少两个FBO，用于减少图像渲染线程和swap线程对FBO的访问冲突；

S120、创建图像渲染线程，将图像数据渲染到所述FBO；

S130、创建swap线程，将BBuffer所存储的图像数据交换到FBuffer，将渲染后的所述图像数据从所述FBO复制到所述BBuffer。

作为一个实施例，所述FBO包含当前状态信息、就绪时间、锁定标识，所述当前状态信息包括可读状态、可写状态；所述就绪时间设置为图像数据渲染完成时间，其中时间可以跟据用户自己定义的初试时间开始计算，也可以为系统时间等；所述锁定标识包括加锁或解锁，防止图像渲染线程和swap线程同时对同一个FBO进行读写。

步骤S120中的将图像数据渲染到所述FBO的步骤可以用很多方法实现，例如，作为一个实施例，如图2所示，将图像数据渲染到所述FBO的步骤包括：

S121、初始化，绑定目标显示窗口绘图上下文，使图像渲染线程和窗口图像绘制进行关联；

S122、获取图像渲染指令；

S123、判断各FBO的当前状态信息，若至少有两个FBO的当前状态信息为可写状态，则将第一个FBO的锁定标识设置为加锁；若各FBO的当前状态信息为可读状态，则将就绪时间较早的FBO的锁定标识设置为加锁，当前状态信息设置为可写状态；若只有一个FBO的当前状态信息为可写状态，则将该FBO的锁定标识设置为加锁；

S124、将图像数据渲染到当前状态信息为可写状态且锁定标识为加锁的FBO；

S125、在所述图像数据渲染完成时刻，将所述FBO的当前状态信息设置为可读状态，锁定标识设置为解锁，返回步骤S122，重复执行步骤S122-S125，达到根据用户操作期望渲染图像的目的。

步骤S130中的将BBuffer所存储的图像数据交换到FBuffer，将渲染后的所述图像数据从所述FBO复制到所述BBuffer的步骤可以用很多方法实现，例如，作为一个实施例，如图3所示，包括：

S131、初始化，绑定目标显示窗口绘图上下文，使swap线程和窗口图像绘制进行关联；

S132、执行Swap buffer，将BBuffer所存储的图像数据交换到FBuffer；

S133、判断各FBO的当前状态信息，若至少有两个FBO的当前状态信息为可读状态，则将就绪时间较晚的FBO的锁定标识设置为加锁；若只有一个FBO的当前状态信息为可读状态，则将该FBO的锁定标识设置为加锁；若各FBO的当前状态信息为可写状态，则返回步骤S132；

S134、将渲染后的图像数据从当前状态信息为可读状态且锁定标识为加锁的FBO复制到BBuffer；

S135、在渲染后的图像数据复制到BBuffer完成时刻，将所述FBO的当前状态信息设置为可写状态，锁定标识设置为解锁，返回步骤S132,重复执行步骤S132-S135，达到将图像渲染输出，使用户可见的目的。

作为一个实施例，步骤S130中的创建swap线程的之后，还可以包括开启垂直同步的步骤，开启垂直同步，可以有效消除图像的水平撕裂，使图像显示完整。

作为一个实施例，步骤S110中的创建至少两个FBO之后，还可以包括步骤：将各FBO的当前状态信息初始化为可写状态。

下面以一个具体实施例的方式对本发明方法的具体实施方式做详细描述。

为了能够清晰描述本实施例，我们将场景设定如下：

1、显示器刷新帧率为60FPS，则每个垂直同步时间间隔约为16.6ms；

2、在16.6ms内做三个操作：绘制一个三角形、绘制一个正方形、绘制一个圆形；用户的期望是“前2个操作绘制错了，最后的那个圆才是他想要的”。用户的这个操作如图4所示，图4中的t为时间轴，V1～V5是显卡的垂直同步信号时间，T1～T3是用户的3个操作发生的时间。

按照上述场景，本发明具体实施例的步骤包括：

1、初始化系统，创建目标显示窗口；

2、创建两个FBO，所述FBO包含当前状态信息、就绪时间、锁定标识，所述当前状态信息包括可读状态、可写状态；所述就绪时间设置为图像数据渲染完成时间；所述锁定标识包括加锁或解锁；两个FBO的当前状态信息初始化为可写状态；

3、创建图像渲染线程，初始化，绑定目标显示窗口的绘图上下文；

301、在T1时刻获取图像渲染指令：绘制一个三角形；

302、判断这2个FBO的当前状态信息。若两个FBO的当前状态信息为可写状态，则将第一个FBO的锁定标识设置为加锁；若两个FBO的当前状态信息为可读状态，则将就绪时间较早的FBO的锁定标识设置为加锁，当前状态信息设置为可写状态；若只有一个FBO的当前状态信息为可写状态，则将该FBO的锁定标识设置为加锁；

303、将三角形图像数据渲染到当前状态信息为可写状态且锁定标识为加锁的FBO；

304、在所述三角形图像数据渲染完成时刻，将所述FBO的当前状态信息设置为可读状态，锁定标识设置为解锁；

305、在T2时刻获取图像渲染指令：绘制一个正方形；

306、判断这2个FBO的当前状态信息。若两个FBO的当前状态信息为可写状态，则将第一个FBO的锁定标识设置为加锁；若两个FBO的当前状态信息为可读状态，则将就绪时间较早的FBO的锁定标识设置为加锁，当前状态信息设置为可写状态；若只有一个FBO的当前状态信息为可写状态，则将该FBO的锁定标识设置为加锁；

307、将正方形图像数据渲染到当前状态信息为可写状态且锁定标识为加锁的FBO；

308、在所述正方形图像数据渲染完成时刻，将所述FBO的当前状态信息设置为可读状态，锁定标识设置为解锁；

309、在T3时刻获取图像渲染指令：绘制一个圆形；

310、判断这2个FBO的当前状态信息。若两个FBO的当前状态信息为可写状态，则将第一个FBO的锁定标识设置为加锁；若两个FBO的当前状态信息为可读状态，则将就绪时间较早的FBO的锁定标识设置为加锁，当前状态信息设置为可写状态；若只有一个FBO的当前状态信息为可写状态，则将该FBO的锁定标识设置为加锁；

311、将圆形图像数据渲染到当前状态信息为可写状态且锁定标识为加锁的FBO；

312、在所述圆形图像数据渲染完成时刻，将所述FBO的当前状态信息设置为可读状态，锁定标识设置为解锁；

4、创建swap线程，开启垂直同步，初始化，绑定目标显示窗口的绘图上下文；

401、在V1时刻执行Swap buffer；

402、判断各FBO的当前状态信息，若至少有两个FBO的当前状态信息为可读状态，则将就绪时间较晚的FBO的锁定标识设置为加锁；若只有一个FBO的当前状态信息为可读状态，则将该FBO的锁定标识设置为加锁；若各FBO的当前状态信息为可写状态，则返回步骤401；否则继续向下执行。在这个时候，2个FBO的当前状态信息都不是可读状态，因此不需要执行FBO图像数据的复制等操作，只需要在V2时刻执行Swap buffer；

403、在V2时刻执行Swap buffer；

404、判断各FBO的当前状态信息，若至少有两个FBO的当前状态信息为可读状态，则将就绪时间较晚的FBO的锁定标识设置为加锁；若只有一个FBO的当前状态信息为可读状态，则将该FBO的锁定标识设置为加锁；若各FBO的当前状态信息为可写状态，则返回步骤403；否则继续向下执行。在这个时候，2个FBO的当前状态信息都是可读状态，因此将选取就绪时间较晚的那个FBO，即含有圆图像数据的FBO；

405、将渲染后的圆图像数据从当前状态信息为可读状态且锁定标识为加锁的FBO复制到BBuffer；

406、在渲染后的圆图像数据复制到BBuffer完成时刻，将所述FBO的当前状态信息设置为可写状态，锁定标识设置为解锁；

407、在V3时刻执行Swap buffer；用户看到最终图像“圆”。

就这样，用户进行了3次操作，最终看到的是一个显示没有撕裂的“圆”图像。

如果上述场景在按照传统的方法实现时，例如，在开启垂直同步，并采用双缓冲模式时，由于各绘制过程是串行的，显示系统必须在响应完第一个操作请求之后才能响应第二个操作请求，然后才能响应第三个操作请求，T1～T3时刻的请求分别在V2～V4处得到响应，这样，用户最终在V4时刻看到最终图像，明显晚于该方法的V3时刻；在不开启垂直同步，并且采用双缓冲模式，屏幕上的图像被连续多次更新，由于没有使用垂直同步，用户看的图像极有可能是“T2”和“T3”操作的叠加，即“正方形”和“圆”的叠加，显示的是撕裂的圆图像。

基于上述方法，本发明还提供了一种图像渲染的装置，下面结合附图对本发明装置的具体实施方式做详细描述。

如图5所示，一种图像渲染的装置，包括：

FBO模块200，所述FBO模块200创建至少两个FBO，用于减少图像渲染线程和swap线程对FBO的访问冲突；

与所述FBO模块200相连的图像渲染线程模块100，所述图像渲染线程模块100创建图像渲染线程，将图像数据渲染到所述FBO；

与所述FBO模块200相连的swap线程模块300，所述swap线程模块300创建swap线程，将BBuffer所存储的图像数据交换到FBuffer，将渲染后的所述图像数据从所述FBO复制到所述BBuffer。

作为一个实施例，所述图像渲染线程模块100具体包括：

创建单元101，所述创建单元101创建图像渲染线程；

与所述创建单元101相连的绑定单元102，所述绑定单元102用于初始化，绑定目标显示窗口绘图上下文，使图像渲染线程和窗口图像绘制进行关联；

与所述绑定单元102相连的指令获取单元103，所述指令获取单元103获取图像渲染指令；

与所述指令获取单元103相连的判断单元104，所述判断单元104判断各FBO的当前状态信息，若至少有两个FBO的当前状态信息为可写状态，则将第一个FBO的锁定标识设置为加锁；若各FBO的当前状态信息为可读状态，则将就绪时间较早的FBO的锁定标识设置为加锁，当前状态信息设置为可写状态；若只有一个FBO的当前状态信息为可写状态，则将该FBO的锁定标识设置为加锁；

与所述判断单元104相连的渲染单元105，所述渲染单元105将图像数据渲染到当前状态信息为可写状态且锁定标识为加锁的FBO；

与所述渲染单元105和指令获取单元103相连的设置单元106，所述设置单元106在所述图像数据渲染完成时刻，将所述FBO的当前状态信息设置为可读状态，锁定标识设置为解锁。

作为一个实施例，所述swap线程模块300具体包括：

创建单元301，所述创建单元创建swap线程；

与所述创建单元301相连的绑定单元302，所述绑定单元302用于初始化，绑定目标显示窗口绘图上下文，使swap线程和窗口图像绘制进行关联；

与所述绑定单元302相连的交换单元303，所述交换单元303执行Swapbuffer，将BBuffer所存储的图像数据交换到FBuffer；

与所述交换单元303相连的判断单元304，所述判断单元304判断各FBO的当前状态信息，若至少有两个FBO的当前状态信息为可读状态，则将就绪时间较晚的FBO的锁定标识设置为加锁；若只有一个FBO的当前状态信息为可读状态，则将该FBO的锁定标识设置为加锁；若各FBO的当前状态信息为可写状态，则所述交换单元303将BBuffer所存储的图像数据交换到FBuffer；

与所述判断单元304相连的复制单元305，所述复制单元305将渲染后的图像数据从当前状态信息为可读状态且锁定标识为加锁的FBO复制到BBuffer；

与所述复制单元305和所述交换单元303相连的设置单元306，所述设置单元306在渲染后的图像数据复制到BBuffer完成时刻，将所述FBO的当前状态信息设置为可写状态，锁定标识设置为解锁。

作为一个实施例，所述swap线程模块300还可以包括位于所述创建单元301和绑定单元302之间的垂直同步模块，所述垂直同步模块用于开启垂直同步。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种图像渲染的方法，其特征在于，包括步骤：

创建至少两个帧缓冲区对象；

创建图像渲染线程，将图像数据渲染到所述帧缓冲区对象；

2.根据权利要求1所述的图像渲染的方法，其特征在于，所述帧缓冲区对象包含当前状态信息、就绪时间、锁定标识，所述当前状态信息包括可读状态、可写状态；所述就绪时间设置为图像数据渲染完成时间；所述锁定标识包括加锁或解锁；将图像数据渲染到所述帧缓冲区对象的步骤包括：

初始化，绑定目标显示窗口绘图上下文；

获取图像渲染指令；

判断各帧缓冲区对象的当前状态信息，若至少有两个帧缓冲区对象的当前状态信息为可写状态，则将第一个帧缓冲区对象的锁定标识设置为加锁；若各帧缓冲区对象的当前状态信息为可读状态，则将就绪时间较早的帧缓冲区对象的锁定标识设置为加锁，当前状态信息设置为可写状态；若只有一个帧缓冲区对象的当前状态信息为可写状态，则将该帧缓冲区对象的锁定标识设置为加锁；

将图像数据渲染到当前状态信息为可写状态且锁定标识为加锁的帧缓冲区对象；

在所述图像数据渲染完成时刻，将所述帧缓冲区对象的当前状态信息设置为可读状态，锁定标识设置为解锁，返回获取图像渲染指令的步骤。

3.根据权利要求1所述的图像渲染的方法，其特征在于，所述帧缓冲区对象包含当前状态信息、就绪时间、锁定标识，所述当前状态信息包括可读状态、可写状态；所述就绪时间设置为图像数据渲染完成时间；所述锁定标识包括加锁或解锁；将后缓冲所存储的图像数据交换到前缓冲，将渲染后的所述图像数据从所述帧缓冲区对象复制到所述后缓冲的步骤包括：

初始化，绑定目标显示窗口绘图上下文；

将后缓冲所存储的图像数据交换到前缓冲；

判断各帧缓冲区对象的当前状态信息，若至少有两个帧缓冲区对象的当前状态信息为可读状态，则将就绪时间较晚的帧缓冲区对象的锁定标识设置为加锁；若只有一个帧缓冲区对象的当前状态信息为可读状态，则将该帧缓冲区对象的锁定标识设置为加锁；若各帧缓冲区对象的当前状态信息为可写状态，则返回将后缓冲所存储的图像数据交换到前缓冲的步骤；

将渲染后的图像数据从当前状态信息为可读状态且锁定标识为加锁的帧缓冲区对象复制到后缓冲；

在渲染后的图像数据复制到后缓冲完成时刻，将所述帧缓冲区对象的当前状态信息设置为可写状态，锁定标识设置为解锁，返回将后缓冲所存储的图像数据交换到前缓冲的步骤。

4.根据权利要求1至3任意一项所述的图像渲染的方法，其特征在于，创建swap线程的步骤之后，还包括开启垂直同步的步骤。

5.一种图像渲染的装置，其特征在于，包括：

6.根据权利要求5所述的图像渲染的装置，其特征在于，所述帧缓冲区对象包含当前状态信息、就绪时间、锁定标识，所述当前状态信息包括可读状态、可写状态；所述就绪时间设置为图像数据渲染完成时间；所述锁定标识包括加锁或解锁；所述图像渲染线程模块具体包括：

创建单元，所述创建单元创建图像渲染线程；

与所述创建单元相连的绑定单元，所述绑定单元用于初始化，绑定目标显示窗口绘图上下文；

与所述绑定单元相连的指令获取单元，所述指令获取单元获取图像渲染指令；

与所述指令获取单元相连的判断单元，所述判断单元判断各帧缓冲区对象的当前状态信息，若至少有两个帧缓冲区对象的当前状态信息为可写状态，则将第一个帧缓冲区对象的锁定标识设置为加锁；若各帧缓冲区对象的当前状态信息为可读状态，则将就绪时间较早的帧缓冲区对象的锁定标识设置为加锁，当前状态信息设置为可写状态；若只有一个帧缓冲区对象的当前状态信息为可写状态，则将该帧缓冲区对象的锁定标识设置为加锁；

与所述判断单元相连的渲染单元，所述渲染单元将图像数据渲染到当前状态信息为可写状态且锁定标识为加锁的帧缓冲区对象；

与所述渲染单元和指令获取单元相连的设置单元，所述设置单元在所述图像数据渲染完成时刻，将所述帧缓冲区对象的当前状态信息设置为可读状态，锁定标识设置为解锁。

7.根据权利要求5所述的图像渲染的装置，其特征在于，所述帧缓冲区对象包含当前状态信息、就绪时间、锁定标识，所述当前状态信息包括可读状态、可写状态；所述就绪时间设置为图像数据渲染完成时间；所述锁定标识包括加锁或解锁；所述swap线程模块具体包括：

创建单元，所述创建单元创建swap线程；

与所述绑定单元相连的交换单元，所述交换单元将后缓冲所存储的图像数据交换到前缓冲；

与所述交换单元相连的判断单元，所述判断单元判断各帧缓冲区对象的当前状态信息，若至少有两个帧缓冲区对象的当前状态信息为可读状态，则将就绪时间较晚的帧缓冲区对象的锁定标识设置为加锁；若只有一个帧缓冲区对象的当前状态信息为可读状态，则将该帧缓冲区对象的锁定标识设置为加锁；若各帧缓冲区对象的当前状态信息为可写状态，则所述交换单元将后缓冲所存储的图像数据交换到前缓冲；

与所述判断单元相连的复制单元，所述复制单元将渲染后的图像数据从当前状态信息为可读状态且锁定标识为加锁的帧缓冲区对象复制到后缓冲；

与所述复制单元和所述交换单元相连的设置单元，所述设置单元在渲染后的图像数据复制到后缓冲完成时刻，将所述帧缓冲区对象的当前状态信息设置为可写状态，锁定标识设置为解锁。

8.根据权利要求5至7任意一项所述的图像渲染的装置，其特征在于，所述swap线程模块还包括位于所述创建单元和所述绑定单元之间的垂直同步模块，所述垂直同步模块用于开启垂直同步。