CN101394489B - 一种基于模板和参数步长的字幕渲染效率瓶颈自动定位的方法 - Google Patents

Abstract

本发明涉及广电领域电视节目制播机构的字幕编播技术，具体涉及一种基于模板和参数步长的字幕渲染效率瓶颈自动定位的方法。该方法通过客观的数据来评价一个字幕系统在字幕静态渲染和动态渲染两个方面的效率，通过渲染属性相邻两个参数值之间的效率差，来找出渲染方面的瓶颈，为渲染算法的改进提供客观依据。

Description

一种基于模板和参数步长的字幕渲染效率瓶颈自动定位的方法

技术领域

本发明涉及广电领域电视节目制播机构的字幕编播技术，具体涉及一种基于模板和参数步长的字幕渲染效率瓶颈自动定位的方法。

背景技术

随着电视事业的发展，电视字幕在电视中的作用越来越大，日均播出次数增多，字幕播出的形式多样，字幕制作也更加精美。通过字幕也便于频道节目包装，提升整体形象。并且还能通过字幕平台与观众实现互动，提供增值服务。

在当今的信息时代，面对呈爆炸性递增的信息，电视媒体必须在最短的时间内将海量的图文信息发布出去，并力求更丰富、更精彩的内容包装形式，以吸引更多受众眼球。这就对图文信息发布的基本技术实现工具--字幕机提出了更高的要求。

目前的字幕制播系统要求结合最新的计算机图形图像技术，产生大量的静态渲染效果和动态播出特效。从技术实现的角度来说，所有这些特效的实现都是通过计算机图形学和数字图像处理算法来完成的。

为了满足上述要求，当前的字幕系统采取了大量计算机图形学和图像学的相关算法：

(1)二次、三次Bezier曲线处理算法。这些算法用来表达字幕信息的二维、三维化矢量。Bezier曲线有许多优秀的特性，如Bezier曲线总是通过第一个控制点和最后一个控制点，另一个特性是Bezier曲线的凸包特性，即一个Bezier曲线总是落在所有控制点组成的凸包区域内(凸多边形边界)，这个特性保证了字幕曲线平滑、边缘细腻、色彩过渡真实感强。

(2)TrueType字体的二维、三维化矢量处理算法。TrueType字体本身就是曲线字，可以使用二次的Bezier曲线来表达。这使得字幂可以作到无级缩放，而不失真。

(3)图形矢量的反走样算法。反走样分为两个方面，一是斜线离散显示时避免锯齿现象，首先根据字模适量确定边界(边缘)，然后使用512级的子像素进行灰度均衡，达到视觉上的边缘光滑；二是纹理放大时的避免马赛格、缩小时闪烁现象和小角度透视时的避免混叠现象。

(4)图形化的表面填充算法、加全边算法、加侧边算法、加影算法、浮雕处理算法、渐变色过渡处理算法、纹理填充算法。

(5)图形元素的图象增强、二值化处理、边缘检测、模糊处理等常见的数字图像处理算法。

(6)基于CPU的二维动态特技算法。主要应用在展现图形元素的连续的动态特效。包括排队、扩展、生长、划像、拉伸、沿路径出字、二维特技等。

(7)基于GPU的三维动态特技算法。算法的核心是基于GPU编程实现的，目的是利用GPU在浮点运算、并行运算、高效纹理处理、向量运算方面的能力实现绚丽的图文效果，例如片段光照算法将光照计算用GPU编程的方式在像素着色单元计算，达到突出三维物体的光照效果，尤其是高光效果的目的，使物体表面显得更为绚丽；实时软阴影算法通过改变复杂条件下的实时阴影效果的传统处理流程，通过将软阴影处理算法用GPU编程方法实现，实现了更大范围的软边阴影效果；反射和折射算法通过包括立方纹理在内的反射和折射纹理贴图方式的支持，可以模拟自然界中金属材质和玻璃材质的极强质感；等离子玻璃效果算法采用两层扰动后的纹理混合而成，使用像素着色器可以完成纹理采样和混合工作，生成应用在一个球体上的等离子效果，实现超强超现实的玻璃反射效果；凹凸贴图算法用较少的三角形面片模拟自然界中凹凸不平的效果，如砖墙、地板、沙发、地理表面等。

上述所有算法都是字幕系统的心脏，决定了一个字幕系统的静态渲染和动态渲染的能力、质量和效率。

在电视字幕的展现过程中，一个非常重要的概念是“实时性”。在PAL制式下，实时性的定义是在1秒钟内需要播出25帧图像；在NTSC制式下，实时性的定义是在1秒钟内需要播出29.97帧图像。如果达不到实时性的要求，在电视字幕播出展现的过程中，就会出现停顿、抖动、割裂、拉条等问题，影响到整个电视节目的视觉效果。

因此，实时性是评价一个字幕系统最为重要的性能技术指标。而决定实时性的重要因素是字幕的静态渲染和动态渲染算法的效率。目前，评估静态渲染和动态渲染的方法主要是以主观评价为主。即，在某些特定的应用环境下，根据经验设定若干评估用例，使用字幕系统进行播出，通过视觉上的流畅度评估是否可以满足这种特定的应用。这种主观的评估方法人为的工作量很大，而且充其量也只能得出“是”或“否”的结论，无法找出渲染过程中的哪些环节是瓶颈，无法对技术上的渲染算法改进和优化起到指导性的作用。

根据上述分析可知，定位渲染算法中影响效率的瓶颈对于字幕系统来说具有非常重要的意义，对于技术的改进和优化起到指导性的作用，但目前还没有一个客观的方法对影响渲染算法效率的瓶颈进行准确的定位。

发明内容

本发明的目的在于提供一种基于模板和参数步长的字幕渲染效率瓶颈自动定位的方法，通过客观的数据来评价一个字幕系统在字幕静态渲染和动态渲染两个方面的效率，通过渲染属性相邻两个参数值之间的效率差，来找出渲染方面的瓶颈，为渲染算法的改进提供客观依据。

本发明的技术方案如下：一种基于模板和参数步长的字幕渲染效率瓶颈自动定位的方法，包括如下步骤：

(1)根据字幕模板建立“渲染源模型库”和“渲染属性模型库”；

(2)针对“渲染属性模型库”中的每个渲染属性，基于参数的步长进行处理，生成参考渲染属性，并将这些新生成的参考渲染属性存放到“参考渲染属性模型库”中；

(3)从“渲染源模型库”取出一个渲染源，从“参考渲染属性模型库”取出一个参考渲染属性，将这个参考渲染属性赋予渲染源，产生一个字幕对象；

(4)将这个字幕对象交给字幕系统的渲染引擎进行渲染，得到本次渲染所用的时间；

(5)将本次渲染所用的时间累计到总的渲染时间中，根据当前总的渲染时间和渲染次数计算出渲染平均时间，记录在渲染统计结果数据库中；

(6)重复步骤(3)至步骤(5)的操作，直至遍历完“渲染源模型库”和“参考渲染属性模型库”中所有的渲染源和参考渲染属性；

(7)根据相邻参考渲染属性的渲染平均时间的差值来定位渲染瓶颈。

进一步，如上所述的基于模板和参数步长的字幕渲染效率瓶颈自动定位的方法，其中，所述的渲染属性包括静态渲染属性和动态渲染属性，所述的渲染源包括静态渲染源和动态渲染源。

再进一步，如上所述的基于模板和参数步长的字幕渲染效率瓶颈自动定位的方法，步骤(1)中在建立“渲染属性模型库”时，要过滤掉相同参数的渲染属性。

更进一步，所述的过滤掉相同参数的渲染属性的方法为：对于一个渲染属性对象，直接通过对比该渲染属性对象与其它对象所占用的内存块是否完全相同，如果不相同，就把这个对象加入到渲染属性模型库中；如果相同，就将其过滤掉。

进一步，如上所述的基于模板和参数步长的字幕渲染效率瓶颈自动定位的方法，在步骤(2)中，若参数有n个，分别表示为P[1]～P[n]，每个参数的取值步长表示为B[1]～B[n]，针对“渲染属性模型库”中的每个渲染属性M，基于参数的步长对渲染属性进行处理生成参考渲染属性R的方法如下：

首先，生成第一个原始的属性：R[j][0]＝M[j]；

其次，根据每个需要处理的参数生成一个新的属性：

R[j][1]＝M[j]+(P[1]+B[1])

R[j][2]＝M[j]+(P[2]+B[2])

R[j][i]＝M[j]+(P[i]+B[i])

R[j][n]＝M[j]+(P[n]+B[n])

其中，属性R[j][i]表示在渲染属性M[j]的基础上，第i个参数P[i]的值增加B[i]后的新的属性。

进一步，如上所述的基于模板和参数步长的字幕渲染效率瓶颈自动定位的方法，在步骤(7)中，定位渲染瓶颈的方法如下：

通过相邻参考渲染属性的渲染平均时间A[j][i]的差值来确定参数P[i]对渲染效率的影响因子，

F[1][i]＝A[1][i]-A[1][0]

F[2][i]＝A[2][i]-A[2][0]

F[k][i]＝A[k][i]-A[k][0]

其中，K为“渲染属性模型库”中渲染属性的个数，

计算F[1][i]～F[k][i]的平均值：

$F\left[i\right]=\frac{\underset{j=1}{\overset{k}{\mathrm{\Σ}}}F\left[j\right]\left[i\right]}{K},$

根据所得到的n个渲染效率的影响因子F[0]～F[n]，按照从大到小的顺序排列，确定各个参数P[i]对渲染的影响程度。

本发明的有益效果如下：本发明通过使用客观的数据来评价一个字幕系统在字幕静态渲染和动态渲染两个方面的效率，通过渲染属性相邻两个参数值的效率差，找出渲染方面的瓶颈，为渲染算法的改进提供客观依据，对渲染技术的改进和优化起到指导性的作用。

附图说明

图1为字幕静态、动态渲染属性模型库的构建示意图；

图2为基于模板的渲染效率统计的流程原理图；

图3为基于参数步长的渲染效率瓶颈定位的流程原理图；

图4为基于步长的参数处理和渲染统计示意图；

图5为渲染属性模型库的基于步长的处理流程图；

图6为基于参数步长的静态和动态渲染统计流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细的描述。

一个字幕系统的渲染通常分为静态渲染和动态渲染两个方面，“静态渲染属性”指的是一个字幕对象的面填充、全边、侧边、影、浮雕、发光、投影等所有参数的集合；“动态渲染属性”指的是一个字幕对象的二维特技和三维特技的所有参数的集合；“静态渲染源”指的是被赋予了静态渲染属性的字符字幕对象；“动态渲染源”指的是被赋予了动态渲染属性的矢量字幕对象。一个字幕系统都会设计两个渲染引擎：静态渲染引擎和动态渲染引擎，分别用来进行静态字幕渲染和动态特技播出。渲染引擎的使用对于本领域的技术人员来说属于公知技术，此处不再过多的进行描述。

字幕静态、动态渲染属性模型库的构建如图1所示。本发明所涉及的字幕静态、动态渲染属性模型库来源于一系列字幕模板文件。在一个字幕系统中，会根据所有的渲染属性参数创建一些字幕对象，如字元对象和图元对象，这也是所有字幕系统的必备功能，这些字幕对象的集合就构成了字幕模板，实际上就是这个字幕系统产生的一个字幕文件。本发明所描述的方法就是首先要读取这个字幕模板，将其中所有的字幕对象读取到内存中，然后将这些字幕对象的内容(如矢量信息、字符信息)放到“渲染源模型库”中，将它们的渲染属性放到“渲染属性模型库”中。简而言之，本发明通过字幕系统所创建的字幕模板，把其中字幕对象中的渲染源和渲染属性抽取出来，构成两种类型的模型库，作为后续的效率评价的基础数据。

在进行设定时，要根据渲染属性的所有参数来制作字幕模板，在构建模型库时，要过滤掉那些相同的参数的属性，以避免不必要的重复渲染。也就是说，在建立渲染属性模型库的过程中，对于一个渲染属性对象，首先要到现有模型库中查询是否存在参数相同的对象，可以直接通过对象A和对象B的所占用的内存块的对比(memcmp)来确定这两个对象是否完全相同。如果不相同，就把这个对象加入到渲染属性模型库中；如果相同，就将其过滤掉。

如果需要定位一个渲染算法的瓶颈，必须对渲染效率进行统计，并且找出哪些参数对渲染效率的影响是最大的，这主要是基于以下的技术原理：

第一，从概率统计学的角度来说，必须经过大量的渲染过程的统计，得出一个平均的渲染使用的时间，这个时间值才是客观、准确的。

第二，虽然在一个字幕系统中，具有众多的渲染属性参数，但是可以使用字幕模板来涵盖所有的属性参数，因为这些模板是用这个字幕系统制作出来的。

第三，在渲染属性中，每个参数都有一定的步长，如果一个参数的两个相邻取值对渲染效率影响很大，那么可以认为对这个参数的渲染算法处理部分是渲染的一个瓶颈。

基于模板的渲染效率统计的流程原理如图2所示，基于参数步长的渲染效率瓶颈定位的流程原理如图3所示。

根据上述原理，本发明提出了一种基于模板和参数步长的字幕渲染效率瓶颈自动定位的方法，包括如下步骤：

(1)根据字幕模板建立“渲染源模型库”和“渲染属性模型库”；

(2)针对“渲染属性模型库”中的每个渲染属性，基于参数的步长进行处理，生成参考渲染属性，并将这些新生成的参考渲染属性存放到“参考渲染属性模型库”中；

(3)从“渲染源模型库”取出一个渲染源，从“参考渲染属性模型库”取出一个参考渲染属性，将这个参考渲染属性赋予渲染源，产生一个字幕对象；

(4)将这个字幕对象交给字幕系统的渲染引擎进行渲染，得到本次渲染所用的时间；

(5)将本次渲染所用的时间累计到总的渲染时间中，根据当前总的渲染时间和渲染次数计算出渲染平均时间，记录在渲染统计结果数据库中；

(6)重复步骤(3)至步骤(5)的操作，直至遍历完“渲染源模型库”和“参考渲染属性模型库”中所有的渲染源和参考渲染属性；

(7)根据相邻参考渲染属性的渲染平均时间的差值来定位渲染瓶颈。

无论是静态渲染和动态渲染，所有的渲染参数都有一定的取值范围，而且在这个范围之内，基于一定量的步长进行变化的。例如，一个字符的字号的取值范围为8号字到500号字，步长为1；字符的外边的厚度的取值范围是1个像素到200个像素，步长为1；二维淡入特技的取值范围为0到255，步长为1；三维空间变换特技的X轴的坐标的取值范围为-720到1440，步长为1。

基于步长的参数处理和渲染统计的图示如图4所示。为了确定在所有的参数中，哪些参数对渲染的效率影响最大，需要根据一个参数的两个相邻值之间进行渲染效率的对比。也就是要对渲染源进行“基于步长的参数处理”，而后根据处理得到的两个渲染源进行“基于步长渲染统计”，根据统计的结果，准确的分析出来影响渲染效率的参数。

假设参数有n个，分别表示为：P[1]～P[n]，每个参数的取值步长表示为：B[1]～B[n]。针对模型库中的每个渲染属性M，自动生成(n+1)个渲染参考属性对象R。自动生成的过程参见图5所示。

根据属性M[j]生成(n+1)个渲染参考属性对象R的规则是：

首先，生成第一个原始的属性：R[j][0]＝M[j]；

其次，根据每个需要处理的参数生成一个新的属性：

R[j][1]＝M[j]+(P[1]+B[1])

R[j][2]＝M[j]+(P[2]+B[2])

R[j][i]＝M[j]+(P[i]+B[i])

R[j][n]＝M[j]+(P[n]+B[n])

其中，属性R[j][i]表示的意思是在属性M[j]的基础上，第i个参数P[i]的值增加B[i]后的新的属性。

上述处理完成后，“参考渲染属性模型库”中的属性个数为K×(n+1)个，K为“渲染属性模型库”中渲染属性的个数。

下面是“渲染属性模型库”和“参考渲染属性模型库”的矩阵化表示：

将“参考渲染属性模型库”中的K×(n+1)个属性R[j][i]赋给渲染源，产生字幕对象，送到渲染引擎中，进行渲染，最后可以得到K×(n+1)个渲染平均时间A[j][i]。

下面是“参考渲染属性模型库”和“平均渲染时间”的矩阵化表示：

渲染统计流程如图6所示。从“渲染源模型库”取出一个渲染源，从“参考渲染属性模型库”取出一个渲染属性，将这个渲染属性赋予渲染源，产生一个字幕对象；将这个字幕对象交给字幕系统的渲染引擎进行渲染，得到本次渲染所用的时间；将本次渲染所用的时间累计到总的渲染时间中，根据当前总的渲染时间和渲染次数计算出渲染平均时间，记录在渲染统计结果数据库中。

在最终的平均渲染时间矩阵中，可以通过两个相邻的时间差值，来确定参数P[i]对渲染效率的影响。

计算参数P[i]对渲染效率的影响因子的方法如下：

第一，通过渲染属性R[j][i]和R[j][0]的渲染时间A[j][i]和A[j][0]的差值计算：

F[1][i]＝A[1][i]-A[1][0]

F[2][i]＝A[2][i]-A[2][0]

F[k][i]＝A[k][i]-A[k][0]

第二，计算F[1][i]～F[k][i]的平均值：

$F\left[i\right]=\frac{\underset{j=1}{\overset{k}{\mathrm{\Σ}}}F\left[j\right]\left[i\right]}{K},$

F[i]是渲染属性中的参数P[i]对渲染效率的影响因子，通过这个方法得到了n个效率因子F[0]～F[n]，按照从大到小的顺序排列，效率因子F[i]越大，说明这个参数P[i]对渲染的影响越大，这样就可以确定对哪些参数的处理算法需要进行优化了。

该发明主要应用在广电领域电视节目制播机构的字幕编播技术，使用客观的数据来评价一个字幕系统在字幕静态渲染和动态渲染两个方面的效率，找出渲染方面的瓶颈，为渲染算法的改进提供客观依据。

本发明所述的方法并不限于具体实施方式中所述的实施例，本领域技术人员根据本发明的技术方案得出其他的实施方式，同样属于本发明的技术创新范围。

Claims (6)

1.一种基于模板和参数步长的字幕渲染效率瓶颈自动定位的方法，包括如下步骤：

(1)根据字幕模板建立“渲染源模型库”和“渲染属性模型库”；

(2)针对“渲染属性模型库”中的每个渲染属性，基于参数的步长进行处理，生成参考渲染属性，并将这些新生成的参考渲染属性存放到“参考渲染属性模型库”中；

(3)从“渲染源模型库”取出一个渲染源，从“参考渲染属性模型库”取出一个参考渲染属性，将这个参考渲染属性赋予渲染源，产生一个字幕对象；

(4)将这个字幕对象交给字幕系统的渲染引擎进行渲染，得到本次渲染所用的时间；

(5)将本次渲染所用的时间累计到总的渲染时间中，根据当前总的渲染时间和渲染次数计算出渲染平均时间，记录在渲染统计结果数据库中；

(6)重复步骤(3)至步骤(5)的操作，直至遍历完“渲染源模型库”和“参考渲染属性模型库”中所有的渲染源和参考渲染属性；

(7)根据相邻参考渲染属性的渲染平均时间的差值来定位渲染瓶颈。

2.如权利要求1所述的基于模板和参数步长的字幕渲染效率瓶颈自动定位的方法，其特征在于：所述的渲染属性包括静态渲染属性和动态渲染属性，所述的渲染源包括静态渲染源和动态渲染源。

3.如权利要求2所述的基于模板和参数步长的字幕渲染效率瓶颈自动定位的方法，其特征在于：步骤(1)中在建立“渲染属性模型库”时，要过滤掉相同参数的渲染属性。

4.如权利要求3所述的基于模板和参数步长的字幕渲染效率瓶颈自动定位的方法，其特征在于：所述的过滤掉相同参数的渲染属性的方法为：对于一个渲染属性对象，直接通过对比该渲染属性对象与其它对象所占用的内存块是否完全相同，如果不相同，就把这个对象加入到渲染属性模型库中；如果相同，就将其过滤掉。

5.如权利要求1或2或3所述的基于模板和参数步长的字幕渲染效率瓶颈自动定位的方法，其特征在于：在步骤(2)中，若参数有n个，分别表示为P[1]～P[n]，每个参数的取值步长表示为B[1]～B[n]，针对“渲染属性模型库”中的每个渲染属性M，基于参数的步长对渲染属性进行处理生成参考渲染属性R的方法如下：

首先，生成第一个原始的属性：R[j][0]＝M[j]；

其次，根据每个需要处理的参数生成一个新的属性：

R[j][1]＝M[j]+(P[1]+B[1])

R[j][2]＝M[j]+(P[2]+B[2])

......

R[j][i]＝M[j]+(P[i]+B[i])

......

R[j][n]＝M[j]+(P[n]+B[n])

其中，属性R[j][i]表示在渲染属性M[j]的基础上，第i个参数P[i]的值增加B[i]后的新的属性。

6.如权利要求5所述的基于模板和参数步长的字幕渲染效率瓶颈自动定位的方法，其特征在于：在步骤(7)中，定位渲染瓶颈的方法如下：

通过相邻参考渲染属性的渲染平均时间A[j][i]的差值来确定参数P[i]对渲染效率的影响因子，

F[1][i]＝A[1][i]-A[1][0]

F[2][i]＝A[2][i]-A[2][0]

......

F[k][i]＝A[k][i]-A[k][0]

其中，K为“渲染属性模型库”中渲染属性的个数，

计算F[1][i]～F[k][i]的平均值：

$F\left[i\right]=\frac{\underset{j=1}{\overset{k}{\mathrm{\Σ}}}F\left[j\right]\left[i\right]}{K},$

根据所得到的n个渲染效率影响因子的平均值F[0]～F[n]，按照从大到小的顺序排列，确定各个参数P[i]对渲染的影响程度。

Images