CN101394488A - 一种基于模板的字幕渲染效率的统计方法 - Google Patents

Abstract

本发明公开了一种基于模板的字幕渲染效率的统计方法，属于广电领域电视节目制播机构的字幕编播技术领域。现有技术中评估字幕渲染效率的方法主要以主观评价为主，存在评估结果不准确和工作量大等缺陷。本发明所述的方法首先根据若干字幕模板创建渲染源模型库和渲染属性模型库；然后根据渲染源模型库中的渲染源和渲染属性模型库中的渲染属性创建字幕对象；渲染创建的所有字幕对象，记录每个字幕对象的渲染时间以及渲染的总时间和总次数；最后根据每个字幕对象的渲染时间以及渲染的总时间和总次数计算渲染效率。采用本发明所述的方法能够较精确地计算出字幕的渲染效率，同时能够较精确地计算出渲染属性对渲染效率的影响因子。

Description

一种基于模板的字幕渲染效率的统计方法

技术领域

本发明属于广电领域电视节目制播机构的字幕编播技术领域，具体涉及一种基于模板的字幕渲染效率的统计方法。

背景技术

随着电视事业的发展，电视字幕在电视中的作用越来越大，日均播出次数增多，字幕播出的形式多样，字幕制作也更加精美。通过电视字幕，我们能够充分利用有限的电视屏幕空间，传递更多的信息，使观众更快捷地了解新的收视动态、了解电视内容，提高收视质量。同时，通过字幕也便于频道节目包装，提升整体形象。并且还能通过字幕平台与观众实现互动、提供增值服务。

在技术上，要求字幕制播系统结合最新的计算机图形图像技术，产生大量的静态渲染效果和动态播出特效，并运用基于三维图形加速引擎的三维实时字幕技术，从传统的在视频上生成字幕的单一功能，向“寓包装于内容”的视频信息综合发布平台转变。

电视字幕最终是通过与视频画面叠加的方式展现给观众的。在展现过程中，一个非常重要的概念是“实时性”。根据不同的电视视频制式，实时性有着不同的定义：在PAL制式下，实时性的定义是在1秒钟内需要播出25帧图像；在NTSC制式下，实时性的定义是在1秒钟内需要播出29.97帧图像。如果达不到实时性的要求，在电视字幕播出展现的过程中，就会出现停顿、抖动、割裂、拉条等问题，影响到整个电视节目的视觉效果。

因此，电视字幕最终的展现形式的实时性是评价一个字幕系统最为重要的技术指标。而决定实时性的重要因素是字幕的静态渲染和动态渲染的效率。

随着IT技术的发展，字幕展现的形式从传统的串行链表播出，逐步发展到现在的按照时间线进行多任务并行播出的形式，图1和图2表示了这两种播出模式。无论是哪一种播出模式，在播出展现时，都会严格的要求播出的实时性。下面以时间线播出模式为例，说明字幕的静态渲染和动态渲染的效率对实时性的影响。

图3是一个时间线播出的具体实例，在这个图示中，有四个任务序列，每个序列有一个字幕对象，分别是字幕对象A、字幕对象B、字幕对象C、字幕对象D。其中：字幕对象A在任务序列1上的入点和出点是A1和A2，字幕对象B在任务序列2上的入点和出点是B1和B2，字幕对象C在任务序列3上的入点和出点是C1和D2，字幕对象D在任务序列4上的入点和出点是D1和D2。A1、A2、B1、B2、C1、C2、D1、D2的值都是相对于序列第0帧的。

图4出示了渲染图3所示具体实例的流程图，当序列播出到第X帧时，分别对字幕对象A、B、C、D的某一个帧进行渲染：首先对字幕对象A、B、C、D进行静态渲染，然后在渲染得到的图像上进行动态渲染，分别渲染对象A的第(X_A1)帧、对象B的第(X_B1)帧、对象C的第(X_C1)帧、对象D的第(X_D1)帧，最后对动态渲染的结果进行叠加混合，送到输出帧缓存中。

在渲染最终一帧图像的过程中，要确保字幕展现的实时性，上述一帧图像的渲染流程必须在40毫秒内完成(在1秒25帧的PAL制式下)。由此可见，静态渲染和动态渲染的效率将直接影响到一个字幕系统的播出的整体性能。

目前，评估静态渲染和动态渲染的方法主要是以主观评价为主。即在某些特定的应用环境下，根据经验设定若干评估用例，使用字幕系统进行播出，通过视觉上的流畅度评估是否可以满足这种特定的应用。这种评估方法虽然简单，但是缺点也是显而易见的。

第一，这不是一种通用的做法。电视字幕的应用场合非常繁多，常见的有新闻类、财经类、体育类、综艺晚会类、气象类、专题类、电视剧类等，这些类型的节目对字幕应用的要求差异很大。

第二，参与评估的人员的主体，特别是经验方面的因素，在上述方法中起了决定性的作用。人工的成分越多，评估的结果就越不准确，不同层次经验的人得到的结论也往往是不同的。

第三，人为的工作量很大，而结果却是事倍功半的，这也不符合IT技术发展的总体趋势。

第四，从概率统计学的角度来说，具有主观经验特性的评估用例无法涵盖一个系统的所有逻辑分支，从而无法客观、精确的评价一个产品的全部性能，即便能够得出结论，也是有失偏颇的。

发明内容

针对现有技术中存在的缺陷，本发明的目的是提供一种基于模板的字幕渲染效率的统计方法，该方法能够较精确地统计出字幕的渲染效率。

为实现以上目的，本发明采用的技术方案是：一种基于模板的字幕渲染效率的统计方法，包括以下步骤：

(1)根据若干字幕模板创建渲染源模型库和渲染属性模型库；

(2)根据渲染源模型库中的渲染源和渲染属性模型库中的渲染属性创建字幕对象；

(3)渲染步骤(2)中创建的所有字幕对象，记录每个字幕对象的渲染时间以及渲染的总时间和总次数；

(4)根据步骤(3)中记录的每个字幕对象的渲染时间以及渲染的总时间和总次数计算渲染效率。

如上所述的一种基于模板的字幕渲染效率的统计方法，步骤(1)中所述的渲染源模型库包括静态渲染源模型库和动态渲染源模型库。

如上所述的一种基于模板的字幕渲染效率的统计方法，其中，所述的静态渲染源模型库包括以下三种类型的字符：

①文本文件中的所有字符；

②Windows TrueType字库中所有有效字符；

③随机产生的字符。

读取静态渲染源模型库中第①、②类字符时，采用顺序读取的方式，或者采用随机抽取的方式。

如上所述的一种基于模板的字幕渲染效率的统计方法，其中，所述的动态渲染源模型库包括以下4种类型的矢量：

①线段、矩形、菱形、各种形状的箭头、圆形、圆弧、扇形、椭圆形；

②星形、标注、太阳、月亮、多边形；

③Bezier曲线；

④立方体、椎体、球体、圆柱体、圆环。

如上所述的一种基于模板的字幕渲染效率的统计方法，步骤(1)中所述的渲染属性模型库包括静态渲染属性模型库和动态渲染属性模型库。

如上所述的一种基于模板的字幕渲染效率的统计方法，其中，所述的静态渲染属性包括字幕对象的面填充、全边、侧边、影、浮雕、发光和投影。

所述的动态渲染属性包括字幕对象的二维特技和三维特技的所有参数；其中二维特技类型包括排队、扩展、生长、划像、拉伸、沿路径出字，三维特技类型包括水波、旗飘、螺旋、扭曲、三维投影、火焰、球变、三维形变、弯曲、幻影、卷页、折叠、礼花、百叶窗、碎裂、水波、波动、划像、转球、螺旋、旗飘、波动虚影、蝶变、流光、凸镜、万花筒、激光、飞光、魔幻螺旋、运动模糊、径向模糊、波浪、波浪倒影、回旋、阴影。

如上所述的一种基于模板的字幕渲染效率的统计方法，步骤(1)中所述的创建渲染属性模型库的过程包括以下步骤：

①字幕系统根据渲染属性的所有参数来创建若干个字幕模板；

②对步骤①中创建的每个字幕模板进行处理，提取每个字幕模板的渲染源和渲染属性；

③对步骤②中提取的渲染源和渲染属性进行过滤，滤除重复的渲染源和渲染属性，将剩余的渲染源和渲染属性分别存入渲染源模型库和渲染属性模型库。

如上所述的一种基于模板的字幕渲染效率的统计方法，其中，创建的渲染源模型库包含字幕系统支持的所有类型的矢量，并且渲染源的数量不少于1000个。

如上所述的一种基于模板的字幕渲染效率的统计方法，步骤(2)中所述的根据渲染源模型库中的渲染源和渲染属性模型库中的渲染属性创建字幕对象的具体过程为：将渲染属性模型库中所有的渲染属性分别赋给渲染源模型库中所有的渲染源。

如上所述的一种基于模板的字幕渲染效率的统计方法，步骤(4)中所述的计算渲染效率包括计算渲染一个字幕对象的平均时间和计算渲染属性对渲染效率的影响因子；其中，渲染一个字幕对象的平均时间等于渲染所有字幕对象的总时间除以总次数；计算渲染属性对渲染效率的影响因子采用下述公式

$F_{\left[j\right]}=\frac{\underset{i=1}{\overset{T}{\mathrm{\Σ}}}{A}_{\left[i\right]\left[j\right]}}{T}$

其中，F_[j]表示渲染属性M_[j]对渲染效率的影响因子，即T个渲染属性为M_[j]的字幕对象的平均渲染时间，

表示T个渲染属性为M_[j]的字幕对象渲染时间的总和，A_[i][j]表示第i个渲染属性为M_[j]的字幕对象的渲染时间，i、j、T为正整数。

采用本发明所述的方法通过统计渲染字幕对象的时间及渲染次数能够较精确地计算出字幕的渲染效率，同时能够较精确地计算出渲染属性对渲染效率的影响因子。

附图说明

图1是字幕传统的串行链表播出示意图；

图2是字幕按照时间线进行多任务并行播出示意图；

图3是字幕按照时间线进行多任务并行播出的实例图；

图4是字幕按照时间线进行多任务并行播出时进行静态渲染和动态渲染的流程图；

图5是本发明所述的方法流程图；

图6是静态渲染属性、渲染源与静态渲染引擎的关系图；

图7是动态渲染属性、渲染源与动态渲染引擎的关系图；

图8是具体实施方式中构建字幕静态、动态渲染属性模型库的流程图；

图9是具体实施方式中静态和动态渲染统计流程图。

具体实施方式

下面结合实施方式和附图对本发明作进一步的描述。

本发明所述的基于模板的字幕渲染效率的统计方法基于如下的技术原理：首先，从概率统计学的角度来讲，字幕的渲染时间只有经过多次渲染过程的时间统计，获得一个平均渲染时间，这个时间值才是客观的、准确的；其次，虽然在一个字幕系统中，具有众多的渲染属性参数，渲染时间会因为渲染属性的不同而不同，但是可以使用字幕系统制作的字幕模版来涵盖所有的渲染属性参数，从而使得统计出的字幕渲染效率更加客观、准确。

图5出示了本发明所述的基于模板的字幕渲染效率的统计方法流程，包括以下步骤。

(1)根据若干字幕模板创建渲染源模型库和渲染属性模型库。

字幕系统的渲染分为静态渲染和动态渲染两个方面，因此渲染引擎分为静态渲染引擎和动态渲染引擎，渲染源分为静态渲染源和动态渲染源，渲染属性分为静态渲染属性和动态渲染属性。

静态渲染源是指被赋予了静态渲染属性的字符字幕对象。动态渲染源是指被赋予了动态渲染属性的矢量字幕对象。

静态渲染属性是指一个字幕对象的面填充、全边、侧边、影、浮雕、发光、投影等所有参数的集合。动态渲染属性是指一个字幕对象的二维特技和三维特技的所有参数的集合，其中二维特技包括排队、扩展、生长、划像、拉伸、沿路径出字等特技类型，三维特技包括水波、旗飘、螺旋、扭曲、三维投影、火焰、球变、三维形变、弯曲、幻影、卷页、折叠、礼花、百叶窗、碎裂、水波、波动、划像、转球、螺旋、旗飘、波动虚影、蝶变、流光、凸镜、万花筒、激光、飞光、魔幻螺旋、运动模糊、径向模糊、波浪、波浪倒影、回旋、阴影等特技类型。

图6出示了静态渲染属性、静态渲染源与静态渲染引擎的关系，图7出示了动态渲染属性、动态渲染源与动态渲染引擎的关系。

由于渲染源分为静态渲染源和动态渲染源，渲染属性分为静态渲染属性和动态渲染属性，因此创建渲染源模型库包括建立静态渲染源模型库(静态渲染字符模型库)和建立动态渲染源模型库(动态渲染矢量模型库)，创建渲染属性模型库包括建立静态渲染属性模型库和动态渲染属性模型库。

静态渲染源模型库主要包括下述三种类型的字符：

①一个文本文件中的所有字符；

②一个Windows TrueType字库中的所有有效字符；

③随机产生的字符。

动态渲染源模型库主要包括下述四种类型的矢量：

①简单的图像元素，如线段、矩形、菱形、各种形状的箭头、圆形(圆弧、扇形、椭圆形)等；

②比较复杂的图形元素，如星形、标注、太阳、月亮、多边形等；

③更加复杂的适合高级字幕应用的手绘Bezier曲线；

④三维图形元素，如立方体、椎体、球体、圆柱体、圆环等。

建立动态渲染模源型库时，该模型库应该包含字幕系统支持的所有矢量图形的类型，这样才会使得基于这些矢量的动态渲染具体现实的参考意义。

参照图8，创建渲染源模型库和渲染属性模型库的过程主要包括以下步骤：

①由字幕系统根据所有的渲染属性参数来创建若干个字幕模板。

字幕系统根据所有渲染属性参数创建若干字幕对象，如字元对象和图元对象，创建的所有字幕对象的集合便构成了字幕模板。实质上，字幕模板就是字幕系统生成的一个字幕文件。

②对创建的每个字幕模板进行处理，提取每个字幕模板的渲染源和渲染属性，将渲染源存入渲染源模型库中，渲染属性存入渲染属性模型库中。

读取字幕系统创建的字幕模板，将其中所有的字幕对象读入内存，提取每个字幕对象的内容(字符信息、矢量信息)和渲染属性(静态渲染属性、动态渲染属性)，将字幕对象的字符信息存入静态渲染源模型库，矢量信息存入动态渲染源模型库，静态渲染属性存入静态渲染属性模型库，动态渲染属性存入动态渲染属性模型库。

在将渲染源和渲染属性存入渲染源模型库和渲染属性模型库之前，先由过滤处理器对所有的渲染源和渲染属性进行过滤，滤除重复的渲染源和渲染属性，以避免不必要的重复渲染。

本实施方式中，假设创建的渲染源模型库中有T个渲染源，S[1]---S[t]，表示为1维矩阵的形式如下：

[S_[1] S_[2]...S_[t]]

渲染属性模型库中有K个渲染属性，M_[1]---M_[k]，表示为1维矩阵的形式如下：

[M_[1] M_[2]...M_[k]]

(2)根据渲染源模型库中的渲染源和渲染属性模型库中的渲染属性创建字幕对象，即将渲染属性模型库中所有的渲染属性分别赋给渲染源模型库中所有的渲染源，生成字幕对象。

本实施方式中，将K个渲染属性分别赋给T个渲染源，产生(K×T)个字幕对象，Z_[1][1]---Z_[t][k]。Z_[i][j]表示渲染源S_[i]被赋予了渲染属性M_[j]后产生的字幕对象。Z_[1][j]---Z_[t][j]表示了具有相同渲染属性M_[j]的T个字幕对象，创建的字幕对象表示为矩阵的形式如下：

$\left[\begin{array}{cccc}{Z}_{\left[1\right]\left[1\right]}& Z_{\left[1\right]\left[2\right]}& \·\·\·& Z_{\left[1\right]\left[k\right]}\\ Z_{\left[2\right]\left[1\right]}& Z_{\left[2\right]\left[2\right]}& \·\·\·& Z_{\left[2\right]\left[k\right]}\\ Z_{\left[3\right]\left[1\right]}& Z_{\left[3\right]\left[2\right]}& \·\·\·& Z_{\left[3\right]\left[k\right]}\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ Z_{\left[t\right]\left[1\right]}& Z_{\left[t\right]\left[2\right]}& \·\·\·& Z_{\left[t\right]\left[k\right]}\end{array}\right]$

(3)渲染步骤(2)中创建的所有字幕对象，记录每个字幕对象的渲染时间以及渲染的总时间和总次数。

图9出示了渲染时间统计流程图。首先将字幕对象Z_[i][j]送到渲染引擎，即从渲染源模型库中取出一个渲染源，从渲染属性模型库中取出一个渲染属性后赋给渲染源，将生成的字幕对象送到渲染引擎。然后渲染引擎对字幕对象进行渲染，记录渲染的开始时间和结束时间，得到渲染一次的时间，并将渲染一次的时间和渲染次数进行累加。最后将每个字幕对象的渲染时间和所有字幕对象的总渲染时间和总渲染次数送入渲染统计结果数据库中。

本实施方式中，最后获得(K×T)个渲染时间A_[i][j]，表示为矩阵的形式如下：

$\left[\begin{array}{cccc}{A}_{\left[1\right]\left[1\right]}& A_{\left[1\right]\left[2\right]}& \·\·\·& A_{\left[1\right]\left[k\right]}\\ A_{\left[2\right]\left[1\right]}& A_{\left[2\right]\left[2\right]}& \·\·\·& A_{\left[2\right]\left[k\right]}\\ A_{\left[3\right]\left[1\right]}& A_{\left[3\right]\left[2\right]}& \·\·\·& A_{\left[3\right]\left[k\right]}\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ A_{\left[t\right]\left[1\right]}& A_{\left[t\right]\left[2\right]}& \·\·\·& A_{\left[t\right]\left[k\right]}\end{array}\right]$

其中，A_[i][j]表示第i个渲染属性为M_[j]的字幕对象的渲染时间。渲染所有字幕对象的总时间为Time，即上述矩阵中所有元素之和。总次数为K×T。

(4)根据步骤(3)中记录的每个字幕对象的渲染时间以及渲染的总时间和总次数计算渲染效率。

根据渲染所有字幕对象的总渲染时间和渲染次数，可以计算渲染一个字幕对象的平均时间。本实施方式中，渲染一个字幕对象的平均时间为：

Time/(K×T)。

还可以根据具有相同渲染属性的所有字幕对象的渲染总时间和具有相同渲染属性的字幕对象的个数计算渲染属性对渲染效率的影响，即计算具有相同渲染属性的字幕对象渲染一次的平均时间，将该时间称为影响因子。例如，本实施方式中Z_[1][j]---Z_[t][j]表示具有相同渲染属性M_[j]的T个字幕对象，根据这T个字幕对象中每个字幕对象的渲染时间A_[1][j]---A_[t][j]便可以计算出渲染属性M_[j]对渲染效率的影响因子F_[j]：

$F_{\left[j\right]}=\frac{\underset{i=1}{\overset{T}{\mathrm{\Σ}}}{A}_{\left[i\right]\left[j\right]}}{T}$

其中，F_[j]表示渲染属性M_[j]对渲染效率的影响因子，即T个渲染属性为M_[j]的字幕对象渲染一次的平均渲染时间，公示中分子表示T个渲染属性为M_[j]的字幕对象渲染时间的总和，A_[i][j]表示第i个渲染属性为M_[j]的字幕对象的渲染时间，i、j、T为正整数。

从概率统计学的理论可知：渲染次数(一个渲染源作用于一个渲染属性上，称为一次渲染)越多，得出的F_[j]的值越有意义。试验证明：渲染源的数量T应不少于1000个(如果实际的渲染源少于1000个，可以采用循环使用的方法)，即针对一个渲染属性，用不少于1000个渲染源进行渲染。当使用1000以上个渲染源时，得出的F_[j]值基本相同。因此，本实施方式创建的渲染源模型库中渲染源的数量T为1000个。

需要说明的是：上述具体实施方式是对本发明的解释而非限制，本领域技术人员根据本发明的技术方案得出其他的实施方式，同样属于本发明的技术创新范围。

Claims (12)

1.一种基于模板的字幕渲染效率的统计方法，包括以下步骤：

(1)根据若干字幕模板创建渲染源模型库和渲染属性模型库；

(2)根据渲染源模型库中的渲染源和渲染属性模型库中的渲染属性创建字幕对象；

(3)渲染步骤(2)中创建的所有字幕对象，记录每个字幕对象的渲染时间以及渲染的总时间和总次数；

(4)根据步骤(3)中记录的每个字幕对象的渲染时间以及渲染的总时间和总次数计算渲染效率。

2.如权利要求1所述的一种基于模板的字幕渲染效率的统计方法，其特征在于：步骤(1)中所述的渲染源模型库包括静态渲染源模型库和动态渲染源模型库。

3.如权利要求2所述的一种基于模板的字幕渲染效率的统计方法，其特征在于，所述的静态渲染源模型库包括以下三种类型的字符：

①文本文件中的所有字符；

②Windows TrueType字库中所有有效字符；

③随机产生的字符。

4.如权利要求3所述的一种基于模板的字幕渲染效率的统计方法，其特征在于：读取静态渲染源模型库中第①、②类字符时，采用顺序读取的方式，或者采用随机抽取的方式。

5.如权利要求2所述的一种基于模板的字幕渲染效率的统计方法，其特征在于，所述的动态渲染源模型库包括以下4种类型的矢量：

①线段、矩形、菱形、各种形状的箭头、圆形、圆弧、扇形、椭圆形；

②星形、标注、太阳、月亮、多边形；

③Bezier曲线；

④立方体、椎体、球体、圆柱体、圆环。

6.如权利要求1所述的一种基于模板的字幕渲染效率的统计方法，其特征在于：步骤(1)中所述的渲染属性模型库包括静态渲染属性模型库和动态渲染属性模型库。

7.如权利要求6所述的一种基于模板的字幕渲染效率的统计方法，其特征在于：所述的静态渲染属性包括字幕对象的面填充、全边、侧边、影、浮雕、发光和投影。

8.如权利要求6所述的一种基于模板的字幕渲染效率的统计方法，其特征在于：所述的动态渲染属性包括字幕对象的二维特技和三维特技的所有参数；其中二维特技类型包括排队、扩展、生长、划像、拉伸、沿路径出字，三维特技类型包括水波、旗飘、螺旋、扭曲、三维投影、火焰、球变、三维形变、弯曲、幻影、卷页、折叠、礼花、百叶窗、碎裂、水波、波动、划像、转球、螺旋、旗飘、波动虚影、蝶变、流光、凸镜、万花筒、激光、飞光、魔幻螺旋、运动模糊、径向模糊、波浪、波浪倒影、回旋、阴影。

9.如权利要求1所述的一种基于模板的字幕渲染效率的统计方法，其特征在于，步骤(1)中所述的创建渲染源模型库和渲染属性模型库的过程包括以下步骤：

①字幕系统根据渲染属性的所有参数来创建若干个字幕模板；

②对步骤①中创建的每个字幕模板进行处理，提取每个字幕模板的渲染源和渲染属性；

③对步骤②中提取的渲染源和渲染属性进行过滤，滤除重复的渲染源和渲染属性，将剩余的渲染源和渲染属性分别存入渲染源模型库和渲染属性模型库。

10.如权利要求9所述的一种基于模板的字幕渲染效率的统计方法，其特征在于：创建的渲染源模型库包含字幕系统支持的所有类型的矢量，并且渲染源的数量不少于1000个。

11.如权利要求1所述的一种基于模板的字幕渲染效率的统计方法，其特征在于，步骤(2)中所述的根据渲染源模型库中的渲染源和渲染属性模型库中的渲染属性创建字幕对象的具体过程为：将渲染属性模型库中所有的渲染属性分别赋给渲染源模型库中所有的渲染源。

12.如权利要求1所述的一种基于模板的字幕渲染效率的统计方法，其特征在于：步骤(4)中所述的计算渲染效率包括计算渲染一个字幕对象的平均时间和计算渲染属性对渲染效率的影响因子；其中，渲染一个字幕对象的平均时间等于渲染所有字幕对象的总时间除以总次数；计算渲染属性对渲染效率的影响因子采用下述公式

$F_{\left[j\right]}=\frac{\underset{i=1}{\overset{T}{\mathrm{\Σ}}}{A}_{\left[i\right]\left[j\right]}}{T}$

其中，F_[j]表示渲染属性M_[j]对渲染效率的影响因子，即T个渲染属性为M_[j]的字幕对象的平均渲染时间，

表示T个渲染属性为M_[j]的字幕对象渲染时间的总和，A_[i][j]表示第i个渲染属性为M_[j]的字幕对象的渲染时间，i、j、T为正整数。

Images