发明内容
本发明的目的是针对现有字幕渲染技术所存在的缺陷,在将字幕对象归一化为Bezier曲线并创建出多边形矢量轮廓的基础上,提供一种基于像素空间掩码矩阵模型的字幕渲染方法,从而将字幕对象的矢量信息转化为一个基于等高线的像素掩码矩阵,并将其贯穿应用在字幕渲染的所有环节之中。
本发明的技术方案如下:一种基于像素空间掩码矩阵模型的字幕渲染方法,包括如下步骤:
(1)创建一个二维矩阵模型,使之对应最终渲染后的像素空间;
(2)根据字幕对象的多边形矢量轮廓,确定上述二维矩阵的属性值,得到像素空间掩码矩阵模型;
(3)建立与像素空间掩码矩阵维数相同的字幕渲染纹理图像矩阵,根据字幕渲染纹理图像矩阵以及像素空间掩码矩阵的属性对字幕对象进行纹理贴图;
(4)建立一维形态渐变色彩数组,根据形态渐变色彩数组以及像素空间掩码矩阵的属性对字幕对象进行形态渐变径向色彩填充。
进一步,如上所述的基于像素空间掩码矩阵模型的字幕渲染方法,还包括步骤(5)针对边界像素根据其相邻四像素的等高线距离进行反走样处理。
进一步,如上所述的基于像素空间掩码矩阵模型的字幕渲染方法,步骤(2)中所述的二维矩阵的属性值包括:①一个像素到边界的最短距离Border,②一个像素到最外侧边的侧边方向的距离Side,③经过一个像素的所有边界围成的多边形的面积Area,④一个像素的类型Type,⑤一个像素是否已经进行了反走样处理的标志bAntialiasing。
进一步,如上所述的基于像素空间掩码矩阵模型的字幕渲染方法,步骤(3)中所述的纹理贴图的步骤包括:
(a)确定用于字幕对象渲染的纹理贴图的顺序;
(b)根据字幕对象加边的类型和边的厚度确定纹理贴图的半径MinR和MaxR;
(c)根据需要贴图的图像中的像素点的位置,进行色彩的赋值或反走样处理。
更进一步,如上所述的基于像素空间掩码矩阵模型的字幕渲染方法,步骤(c)中如果需要贴图的图像中的像素点在纹理贴图半径MinR和MaxR所表示的两条等高线围成的区域内,则直接进行色彩赋值;如果需要贴图的图像中的像素点在纹理贴图半径MinR和MaxR所表示的两条等高线上,则根据像素空间掩码矩阵索引处对应的经过该像素的所有边界围成的多边形的面积Area值进行反走样处理。
再进一步,如上所述的基于像素空间掩码矩阵模型的字幕渲染方法,步骤(c)中,设需要贴图的图像中的像素点为P[i][j],如果P[i][j]在纹理贴图半径MinR和MaxR所表示的两条等高线围成的区域内,则P[i][j]的色彩值为:RGBA(P[i][j])=RGBA(T[i][j]);如果P[i][j]在纹理贴图半径MinR和MaxR所表示的两条等高线上,则P[i][j]的色彩值为:RGBA(P[i][j])=RGBA(P[i][j])×(1-M[i][j].Area)+RGBA(T[i][j])×M[i][j].Area;
其中,
RGBA(P[i][j])为需要贴图图像中索引[i,j]处的RGBA的值;
RGBA(T[i][j])为纹理图像矩阵中索引[i,j]处的RGBA的值;
M[i][j].Area为像素空间掩码矩阵中索引[i,j]处对应的经过该像素的所有边界围成的多边形的面积Area值。
进一步,如上所述的基于像素空间掩码矩阵模型的字幕渲染方法,步骤(4)中所述的形态渐变径向色彩填充的步骤包括:
(I)确定用于字幕对象渲染的径向色彩填充的贴图顺序;
(II)根据字幕对象加边的类型和边的厚度确定径向色彩填充的半径MinR和MaxR;
(III)将形态渐变色彩数组索引映射到径向色彩填充半径MinR和MaxR所表示的两条等高线围成的区间[MinR,MaxR]内;
(IV)根据需要贴图的图像中的像素点的位置,进行色彩的赋值或反走样处理。
更进一步,如上所述的基于像素空间掩码矩阵模型的字幕渲染方法,步骤(IV)中如果需要贴图的图像中的像素点在径向色彩填充半径MinR和MaxR所表示的两条等高线围成的区间内,则直接进行色彩赋值;如果需要贴图的图像中的像素点在径向色彩填充半径MinR和MaxR所表示的两条等高线上,则根据像素空间掩码矩阵索引处对应的像素到字幕对象轮廓边界的最短距离Border值以及经过该像素的所有边界围成的多边形的面积Area值进行反走样处理。
再进一步,如上所述的基于像素空间掩码矩阵模型的字幕渲染方法,步骤(IV)中,设需要贴图的图像中的像素点为P[i][j],如果P[i][j]在径向色彩填充半径MinR和MaxR所表示的两条等高线围成的区间内,则P[i][j]的色彩值为:RGBA(P[i][j])=RGBA(C[F(M[i][j].Border)]);如果P[i][j]在径向色彩填充半径MinR和MaxR所表示的两条等高线上,则:RGBA(P[i][j])=RGBA(P[i][j])*(1-M[i][j].Area)+RGBA(C[F(M[i][j].Border)])*M[i][j].Area;
其中,
RGBA(P[i][j])为需要贴图图像中索引[i,j]处的RGBA的值;
M[i][j].Border为像素空间掩码矩阵中索引[i,j]处对应的像素到字幕对象轮廓边界的最短距离Border值;
M[i][j].Area为像素空间掩码矩阵中索引[i,j]处对应的经过该像素的所有边界围成的多边形的面积Area值;
RGBA(C[F(M[i][j].Border)])为形态渐变色彩数组中索引为F(M[i][j].Border)处的RGBA值。
上述F(M[i][j].Border)的计算公式为:F(M[i][j].Border)=k*(M[i][j].Border-MinR)/(MaxR-MinR),k为形态渐变色彩数组中元素的个数。
进一步,如上所述的基于像素空间掩码矩阵模型的字幕渲染方法,步骤(5)中所述的根据相邻四像素的等高线距离进行反走样处理的步骤包括:
①在已经填充了色彩的图像中,得到当前像素P[i][j]以及其上、下、左、右四个相邻像素P[i-1][j]、P[i+1][j]、P[i][j-1]、P[i][j+1]的色彩RGBA的值,分别为:
C[0]=RGBA(P[i][j])
C[1]=RGBA(P[i-1][j])
C[2]=RGBA(P[i+1][j])
C[3]=RGBA(P[i][j-1])
C[4]=RGBA(P[i][j+1]);
②在像素空间掩码矩阵中得到与上述像素对应的掩码属性值;
③根据上述四个相邻像素的色彩RGBA的值以及各像素的掩码属性值,进行加权平均,得到处理后的像素P[i][j]的色彩RGBA的值。
本发明的有益效果如下:本发明将字幕对象的矢量信息转化为一个基于等高线的像素掩码矩阵,并在此基础上进行字幕渲染,使得字幕系统具有优秀的实用性、普遍的适用性、功能的完备性、功能的可扩展性和制播的时效性,从而满足电视节目制播机构对字幕质量、字幕效果等日益增长的需求。通过高质量的字幕,使电视节目更加赏心悦目,也可以使电视观众更快捷地了解时事新闻、综合资讯信息、公共服务信息、实时气象信息、收视动态等电视内容,从而更加直接的体现电视媒体为大众服务的重要社会属性,取得更好的社会效益。
具体实施方式
下面结合附图和具体实施例对本发明进行详细的描述。
由于目前的用于电视节目制作的字幕系统中字幕渲染普遍存在渲染效率低下、边缘锯齿效应、小字模糊不清晰、文字笔画粗细不均匀、渐变效果不真实、无法实现多边多影渲染效果、无法实现艺术字效果等一系列技术上和应用上的问题,因此,可以通过将字幕对象的矢量信息转化为一个基于等高线的像素掩码矩阵,在此基础上进行字幕渲染的技术来加以解决,这一技术称作基于曲线轮廓的封闭环域和像素掩码矩阵的字幕渲染方法(具体内容可参见同期申请的专利)。
上述方法的关键步骤首先是有限封闭环域的生成。有限封闭环域为有限个内环、外环(内、外环方向相反)定义的一个多连通闭区域,内环必须在一个外环内。一个输入图元由一个或多个封闭轮廓组成,轮廓以首尾连结的二次Bezier曲线表示。对封闭轮廓进行曲线相交检测,通过裁减曲线、并归轮廓,生成有限环域的内外环。
曲线的相交检测利用外接矩形检测选取可能相交曲线对以提高效率,然后递归法对可能相交的Bezier曲线对二分法分割进行局部曲线段的包围盒检测,当分割的曲线段满足直线拟和精度时,用直线规则求交点,根据交点分割相交曲线对。计算交点相连的曲线的方向进行内、外环分类测试,裁减不满足内、外环属性的曲线,即删除被一个外环包含却与外环方向一致的曲线或者被内环包含的与内环方向一致的曲线。连接首尾端点重合的曲线,生成封闭的内外环。
算法的思想基于某一渲染区(渲染基元为一个象素)的渲染属性取决于其相对于环域的位置,即以原始轮廓环域为0距线,通过计算渲染基元相对0距线的距离得到像素掩码矩阵,由像素掩码矩阵的等高线划分不同的渲染区。渲染区的灵活划分,可以实现多层图元渲染;不同的距离计算方式得到不同的等高线,从而实现不同的区域边界导角特性;像素掩码矩阵做深度信息等转换,实现浮雕等立体效果。
因此,算法的另一关键步骤就是像素掩码矩阵中各个属性的计算。离散化曲线环域,根据离散化的轮廓点链的前进方向标记距离映射图中各基元的符号(例如,外环逆时针,则左为正右为负,点链经过的基元为零)。通过对点链中各点的方向矢量及其前后点的方向角平分线方向矢量围成的有限区域范围内计算渲染基元的距离,在映射图中记录各基元的绝对值最小的距离值。
基于上述原理,在将一个字幕对象的Bezier曲线矢量轮廓离散化为多边形矢量G之后,进一步根据多边形的方向和加边类型,创建出用来加内边的多边形矢量G1和用来加外边的多边形矢量G2。然后,就可以对字幕对象进行后续渲染。
本发明首先需要建立与原始图像具有相同维数的像素空间掩码矩阵M如图1a所示,填充了色彩以后的像素空间色彩矩阵如图1b所示,每个像素的色彩值包括RGBA四个分量。图2为基于像素空间掩码矩阵模型的字幕渲染方法流程示意图。
像素空间掩码矩阵M中每个像素点包括以下属性数据:
(1).一个像素到边界的最短距离Border。该值在加内边、外边时使用。根据方角边、尖角边、圆角边的不同类型,这个距离有不同的意义。
(2).一个像素到最外侧边的侧边方向的距离Side。该值在加侧边时使用。
(3).经过一个像素的所有边界围成的多边形的面积Area。该值在对边界像素进行反走样贴图时使用。因此首先要区分内部像素和边界像素:对于内部像素来说,该值为固定的值(512*512);对于边界像素而言,该值是一个小于等于512*512的值,表示通过该像素的边与该像素矩形(高和宽均为512)围成多边形的面积。
(4).一个像素的类型Type。该值用来表示一个像素是侧边边界、外边边界、内边边界、内部像素。
(5).一个像素是否已经进行了反走样处理的标志bAntialiasing。使用这个布尔变量以避免对同一个像素进行多次的反走样处理。
以上的Border、Side、Area的值都是在512*512的坐标空间中,因此,可以将以上这些数据当作一个像素的掩码。
下面对Border、Side、Area的值的计算以及像素类型Type的确定进行介绍。
如图3a、图3b所示,计算一个像素到边界的最短距离Border值的方法如下:
(1)在字幕对象的多边形矢量轮廓边界上选取直线段(P0,P1),确定直线段(P0,P1)两个端点P0、P1的坐标(P0.x,P0.y)、(P1.x,P1.y)以及两个端点的加边方向的向量(P0.dx,P0.dy)、(P1.dx,P1.dy);
加边方向的向量与加边方向的角度的关系如下:
P0.dx=Cos(A0) P0.dy=Sin(A0)
P1.dx=Cos(A1) P1.dy=Sin(A1)
其中,P0点的加边方向的角度为A0,P1点的加边方向的角度为A1。
(2)设定沿加边方向逐层计算的距离k、步长s,根据P0、P1的加边方向的向量依次计算P0、P1在加边方向上所对应的点P2、P3、P4、P5的坐标;
P2、P4的坐标根据P0点来计算:
P2.x=P0.x+(k-s)*P0.dx;
P2.y=P0.y+(k-s)*P0.dy;
P4.x=P0.x+k*P0.dx;
P4.y=P0.y+k*P0.dy;
P3、P5的坐标根据P1点来计算:
P3.x=P1.x+(k-s)*P1.dx;
P3.y=P1.y+(k-s)*P1.dy;
P5.x=P1.x+k*P1.dx;
P5.y=P1.y+k*P1.dy。
(3)由P2、P3、P4、P5点围成四边形,遍历四边形内的所有像素点,根据点到直线垂直距离的计算公式,计算每个点到直线段(P0,P1)的距离。
如图4a、图4b、图4c所示,计算一个像素到最外侧边的侧边方向的距离Side的方法如下:
(1)在字幕对象的侧边轮廓边界上选取直线段(P0,P1),确定直线段(P0,P1)两个端点P0、P1的坐标(P0.x,P0.y)、(P1.x,P1.y)以及侧边的加边向量dx、dy;
侧边的加边向量dx、dy是根据侧边角度A确定的,侧边的加边向量dx、dy与A的关系如下:dx=Cos(A),dy=Sin(A)。
(2)设定沿加边方向逐层计算的距离k、步长s,根据P0、P1的加边向量依次计算P0、P1在加边方向上所对应的点P2、P3、P4、P5的坐标;
P2、P4的坐标根据P0点来计算:
P2.x=P0.x+(k-s)*dx;
P2.y=P0.y+(k-s)*dy;
P4.x=P0.x+k*dx;
P4.y=P0.y+k*dy;
P3、P5的坐标根据P1点来计算:
P3.x=P1.x+(k-s)*dx;
P3.y=P1.y+(k-s)*dy;
P5.x=P1.x+k*dx:
P5.y=P1.y+k*dy。
(3)由P2、P3、P4、P5点围成四边形,遍历四边形内的所有像素点,根据点到直线垂直距离的计算公式,以及侧边的角度和直线段(P0,P1)的角度,计算每个像素点沿侧边加边方向到直线段(P0,P1)的路径长度。
设像素点到直线段(P0,P1)的垂直距离为D,侧边角度为A,直线段(P0,P1)与水平线的夹角为B,则像素点A沿侧边加边方向到直线段(P0,P1)的路径长度为D/Sin(A+B)。
计算经过一个像素的所有字幕对象的矢量轮廓线段与像素边界围成的多边形面积Area值的方法如下:
(a)遍历字幕对象的多边形矢量轮廓,针对字幕对象的N个封闭多边形,取出一个多边形Q[i];
(b)遍历多边形Q[i]中的每条边,针对Q[i]中的M条边,取出一条边L[j];
(c)根据边L[j]前后两个端点的坐标,确定边L[j]经过的像素,设L[j]经过了F个像素,分别是C[0]、C[1]、......、C[F-1],F≥1;
(d)从L[j]开始,遍历Q[i]中的所有M条边,分别是L[j]到L[M-1],L[0]到L[j-1],将经过像素C[k]的边与像素C[k]的正方形边界的交点坐标计算出来;
(e)根据步骤(d)计算出来的交点坐标,由经过像素C[k]的边以及像素C[k]的正方形边界构成一个多边形,并将该多边形存放在一个临时数组中,如果临时数组中已经存在一个相同的多边形,就直接转至步骤(f);否则,根据多边形的顶点坐标和个数,采用多边形面积计算公式计算出边L[j]对像素C[k]的面积贡献的值A[j],并累加到像素C[k]原来的像素面积Area值中;
(f)重复步骤(d),直到计算完边L[j]对所有经过像素的面积贡献的值;
(g)重复步骤(b),直到处理完多边形Q[i]中的每条边;
(h)重复步骤(a),直到处理完字幕对象中的每个多边形。
步骤(e)中多边形面积计算公式为:
B=0.5×fabs(Y[0]×(X[N-1]-X[1])+Y[N-1]×(X[N-2]-X[0]))
其中,多边形的N个顶点的坐标为:(X[0],Y[0])--(X[N-1],Y[N-1])。
像素空间掩码矩阵的像素类型Type的确定方法包括如下步骤:
(1)针对像素空间掩码矩阵中的所有像素,分别计算经过一个像素的所有字幕对象的矢量轮廓线段与像素边界围成的多边形的面积Area;
(2)根据步骤(1)所计算的面积值,确定边界像素;
(3)针对每个非边界像素,向像素右侧水平进行扫描,对扫描中所跨越的字幕对象的多边形矢量轮廓边界线段进行计数;
(4)根据步骤(3)的最终计数结果,确定轮廓内像素或轮廓外像素。
如果面积Area值小于512×512,则该像素为边界像素。对于非边界像素,要根据该像素是位于字幕轮廓内部或者轮廓外部来确定是内点还是外点。在上述方法的步骤(3)中,针对扫描中所跨越的字幕对象的多边形矢量轮廓边界线段,确定线段的起点P0和终点P1,并得到起点和终点在Y轴上的坐标P0.y和P1.y,扫描的计数原则为:如果P1.y>P0.y,则计数器加1;如果P1.y<P0.y,则计数器减1;如果P1.y=P0.y,则计数器不变。因此,在确定字幕对象的多边形矢量轮廓边界线段的起点P0和终点P1时,先需要确定多边形矢量轮廓为顺时针多边形轮廓或逆时针多边形轮廓。
由于字幕对象的多边形矢量轮廓是由字幕对象的曲线矢量轮廓离散化为直线段以后得到的,因此,曲线矢量轮廓的顺时针或逆时针方向即为多边形矢量轮廓的顺时针或逆时针方向。判断一条封闭曲线G的顺时针/逆时针方向,只需要取出G中任意一条Bezier线段,判断其方向即可。具体处理步骤如下:
第一步,取出这个封闭曲线G中的一条曲线段B,假设B的三个控制点分别为P[0]、P[1]、P[2];
第二步,根据线段B的起始控制点P[0]和结束控制点P[2]构成直线的矢量,确定是在水平方向还是在垂直方向上的进行判断,如果abs(P[2].y-P[0].y)>abs(P[2].x-P[0].x),则将根据水平方向进行判断处理,否则,将根据垂直方向进行判断;
第三步,如果根据水平方向来判断,则确定B的方向值为d,d的计算方法为:如果P[2].y>P[0].y,则d=1,如果P[2].y<P[0].y,则d=-1,如果P[2].y=P[0].y,则d=0;
第四步,求出P[0]与P[2]的中点Q;
第五步,假设H为沿Q点的y坐标构成的水平直线,以Q点为起点向右侧方向,计算与H相交的所有其它Bezier线段,假设有M条线段与H相交,这些线段为B[0],B[1],......,B[M-1];
第六步,计算B[i]的方向d[i],计算方法与第一步中计算B的方法相同;
第七步,d’为d[i]的总和,即d’=d[0]+d[1]+......+d[M-1];
第八步,根据d和d’计算封闭曲线G方向属性a,计算公式如下:
封闭曲线G方向属性a=d*(1-2*abs(d’)),如果a>0,表示封闭曲线G为顺时针方向,否则为逆时针方向。
在像素空间掩码矩阵的像素类型Type确定方法的步骤(4)中,如果最终计数结果为0,则该像素为轮廓外像素;如果最终计数结果不为0,则该像素为轮廓内像素。
具体的实例如图5a和图5b所示,根据上述方法,图5a中像素A的跨越边界计数为1,因此像素A为轮廓内像素,图5b中像素B的跨越边界计数为0,因此像素B为轮廓外像素。
在对字幕对象进行纹理贴图时需要建立字幕渲染纹理图像矩阵T,纹理图像矩阵T是根据最终需要得到的图像的纹理效果而确定的,应该注意的是纹理图像矩阵T的维数与像素空间掩码矩阵M的维数应该相同。基于像素空间掩码矩阵的纹理贴图方法的原理如图6所示。
在上述像素空间掩码矩阵模型中,具有相同Border值的点构成了一系列等高线,利用这些等高线,就形成了多个渲染区域。外边个数、内边个数、侧边个数、影子个数与渲染区域个数的关系如下,假设一个字幕对象的外边个数为W、内边个数为N、侧边个数为C、影子个数为Y:
则渲染区域个数X为:X=W+(N>1?(N+1):N)+C+Y+1
上式中(N>1?(N+1):N)的含义为N>1时为(N+1),否则为N。
图7a所示的字幕对象具有2个外边、3个内边、2个侧边、2个影子,共划分11个渲染区域:
(1).渲染区域1:外边2与外边1之间的区域
(2).渲染区域2:外边1与原始轮廓之间的区域
(3).渲染区域3:原始轮廓与内边1之间的区域
(4).渲染区域4:内边1与内边2之间的区域
(5).渲染区域5:内边2与内边3之间的区域
(6).渲染区域6:内边3之内的面区域
(7).渲染区域7:内边3与面之间的区域
(8).渲染区域8:外边2与侧边1之间的区域
(9).渲染区域9:侧边1与侧边2之间的区域
(10).渲染区域10:影子1的区域
(11).渲染区域11:影子2的区域
图7b所示的字幕对象具有2个外边、1个内边、1个侧边、1个影子,共划分6个渲染区域。
(1).渲染区域1:外边2与外边1之间的区域
(2).渲染区域2:外边1与原始轮廓之间的区域
(3).渲染区域3:原始轮廓与内边之间的区域
(4).渲染区域4:内边之内的面区域
(5).渲染区域5:外边2与侧边之间的区域
(6).渲染区域6:影子的区域
建立了像素空间掩码矩阵M和纹理图像矩阵T后,就需要进行如下纹理贴图的处理步骤:
第一,确定纹理贴图的顺序。在基于像素空间掩码的纹理贴图中,字幕对象渲染贴图的顺序为:内边(多个)、面、外边(多个)、侧边、影子。
第二,确定纹理贴图半径MinR和MaxR。MinR和MaxR表示的是两条等高线。
(1).针对N条内边,假设每条边的厚度为S[i],i∈[0,N-1],则:
第1条内边的MinR=0,MaxR=S[0];
第2条内边的MinR=S[0],MaxR=MinR+S[1];
第i条内边的MinR=S[1]+S[2]+...+S[i-2],MaxR=MinR+S[i-1];
第N条内边的MinR=S[1]+S[2]+...+S[N-2],MaxR=MinR+S[N-1];
(2).针对面,则:
如果不加内边,则MinR=0,MaxR=像素空间掩码矩阵MASK中最大的Border值;
如果加内边,则MinR=所有内边厚度之和,MaxR=像素空间掩码矩阵MASK中最大的Border值;
(3).针对M条外边,假设每条边的厚度为W[i],i∈[0,M-1],则:
第1条外边的MinR=0,MaxR=W[0];
第2条外边的MinR=W[0],MaxR=MinR+W[1];
第i条外边的MinR=W[1]+W[2]+...+W[i-2],MaxR=MinR+W[i-1];
第M条外边的MinR=W[1]+W[2]+...+W[M-2],MaxR=MinR+W[M-1];
(4).针对侧边:MinR=所有外边厚度之和,MaxR=MinR+侧边厚度;
(5).针对影子:MinR=所有外边厚度之和,MaxR=MinR+影子厚度。
第三,纹理贴图。假设像素空间掩码矩阵为MASK,简称M,纹理图像矩阵为TEXTURE,简称为T,需要贴图的图像为PICTURE,简称P。M、T、P的维数相同,假设为w和h。对于P中的一个点P[i][j],i∈[0,w-1],j∈[0,h-1],色彩RGBA的值为:
(1).根据像素空间掩码的Border值来判断像素点P[i][j]是否位于(MinR,MaxR)表示的等高线内;
如果(M[i][i].Border<MinR或者M[i][i].Border>MaxR),则该像素点不在这个等高线内,此时不做任何处理。
否则该像素点不这个等高线内,进行如下的后续处理。
(2).根据像素空间掩码的Type值、MinR、MaxR的值来判断像素点P[i][j]是等高线的内点还是等高线上的点;
满足如下条件之一的点为等高线内点:
否则该像素点就是等高线上的点。
(3).根据上述得到的结果,进行色彩的赋值。
对于等高线的内点,直接进行色彩赋值即可;对于等高线上的点,需要根据像素空间掩码的Area值进行反走样处理。
如果P[i][j]是等高线内的点,则:P[i][j]的色彩值为:RGBA(P[i][j])=RGBA(T[i][j])
如果P[i][j]是等高线上的点,则:P[i][j]的色彩值为:RGBA(P[i][j])=RGBA(P[i][j])×(1-M[i][j].Area)+RGBA(T[i][j])×M[i][j].Area
RGBA(P[i][j])为需要贴图图像PICTURE中索引[i,j]处的RGBA的值;
RGBA(T[i][j])为纹理图像矩阵TEXTURE中索引[i,j]处的RGBA的值;
M[i][j].Border和M[i][j].Area为像素空间掩码矩阵MASK中索引[i,j]处对应的Border和Area的值。
在纹理贴图完成后,进行形态渐变径向色彩填充,这一步骤需要建立形态渐变色彩数组C,形态渐变色彩数组C为一维形式,数组中元素的个数k可以根据需要来确定。基于像素空间掩码矩阵的形态渐变径向色彩填充方法的原理如图8所示。
建立了形态渐变色彩数组C后,就需要进行如下形态渐变径向色彩填充的步骤:
第一,确定径向填充的顺序。在基于像素空间掩码的形态渐变径向色彩填充中,字幕对象渲染贴图的顺序为:内边(多个)、面、外边(多个)、侧边、影子。
第二,确定径向填充半径MinR和MaxR。MinR和MaxR表示的是两条等高线。
(1).针对N条内边,假设每条边的厚度为S[i],i∈[0,N-1],则:
第1条内边的MinR=0,MaxR=S[0];
第2条内边的MinR=S[0],MaxR=MinR+S[1];
第i条内边的MinR=S[1]+S[2]+...+S[i-2],MaxR=MinR+S[i-1];
第N条内边的MinR=S[1]+S[2]+...+S[N-2],MaxR=MinR+S[N-1];
(2).针对面,则:
如果不加内边,则MinR=0,MaxR=像素空间掩码矩阵MASK中最大的Border值;
如果加内边,则MinR=所有内边厚度之和,MaxR=像素空间掩码矩阵MASK中最大的Border值;
(3).针对M条外边,假设每条边的厚度为W[i],i∈[0,M-1],则:
第1条外边的MinR=0,MaxR=W[0];
第2条外边的MinR=W[0],MaxR=MinR+W[1];
第i条外边的MinR=W[1]+W[2]+...+W[i-2],MaxR=MinR+W[i-1];
第M条外边的MinR=W[1]+W[2]+...+W[M-2],MaxR=MinR+W[M-1];
(4).针对侧边:MinR=所有外边厚度之和,MaxR=MinR+侧边厚度;
(5).针对影子:MinR=所有外边厚度之和,MaxR=MinR+影子厚度;
第三,形态渐变色彩数组COLOR的映射。形态渐变色彩数组COLOR,简称为C,C中包含的元素个数为k。需要将数组索引[0,k-1]映射到[MinR,MaxR]的区间内。即,对于[MinR,MaxR]区间内的一个值x,对应的形态渐变色彩数组的索引为:
F(x)=k*(x-MinR)/(MaxR-MinR) x∈[MinR,MaxR]
第四,径向填充。假设像素空间掩码矩阵为MASK,简称M,形态渐变色彩数组COLOR,简称为C,需要贴图的图像为PICTURE,简称P。M、P的维数相同,假设为w和h。C中包含的元素个数为k。对于P中的一个点P[i][j],i∈[0,w-1],j∈[0,h-1],色彩RGBA的值为:
(1).根据像素空间掩码的Border值来判断像素点P[i][j]是否位于(MinR,MaxR)表示的等高线内;
如果(M[i][i].Border<MinR或者M[i][i].Border>MaxR),则该像素点不在这个等高线内,此时不做任何处理。
否则该像素点不这个等高线内,进行如下的后续处理。
(2).根据像素空间掩码的Type值、MinR、MaxR的值来判断像素点P[i][j]是等高线的内点还是等高线上的点;满足如下条件之一的点为等高线内点:
MinR!=0而且MaxR!=0
否则该像素点就是等高线上的点。
(3).根据上述得到的结果,进行色彩的赋值。
对于等高线的内点,直接进行色彩赋值即可;对于等高线上的点,需要根据像素空间掩码的Area值进行反走样处理。
如果P[i][j]是等高线内的点,则:P[i][j]的色彩值为:RGBA(P[i][j])=RGBA(C[F(M[i][j].Border)])
如果P[i][j]是等高线上的点,则:RGBA(P[i][j])=RGBA(P[i][j])*(1-M[i][j].Area)+RGBA(C[F(M[i][j].Border)])*M[i][j].Area
RGBA(P[i][j])为需要贴图图像PICTURE中索引[i,j]处的RGBA的值;
M[i][j].Border和M[i][j].Area为像素空间掩码矩阵M中索引[i,j]处对应的Border和Area的值;
RGBA(C[F(M[i][j].Border)])为形态渐变色彩数组COLOR中索引为F(M[i][j].Border)处的RGBA值。F(M[i][j].Border)的计算公式为:F(M[i][j].Border)=k*(M[i][j].Border-MinR)/(MaxR-MinR)。
在经过纹理贴图和形态渐变径向色彩填充之后,已经对全边(内边、外边)和侧边进行了基于子像素面积的反走样处理,为了使面与内边、面与外边、面与侧边、内边与内边、外边与外边、外边与侧边的效果更加平滑,需要根据相邻四像素的等高线距离进行进一步的反走样处理。基于相邻四像素等高线距离的边缘反走样处理方法的原理如图9所示。
基于相邻四像素等高线距离的边缘反走样处理的核心思想是:
第一,对于全边,判断像素空间掩码矩阵对应的像素,对距离为Border的全边边界进行反走样:2×2的像素矩阵正好在Border的等高线上,以四点的距离值与Border的差值作为权值,做加权平均。
第二,对于侧边,与全边反走样一样对2×2的矩阵做加权平均,所不同的是根据侧边距离Side进行计算。
基于相邻四像素等高线距离的边缘反走样处理的步骤如下:
假设当前边界对应的等高线的值为Radius(R),像素空间掩码矩阵为MASK(M),需要进行处理的图像为PICTURE(P),那么,针对P的一个像素P[i][j],进行反走样的运算如下:
(1).将P[i][j]记为P0,P[i][j]的上、下、左、右四个相邻像素为P[i-1][j]、P[i+1][j]、P[i][j-1]、P[i][j+1]。这四个像素的色彩RGBA的值分别为:
C[0]=RGBA(P[i][j])
C[1]=RGBA(P[i-1][j])
C[2]=RGBA(P[i+1][j])
C[3]=RGBA(P[i][j-1])
C[4]=RGBA(P[i][j+1])
(2).将M[i][j]记为M0,M[i][j]的上、下、左、右四个相邻掩码为M[i-1][j]、M[i+1][j]、M[i][j-1]、M[i][j+1]。对于全边(内边或外边),这四个掩码的Border值分别为:
R[0]=M[i][j].Border
R[1]=M[i-1][j].Border
R[2]=M[i+1][j].Border
R[3]=M[i][j-1].Border
R[4]=M[i][j+1].Border
对于侧边,这四个掩码的Border值分别为:
R[0]=M[i][j].Side
R[1]=M[i-1][j].Side
R[2]=M[i+1][j].Side
R[3]=M[i][j-1].Side
R[4]=M[i][j+1].Side
(3).对像素P[i][j]进行反走样处理的算法是:根据上述四个像素的RGBA和掩码的Border值或者Side值,进行加权平均。处理后的像素P[i][j]的RGBA为:
本发明所述的方法并不限于具体实施方式中所述的实施例,本领域技术人员根据本发明的技术方案得出其他的实施方式,同样属于本发明的技术创新范围。