CN101917557A - 一种基于视频内容的动态添加字幕方法 - Google Patents

Abstract

本发明公开了一种基于视频内容的动态添加字幕方法，包括将待处理的视频图像由RGB颜色空间转换到CIE-Lab颜色空间，提取待添加字幕的时间轴信息和文本位图，查找出每一条字幕文字的添加区域，通过计算与字幕文字的文本位图分辨率相同区域内所有像素的能量值之和来查找出每条字幕文字的添加区域，最后将字幕文字添加到查找出的相应区域上，完成对视频图像添加字幕的操作。本发明方法的每一个步骤都可以在家用电脑的处理，有效地解决了现有的字幕添加方法只是简单的将字幕文字添加在图像中固定区域而忽略了图像内容可能造成破坏的问题，为非专业人员提供了一种简便直观的基于视频内容的字幕添加方法。

Description

一种基于视频内容的动态添加字幕方法

技术领域

本发明涉及计算机视频处理技术领域，特别是涉及一种基于视频内容的动态添加字幕方法。

背景技术

随着科技的进步和时代的发展，视频获取设备日益普及，视频传播日益广泛。视频这种综合视觉和听觉感官的多媒体技术已经成为人们生活中必不可少的一部分，为了更好的满足人们的需要，提高观看者的视觉体验，人们提出了大量的视频处理技术。比如为了解决不同视频显示设备分辨率之间差异性，研究人员提出了视频缩放技术；为了获得更好的视频视觉效果，研究人员提出了画质增强技术等等。与此同时，在播放视频时向视频中添加字幕作为一种辅助手段，在帮助人们更好的欣赏和理解视频方面起着极其重要的作用。尤其是近几年来，我国引进了大量的外文视频(以英语的电影、电视剧为主)，为了让普通的观众能欣赏到这些外文视频，必然要求在视频中添加相应的中文字幕。

而传统的字幕添加方法只是简单的将字幕固定添加在视频画面的某个固定位置(通常是覆盖在画面底部正中间)，在整个视频播放的过程中，字幕位置不会变动。这种传统的字幕添加方法没有考虑到视频画面的丰富多样性，往往会遮挡住画面中一些观众感兴趣的内容，由于视频之间通常具有一定连贯性，这种遮挡往往会是持续性的，导致极大的影响了观赏体验。如何确定视频图像中的重要区域不被字幕遮蔽而造成视觉破坏是图像处理领域的重要课题。

发明内容

本发明提供一种基于视频内容的动态添加字幕方法，该方法对传统的视频添加字幕方法进行改进，有效地解决了现有字幕添加在视频固定位置对用户感兴趣的画面内容造成遮挡的问题。

一种基于视频内容的动态添加字幕方法，包括以下六个步骤：

(1)将待处理的视频由RGB颜色空间转换到CIE-Lab颜色空间；

由于CIE-Lab颜色空间分离了颜色亮度和色彩变化，可以提高后续计算像素能量值的精度。

(2)提取出待添加字幕的时间轴信息和文本文图；

字幕中包含了文字信息及其每条字幕文字出现、消失的时间信息，对字幕进行光栅化处理得到其文本位图。

(3)计算出视频画面上像素的能量值；

一条字幕文字一般会在视频画面上持续一段时间，在这个时间段内字幕的位置不应发生变动，以免影响观众的视觉体现。则这个时间段内的画面帧组成了这条字幕文字的帧序列，用一个帧序列表示这n_r帧画面，对这个帧序列中所有画面添加字幕，必然要考虑所有帧画面的情况，使得字幕文字添加之后对这个帧序列造成的视觉损失最小，而不能仅仅只考虑一帧画面。另外，考虑到观众的观看习惯，字幕位置一般设置在画面下方，高度为整个画面高度20％的矩形区域内，字幕文字在这个区域内可以做位置偏移。因此，对这个矩阵区域内的像素计算能量值包括两个部分，分别用E_s(i，j)和E_t(i，j)表示，其中E_s(i，j)的计算方法为：

$E_s(i,j)={\mathrm{\Σ}}_{t=1}^{n_r}\left\{\begin{array}{c}|L_{i,j}\left(I_{\mathrm{rt}}\right)-L_{i+1,j}\left(I_{\mathrm{rt}}\right)|+|a_{i,j}\left(I_{\mathrm{rt}}\right)-a_{i+1,j}\left(I_{\mathrm{rt}}\right)|+|b_{i,j}\left(I_{\mathrm{rt}}\right)-b_{i+1,j}\left(I_{\mathrm{rt}}\right)|\\ +|L_{i,j}\left(I_{\mathrm{rt}}\right)-L_{i,j+1}\left(I_{\mathrm{rt}}\right)|+|a_{i,j}\left(I_{\mathrm{rt}}\right)-a_{i,j+1}\left(I_{\mathrm{rt}}\right)|+|b_{i,j}\left(I_{\mathrm{rt}}\right)-b_{i,j+1}\left(I_{\mathrm{rt}}\right)|\end{array}\right\}$

式中，L_i，j、a_i，j、b_i，j分别表示像素P_i，j的亮度通道值和两个彩色通道值，L_i+1，j、a_i+1，j、b_i+1，j表示像素P_i，j竖直方向上相邻像素P_i+1，j的亮度通道值和两个彩色通道值，L_i，j+1、a_i，j+1、b_i，j+1表示像素P_i，j水平方向上相邻像素P_i，j+1的亮度通道值和两个彩色通道值。先分别在同一帧画面内计算，然后对整个帧序列求和。由上式可以看出，E_s(i，j)反映了同一帧画面内一个像素与其邻近像素之间的变化关系。因此，E_s(i，j)的值越大，表明该像素与其相邻像素的各个颜色通道梯度变化越剧烈，则该像素的边缘特征就越强，其视觉重要性相应也就越大。

E_t(i，j)表示在一个帧序列所有画面帧中同一个位置点像素在CIE-Lab颜色空间中亮度通道值之和，它反映了同一个像素在这个帧序列内的变化，其计算式为：

$E_t(i.j)={\mathrm{\Σ}}_{t=1}^{n_r}{L}_{i,j}\left(I_{\mathrm{rt}}\right)$

式中，L_i，j(I_rt)表示画面帧I_rt中像素P_i，j的亮度通道值。

将E_s(i，j)和E_t(i，j)加权求和后得到该像素的能量值，能量值的最终表达式为：

E(i，j)＝α×E_s(i，j)+(1-α)×E_t(i，j)

其中α表示权重系数，用来平衡E_s(i，j)和E_t(i，j)对能量值的贡献。由于运动变化较易被人眼捕捉到，因此一般对E_t(i，j)分配更大的权重。

(4)确定字幕文字的添加位置；

所述的查找出字幕文字的添加位置区域的方法为在所述的矩形区域内查找出与字幕文字的文本位图分辨率大小相同的矩阵区域，计算该矩阵区域内所有像素的能量值之和，其计算公式为：

E_total＝[|w-w_prv|/w_img+1]×[|h-h_prv|/h_img+1]×∑E(i，j)

式中，(w，h)为候选添加区域的中心坐标，(w_prv，h_prv)为上一条字幕文字所添加区域的的中心坐标，w_img和h_img分别表示视频画面的宽度和高度，将计算出的E_total最小的矩阵区域作为字幕文字的添加区域。

(5)将字幕添加到所查找出的区域内；

(6)将添加字幕之后的视频图像由CIE-Lab颜色空间转换到RGB颜色空间。

按照本发明方法添加字幕，使字幕的位置可以根据视频画面的内容作位置偏移，使得添加字幕之后的画面对视觉内容的破坏降到最低。同时，本发明方法还能避免前后两条字幕文字之间位置变动过于剧烈而影响观众的视觉体验。

附图说明

图1是本发明方法的技术方案流程图；

图2是分别采用传统方法和本发明方法对视频添加字幕的效果对比图；

图3是分别采用传统方法和本发明方法对另一个视频添加字幕的效果对比图。

具体实施方式

如图1所示，本发明一种基于视频内容的动态添加字幕方法，包括以下几个步骤：

(1)将待处理的视频由RGB颜色空间转换到CIE-Lab颜色空间，得到CIE-Lab颜色空间的视频信息，使视频亮度通道和彩色通道相分离；

由RGB颜色空间转换到CIE-Lab颜色空间按照下面的公式进行转换：

$\left\{\begin{array}{c}L=0.299\×R+0.587\×G+0.114\×B\\ a=0.713\×(R-L)\\ b=0.564\×(B-L)\end{array}\right.---\left(1\right)$

式中，R、G、B分别表示RGB颜色空间的红、绿、蓝颜色值。L表示CIE-Lab颜色空间的亮度通道值，a和b表示CIE-Lab颜色空间的两个彩色通道值。将视频从RGB颜色空间转换到CIE-Lab颜色空间中处理，是因为CIE-Lab颜色空间分离了颜色亮度和色彩变化，更能描述和反映人们对颜色的感知，计算出的视觉重要性值更精准。而且两种颜色空间的相互转换是可逆的。

(2)提取出待添加字幕的时间轴信息和文本文图；

一个视频的字幕文件包含了若干条字幕文字和每条字幕文字出现的时间信息，对视频添加该字幕即是要在准确的时刻将准确的文字添加在视频画面的某个特定位置，在该条字幕文字消失之前，该条字幕文字的位置不应发生变动。

设一个完整的字幕文件中共有S条字幕文字，每一条字幕文字的起始时刻、终止时刻分别记为T_r和T_r′(1≤r≤S)，则在T_r′-T_r这个时间段内，第r条字幕文字出现在视频画面上，所有字幕文字相应时间的组合构成了这个待添加字幕的时间轴信息。一般字幕中的时间轴信息以如下的“小时:分:秒，毫秒”的格式给出：

00:03:06，070→00:03:08，052

这表示该条字幕文字从第3分第6秒开始出现，到第3分第8秒消失，在画面上持续了约2秒钟的时间。

对每条字幕文字进行光栅化处理，并考虑字幕文字的字体属性设置(包括字体样式、字体大小等)得到每条字幕文字的文本位图，记第r条字幕文字的文本位图分辨率为M_r×N_r；

(3)计算出视频画面上像素的能量值；

设在第r条字幕文字出现的时间段T_r′-T_r内，共有n_r帧画面，用一个帧序列

表示这n_r帧画面，例如I₃₂表示第3条字幕文字对应的第2帧画面。若第r条字幕文字在视频画面上持续的时间越长，则这条字幕文字对应的画面的帧数也就越多。同理，若第r条字幕文字在视频画面上持续的时间越短，则这条字幕文字对应的画面的帧数也就越少。对于每一条字幕文字，在属于该条字幕文字对应时间内的所有帧序列字幕添加位置应该固定不变，否则一条字幕出现跳跃闪烁的现象会极大的影响观众的视觉体验。因此，像素能量值的计算以一条字幕文字对应的帧序列为单位。

用P_i，j表示每一帧画面上第(i，j)个像素，其能量值E(i，j)的计算分为E_s(i，j)和E_t(i，j)两个部分。其中E_s(i，j)的计算公式为：

$E_s(i,j)={\mathrm{\Σ}}_{t=1}^{n_r}\left\{\begin{array}{c}|L_{i,j}\left(I_{\mathrm{rt}}\right)-L_{i+1,j}\left(I_{\mathrm{rt}}\right)|+|a_{i,j}\left(I_{\mathrm{rt}}\right)-a_{i+1,j}\left(I_{\mathrm{rt}}\right)|+|b_{i,j}\left(I_{\mathrm{rt}}\right)-b_{i+1,j}\left(I_{\mathrm{rt}}\right)|\\ +|L_{i,j}\left(I_{\mathrm{rt}}\right)-L_{i,j+1}\left(I_{\mathrm{rt}}\right)|+|a_{i,j}\left(I_{\mathrm{rt}}\right)-a_{i,j+1}\left(I_{\mathrm{rt}}\right)|+|b_{i,j}\left(I_{\mathrm{rt}}\right)-b_{i,j+1}\left(I_{\mathrm{rt}}\right)|\end{array}\right\}---\left(2\right)$

式中，L_i，j、a_i，j、b_i，j分别表示像素P_i，j的亮度通道值和两个彩色通道值，L_i+1，j、a_i+1，j、b_i+1，j表示像素P_i，j竖直方向上相邻像素P_i+1，j的亮度通道值和两个彩色通道值，L_i，j+1、a_i，j+1、b_i，j+1表示像素P_i，j水平方向上相邻像素P_i，j+1的亮度通道值和两个彩色通道值。先分别在同一帧画面内计算，然后对整个帧序列求和。由式(2)可以看出，E_s(i，j)反映了同一帧画面内一个像素与其邻近像素之间的变化关系。因此，E_s(i，j)的值越大，表明该像素与其相邻像素的各个颜色通道梯度变化越剧烈，则该像素的边缘特征就越强，其视觉重要性相应也就越大。

E_t(i，j)表示在一个帧序列所有画面帧中同一个位置点像素在CIE-Lab颜色空间中亮度通道值之和，它反映了同一个像素在这个帧序列内的变化，其计算式为：

$E_t(i.j)={\mathrm{\Σ}}_{t=1}^{n_r}{L}_{i,j}\left(I_{\mathrm{rt}}\right)---\left(3\right)$

式中，L_i，j(I_rt)表示画面帧I_rt中像素P_i，j的亮度通道值。

将E_s(i，j)和E_t(i，j)加权求和后得到该像素的能量值，能量值的最终表达式为：

E(i，j)＝α×E_s(i，j)+(1-α)×E_t(i，j)    (4)

其中α表示权重系数，用来平衡E_s(i，j)和E_t(i，j)对能量值的贡献。由于运动变化较易被人眼捕捉到，因此在这里取α为0.3，对E_t(i，j)分配更大的权重。像素的能量值越大，视觉重要性也越大。

对于摄影构图来说，一帧图像上居于中心区域的画面是整幅图像最重要的内容。因此，一般将字幕添加在图像的边缘区域上，以免遮挡住图像上的重要信息，影响观看效果。考虑到观众观看视频的习惯，将字幕添加到图像的上、左、右部分均会影响到观众的视觉体验。因此，一般来说，字幕应该添加到图像下方、占整个画面高度约20％的矩形区域内。为了精简计算，只需计算该矩形区域内像素的能量值，而无需计算图像上所有像素的能量值，可大大减少计算量。

(4)确定字幕文字的添加位置；

对于第r条字幕文字，其文本位图的分辨率为M_r×N_r，在上述的矩形区域中查找出大小为M_r×N_r的像素区域，然后计算该矩阵区域内像素的能量值之和。根据视觉心理学的研究表明，人眼对变化的事物更为敏感。闪烁或跳跃的动态变化符号能使观看者在极短的时间内捕捉到这一变化信息，极易吸引观看者注意力。同时，由于每条字幕文字对应一个视频片段，当字幕文字内容发生改变时，通常视频内容也会有一定程度上的改变，此时新的字幕添加位置与上一字幕添加位置发生少许偏移，不会影响观看者观看影片的视觉体验。因此，在实际确定字幕位置时应该进一步考虑到与上一次字幕添加位置的几何偏移距离，防止前后两条字幕的位置偏移过大而影响观众的视觉体验。

对每个M_r×N_r的像素区域，其能量值之和E_total的计算公式为：

E_total＝[|w-w_prv|/w_img+1]×[|h-h_prv|/h_img+1]×∑E(i，j)    (5)

其中(w，h)为候选添加区域的中心坐标，(w_prv，h_prv)为上一条字幕文字所添加区域的的中心坐标，对于第一条字幕文字可以将其默认添加在上述矩形区域的中心，w_img和h_img分别为视频画面的宽度和高度。将计算出所有像素能量值之和最小的区域作为第r条字幕文字的添加区域，这样尽可能减少对视频关键内容遮挡的同时，有效避免了前后字幕跳跃闪烁的问题。

(5)将字幕添加到所查找出的区域内；

用户可以根据各自不同的需要来完成字幕添加，可将字幕直接覆盖在添加区域上，即用字幕的文本位图直接替换视频图像上所查找区域的位图。也可将字幕的文本位图的像素颜色值与视频图像上所查找区域的像素的颜色值按一定比例混合，作为该像素新的颜色值。

(6)将添加字幕之后的视频图像由CIE-Lab颜色空间转换到RGB颜色空间；

图像由RGB颜色空间转换到RGB颜色空间按照下面的公式进行转换：

$\left\{\begin{array}{c}R=L+1.403\×a\\ G=L-0.714\×a-0.334\×b\\ B=L+1.773\×a\end{array}\right.---\left(6\right)$

运用本发明方法对视频进行字幕添加的操作。图2(a)为电影《阿凡达》中一帧原始画面，图2(b)显示了传统方法将字幕添加在画面正下方，可以看出按照这种方法所添加的字幕对画面中的主要图像(在该画面中主要图像是飞龙和骑士)已经造成了一定程度的遮挡，这会破坏观众的视觉体验。图2(c)显示了本发明方法将字幕添加在该画面的左下方的空白区域，这样最大程度的保全了画面中主要图像的完整性。

同样，如图3(b)所示，传统方法将字幕添加在如图3(a)所示的原始画面的正下方，对该画面中的主要图像(向日葵和叶子)造成遮挡。而如图3(c)所示，本发明方法将字幕添加在画面的右下方，没有对画面的主要图像造成任何破坏。因此，随着视频画面内容的不断变化，本发明方法将字幕添加在画面上的不同区域，能够最大程度的保证画面中主要图像的完整性，提高观众的视觉体验。

Claims (4)

1.一种基于视频内容的动态添加字幕方法，包括：

(1)将待处理的视频由RGB颜色空间转换到CIE-Lab颜色空间；

(2)提取出待添加字幕的时间轴信息和文本文图；

(3)计算出视频图像上像素的能量值；

(4)查找出与字幕的文本位图分辨率大小相同的矩阵区域，以像素能量值之和最小的矩阵区域作为字幕的添加区域；

(5)将字幕添加到所查找出的区域内；

(6)将添加字幕之后的视频图像由CIE-Lab颜色空间转换到RGB颜色空间。

2.根据权利要求1所述的基于视频内容的动态添加字幕方法，其特征在于，所述的步骤(3)中计算能量值的像素位于视频图像下方、高度为整个视频图像高度20％的矩形区域内。

3.根据权利要求2所述的基于视频内容的动态添加字幕方法，其特征在于，所述的步骤(3)中像素的能量值的计算方法为：

E(i，j)＝α×E_s(i，j)+(1-α)×E_t(i，j)

$E_t(i,j)={{\mathrm{\Σ}}_{t=1}^{n_r}L}_{i,j}\left(I_{\mathrm{rt}}\right)$

$E_s(i,j)={\mathrm{\Σ}}_{t=1}^{n_r}\left\{\begin{array}{c}|L_{i,j}\left(I_{\mathrm{rt}}\right)-L_{i+1,j}\left(I_{\mathrm{rt}}\right)|+|a_{i,j}\left(I_{\mathrm{rt}}\right)-a_{i+1,j}\left(I_{\mathrm{rt}}\right)|+|b_{i,j}\left(I_{\mathrm{rt}}\right)-b_{i+1,j}\left(I_{\mathrm{rt}}\right)|\\ +|L_{i,j}\left(I_{\mathrm{rt}}\right)-L_{i,j+1}\left(I_{\mathrm{rt}}\right)|+|a_{i,j}\left(I_{\mathrm{rt}}\right)-a_{i,j+1}\left(I_{\mathrm{rt}}\right)|+|b_{i,j}\left(I_{\mathrm{rt}}\right)-b_{i,j+1}\left(I_{\mathrm{rt}}\right)|\end{array}\right\}$

其中，E(i，j)表示第(i，j)个像素的能量值，α为权重系数，n_r表示第r条字幕文字出现在视频上的时间内所对应的画面帧数，I_rt表示属于第r条字幕文字的n_r帧画面中的第t帧，L_i，j表示第(i，j)个像素在CIE-Lab颜色空间的亮度通道值，a_i，j、b_i，j表示第(i，j)个像素在CIE-Lab颜色空间的两个彩色通道值。

4.根据权利要求3所述的基于视频内容的动态添加字幕方法，其特征在于，所述的查找出字幕文字的添加位置区域基于视频图像上像素的视觉重要性和上一条字幕的添加位置，在所述的矩形区域内查找出与字幕文字的文本位图分辨率大小相同的矩阵区域，计算该矩阵区域内所有像素的能量值之和E_total，其计算公式为：

E_total＝[|w-w_prv|/w_img+1]×[|h-h_prv|/h_img+1]×∑E(i，j)

式中，(w，h)为候选添加区域的中心坐标，(w_prv，h_prv)为上一条字幕文字所添加区域的的中心坐标，w_img和h_img分别表示视频画面的宽度和高度，将计算出的E_total最小的矩阵区域作为字幕文字的添加区域。

Images