CN102186023A - 一种双目立体字幕处理方法 - Google Patents

Abstract

本发明涉及立体显示技术，其公开了一种双目立体字幕处理方法，用于常见双目字体视频的字幕生成和叠加，其技术方案的要点可概括为：该方法通过对每次字幕显示时左右眼首副图像字幕显示区域进行立体图像像素匹配，得到字幕显示区域左右眼图像的视差信息；为尽可能避免字幕显示区域中原有立体画面挡住叠加的字幕信息，本方法自适应判断左右眼图像的字幕信息视差，使观看者能在观看双目立体视频过程中获得更好的立体字幕效果体验，适用于3D立体显示。

Description

一种双目立体字幕处理方法

技术领域

本发明涉及立体显示技术，具体的说是涉及一种双目立体字幕处理方法。

背景技术

与二维视频显示相比，立体视频显示与人的视觉特征更加匹配，使得人们在观看图像时富有立体感和沉浸感。随着立体显示技术的发展，各国政府和企业纷纷投入巨资进行立体电视的研究和开发。目前，立体电视已逐渐进入家庭，成为下一代电视的发展方向。

双眼在观察物体时，物体在双眼视网膜上的成像位置上略有差异，称为双目视差。双目视差经过大脑视觉皮层的融合，增强人们对于现实世界的立体感知效果。双目立体视频利用人眼双目视差特性，使用两个摄像机从两个不同视点(视点间距一般等于人的双目间距)获取同一景物的两个图像，然后再把两个图像分别呈现给人的左右眼，大脑通过处理左视和右视图像间的间距，感知图像内景物的深度信息，使得欣赏到的图像具有强烈的深度感和逼真感。

由于立体视频的字幕处理和平面视频字幕处理方法不同，现有的立体播放设备往往还不支持常见的字幕文件。针对双目立体视频的字幕处理方法，目前还没有统一的标准和规范。如果采用手动方式往左右视频序列中依次插入透明字幕图片的方法进行立体字幕的叠加，工作量非常巨大且深度感不易调整和测试。因此，在制作高质量的双目立体内容过程中，如何对字幕信息进行处理是立体内容制作的一个研究热点和难点。

发明内容

本发明所要解决的技术问题是：提出一种双目立体字幕处理方法，用于常见双目字体视频的字幕生成和叠加，提高字幕显示品质，使观看者在观看立体视频中拥有更好的字幕效果体验。

本发明解决上述技术问题所采用的技术方案是：一种双目立体字幕处理方法，包括以下步骤：

a.读入双目立体视频内容；

b.获取双目立体视频内容中单路视频的尺寸，确定立体字幕显示区域，保证字幕信息能在该区域完全显示；

c.读入字幕文件，获得每一次字幕显示的时间信息，将每次字幕显示时左右眼首副图像放入到缓冲区以待分析；

d.对字幕显示区域进行立体图像像素匹配，获得左右眼图像的最大视差信息，确定插入立体字幕的视差数据；

e.根据立体字幕的视差数据进行字幕的叠加，将字幕压缩到双目立体视频内容之中；

f.根据字幕文件中字幕显示的时间区域持续插入立体字幕信息并与双目立体视频内容一起进行编码，当遇到新的字幕文件时，返回步骤c。

进一步，步骤f还包括：当检测到所有字幕信息显示结束时，仍须对后续未编码的双目立体视频内容进行编码。

进一步，所述双目立体视频内容为双目立体未压缩的图像序列。

进一步，所述双目立体视频内容为已经压缩过的双目立体视频，则步骤a还包括：对双目立体视频进行解码。

进一步，步骤b中，在获取双目立体视频内容中单路视频的尺寸过程中，须进行左右路图像的分离操作，对于水平或垂直方向有分辨率损失的图像须进行分辨率还原，得到单路信号的全分辨率图像序列。

进一步，步骤b中，所述立体字幕显示区域为双目立体视频内容画面的下方矩形区域。

进一步，步骤d中，对字幕显示区域进行立体图像像素匹配，获得左右眼图像的最大视差信息的具体方法为：假设该字幕显示区域的水平像素宽度为M，则可将该区域分为

个NxN的子块；假设左路图像中的某个NxN块的左上角像素点的坐标为(x_i，y_i)，经过立体图像像素匹配后，对应右路图像匹配块的左上角像素点的坐标为(x′_i，y′_j)，记d＝x_i-x′_i，如果d为正，则该子块位于立体显示屏外，如果d为负，则该子块位于立体显示屏内；

依次对左路图像字幕显示区域各子块进行立体图像匹配，记录左路子块及其右路匹配块的左上角像素点的横坐标之差的最大值dmax，则有，

当dmax＞0时，左右眼立体字幕的视差数据为：

ds＝(1+k)dmax，其中k的取值在0.1～0.2之间；

当dmax≤0时，则立体字幕不会挡住原有立体视频中的画面信息，取ds＞0即可。

进一步，步骤e中，根据立体字幕的视差数据进行字幕叠加的具体方法是：将双目立体视频内容中的左路视频图像直接叠加字幕信息，右路视频图像中字幕信息水平偏移量为根据步骤d中计算的左右眼图像的最大视差信息，将左右路字幕信息叠加到双目立体视频内容中进行编码。

本发明的有益效果是：通过对每次字幕显示时左右眼首副图像字幕显示区域进行立体图像像素匹配，得到字幕显示区域左右眼图像的视差信息。为尽可能避免字幕显示区域中原有立体画面挡住叠加的字幕信息，本方法自适应判断左右眼图像的字幕信息视差，使观看者能在观看双目立体视频内容过程中获得更好的立体字幕效果体验。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合附图对本发明作进一步的描述。

本发明提出一种双目立体字幕处理方法，用于常见双目字体视频的字幕生成和叠加，该方法通过对每次字幕显示时左右眼首副图像字幕显示区域进行立体图像像素匹配，得到字幕显示区域左右眼图像的视差信息。为尽可能避免字幕显示区域中原有立体画面挡住叠加的字幕信息，本方法自适应判断左右眼图像的字幕信息视差，使观看者能在观看双目立体视频内容过程中获得更好的立体字幕效果体验。

如图1所示，本发明的方案通过以下步骤来实现：

a.读入双目立体视频内容，可支持双目立体视频内容和双目立体的图像序列，如果为双目立体视频内容时需将该内容重新解码成图像序列重新编码，进入步骤b；

b.获取双目立体视频内容中单路视频的尺寸，确定双目立体视频内容字幕显示区域，保证字幕信息能在该区域完全显示，进入步骤c，由于双目立体视频内容的格式较多，如左右格式(Side by Side)、上下格式(Top and Bottom)格式、帧封装格式(Frame Packing)、帧序列格式(Frame Sequential)等，须进行左右路图像的分离操作，对于水平或垂直方向有分辨率损失的图像须进行分辨率还原，得到单路信号的全分辨率图像序列；

在获得双目立体内容中单路图像的全分辨率图像尺寸后，确定双目立体视频内容字幕显示区域。在字幕信息插入位置时，可将立体字幕信息插入到原有视频画面内和画面外两种情形，其中将立体字幕信息插入到原有视频画面外时，往往需要对原有双目立体内容进行黑边处理，立体字幕信息不必直接叠加到原有立体视频内容之中，这种处理方法只需手动设定左右路字幕的视差即可，而本发明主要考虑将字幕信息插入到原有视频画面内的情形。常见二维视频字幕信息通常位于视频画面下方区域，在双目立体字幕处理时也可将字幕位置放在视频画面下方区域，确定矩形区域为立体字幕的显示区域，该区域须保证立体字幕信息的完全显示。

c.读入二维视频字幕文件，获得每一次显示字幕的时间信息，将每次字幕显示时左右眼首副全分辨率图像放入到缓冲区待下一步进行立体图像像素匹配分析，进入步骤d；

d.对字幕显示区域进行立体图像像素匹配，获得左右眼图像的最大视差信息，确定插入立体字幕的视差数据，进入步骤e；

具体方法是：假设左路图像字幕显示区域内像素点C(k，l)的亮度为I₁(k，l)，对应右路图像该像素C(k，l)的亮度为Ir(k，l)。采用NxN子块进行像素匹配，采用平均绝对误差MAD(Mean Absolute Deviation)准则进行匹配。其中，

$\mathrm{MAD}(i,j)=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}\underset{l=1}{\overset{N}{\mathrm{\Σ}}}|I_l(k,l)-I_r(k+i,l+i)|$

采用非对称十字六边形搜索算法进行搜索，考虑到常见双目立体视频内容左右眼的视差距离，通常取N为4，搜索半径选取为64。假设该字幕区域的水平像素宽度为M，则可将该区域分为[M/N]个NxN的子块。假设左路图像某个NxN块的左上角的像素点的坐标为(x_i，y_i)，经过立体图像像素匹配后，对应右路图像匹配块的左上角的像素点的坐标为(x′_i，y′_i)，记d＝x_i-x_i′，如果d为正，则该子块位于立体显示屏外，如果d为负，则该子块位于立体显示屏内；

依次对左路图像字幕显示区域各子块进行立体图像匹配，记录左路子块及其右路匹配块的左上角的像素点的横坐标之差的最大值dmax，则有

当dmax＞0时，为避免立体字幕挡住原有立体视频的画面信息，则需要调整左右眼的立体字幕的视差间距：

取ds＝(1+k)dmax，其中k取值为0.1～0.2之间；

当dmax≤0时，则立体字幕不会挡住原有立体视频中的画面信息，取ds＞0即可。

e.读入二维字幕文件，根据步骤d中计算的字幕视差进行字幕的叠加，将字幕压缩到现有双目立体视频内容之中，进入步骤f；

叠加的具体方法是：左路视频图像直接叠加二维字幕信息，右路视频图像中二维字幕信息水平偏移量为根据步骤d中计算的左右眼立体字幕视差间距，将左右路字幕信息叠加到现有双目立体视频内容中进行编码；

f.根据字幕文件中字幕显示的时间区域持续插入立体字幕信息并与视频一起进行编码，叠加字幕方法和视频压缩方法同步骤e一致，当遇到新的字幕时，进入步骤c，如检测到所有字幕信息显示结束时，仍须对后续未编码的双目立体视频内容图像进行编码。

本发明采用上述方法，通过对字幕区域的立体图像进行匹配，更加考虑了立体视频序列的深度感特点，避免立体画面中图像将字幕挡住的问题，可大幅提高双目立体视频内容字幕的主观质量和舒适度。

本发明所要求保护的技术方案包含但不仅限于上述具体实施方式，大凡有对上述技术方案进行等同替换而达到同样的技术效果的方案均在本发明的保护范围之内。

Claims (8)

1.一种双目立体字幕处理方法，其特征在于：包括以下步骤：

a.读入双目立体视频内容；

b.获取双目立体视频内容中单路视频的尺寸，确定立体字幕显示区域，保证字幕信息能在该区域完全显示；

c.读入字幕文件，获得每一次字幕显示的时间信息，将每次字幕显示时左右眼首副图像放入到缓冲区以待分析；

d.对字幕显示区域进行立体图像像素匹配，获得左右眼图像的最大视差信息，确定插入立体字幕的视差数据；

e.读入字幕文件，根据立体字幕的视差数据进行字幕的叠加，将字幕压缩到双目立体视频内容之中；

f.根据字幕文件中字幕显示的时间区域持续插入立体字幕信息并与双目立体视频内容一起进行编码，当遇到新的字幕文件时，返回步骤c。

2.如权利要求1所述的一种双目立体字幕处理方法，其特征在于：步骤f还包括：当检测到所有字幕信息显示结束时，仍须对后续未编码的双目立体视频内容进行编码。

3.如权利要求1所述的一种双目立体字幕处理方法，其特征在于：所述双目立体视频内容为双目立体视频内容为双目立体未压缩的图像序列。

4.如权利要求1所述的一种双目立体字幕处理方法，其特征在于：所述双目立体视频内容为已经压缩过的双目立体视频，则步骤a还包括：对双目立体视频进行解码。

5.如权利要求1-4任意一项所述的一种双目立体字幕处理方法，其特征在于：步骤b中，在获取双目立体视频内容中单路视频的尺寸过程中，须进行左右路图像的分离操作，对于水平或垂直方向有分辨率损失的图像须进行分辨率还原，得到单路信号的全分辨率图像序列。

6.如权利要求5所述的一种双目立体字幕处理方法，其特征在于：步骤b中，所述立体字幕显示区域为双目立体视频内容画面的下方矩形区域。

7.如权利要求6所述的一种双目立体字幕处理方法，其特征在于：步骤d中，对字幕显示区域进行立体图像像素匹配，获得左右眼图像的最大视差信息的具体方法为：假设该字幕显示区域的水平像素宽度为M，则可将该区域分为

个NxN的子块；假设左路图像中的某个NxN块的左上角像素点的坐标为(x_i，y_i)，经过立体图像像素匹配后，对应右路图像匹配块的左上角像素点的坐标为(x′_i，y′_j)，记d＝x_i-′_i，如果d为正，则该子块位于立体显示屏外，如果d为负，则该子块位于立体显示屏内；

依次对左路图像字幕显示区域各子块进行立体图像匹配，记录左路子块及其右路匹配块的左上角像素点的横坐标之差的最大值dmax，则有，

当dmax＞0时，左右眼立体字幕的视差数据为：

ds＝(1+k)dmax，其中k的取值在0.1～0.2之间；

当dmax≤0时，则立体字幕不会挡住原有立体视频中的画面信息，取ds＞0即可。

8.如权利要求7所述的一种双目立体字幕处理方法，其特征在于：步骤e中，根据立体字幕的视差数据进行字幕叠加的具体方法是：将双目立体视频内容中的左路视频图像直接叠加字幕信息，右路视频图像中字幕信息水平偏移量为根据步骤d中计算的左右眼图像的最大视差信息，将左右路字幕信息叠加到双目立体视频内容中进行编码。

Images