CN108712642B - 一种适用于立体视频的立体字幕添加位置自动选择方法 - Google Patents

Abstract

本发明涉及一种适用于立体视频的立体字幕添加位置自动选择方法，包括下列步骤：立体图像视差计；立体字幕初步位置判定；最优字幕位置及视差选择：考虑到视差值越小越容易引起观看不舒适，将视差数据集P进行从大到小进行排序，选取数值较小且频率较高的数值作为立体字幕添加时候的最终视差值d_f，对于该视差值条件下可能会对应着多个候选区域，设这些区域对应的坐标组成集合，则立体字幕最终的坐标位置通过从集合中选择距离坐标点距离最近的坐标位置来确定。

Description

一种适用于立体视频的立体字幕添加位置自动选择方法

技术领域

本发明属于视频处理领域，涉及自动选择立体字幕的位置以提高观看舒适度的问题。

背景技术

随着电子科技、网络技术的快速发展，数字图像在人们日常生活中得到广泛应用。近年来立体图像快速发展，已经成功应用于广告、电视、有戏及电影等各个领域，与人们的生活息息相关。字幕作为辅佐图片内容的工具，对人类理解视频信息至关重要。现阶段，视频的字幕主要依赖于后期人工添加，这种方式耗时耗力，不利于立体信息领域的快速发展。而且，基于经验的字幕添加常常导致字幕与图像内容的遮挡，极大地降低了观看体验。相较于传统2D字幕，立体字幕需要将深度信息考虑在内，因立体字幕的添加更具挑战。本发明试图在基于观看舒适度提高的前提下，选取最优的位置对立体字幕进行添加。因此，本发明试图自动选择立体字幕的位置以提高观看舒适度的问题。

发明内容

本发明的目的基于观看舒适度增强的前提下，提出一种自动选择立体字幕位置的方案。技术方案如下：

一种适用于立体视频的立体字幕添加位置自动选择方法步骤如下：

第一步：立体图像视差计算

对于立体图像对I_s，首先应用光流法计算其视差图D；

第二部：立体字幕初步位置判定，首先设定如下的A-C原则：

A.对于立体图像选取上区域和下区域两个区域作为字幕添加的候选区域，上区域范围为

其中W和H分别表示图像的宽和高，下区域的范围为

B.考虑将字幕添加在屏幕外边更靠近观看者的一端，以提高观看立体感受；

C.基于光流法的视差图，当立体字幕在屏幕外边更靠近观看者的一端，视差值是负值；

立体字幕的初步位置由以下几步实现：

1)对于待插入字幕Ω，在首先在上述定义的下区域内左上方选取与Ω同样大小的区域Λ用于字幕插入的初始候选区域，对于Λ，首先计算其内部所有视差的均值μ，其次，计算所有视差值的方差δ；对于区域Λ内，若一个像素的视差值在[μ-δ,μ+δ]之外，则认为该点是奇异点；如果整个区域内奇异点的个数与N的比值小于0.1且均值μ小于1°，视差最小值大于-1°，则认为该区域适合添加字幕，可以作为字幕添加的候选区域，其中心像素点坐标(Λ_x,Λ_y)作为候选字幕插入位置；字幕的视差设为d_min-0.106°，其中d_min表示该区域内最小视差值；

2)对于上区域，根据从左到右，从上到下的顺序对每一个Λ进行步骤1)的操作，可以获得多个候选区域，对应生成一个坐标数据集C和一个视差数据集P；

3)如果对于下区域所有的区域Λ不存在适合字幕添加的候选区域，则将下区域换成上区域继续重复上述操作1)-2)，若上下区域都不具备候选区域，则判定该图像不适合添加立体字幕；

第三步：最优字幕位置及视差选择

将视差数据集P进行从大到小进行排序，选取数值较小且频率较高的数值作为立体字幕添加时候的最终视差值d_f，对于该视差值条件下可能会对应着多个候选区域，假设这些区域对应的坐标组成集合Q，则立体字幕最终的坐标位置(x,y)可以通过从集合中选择距离坐标点(X₀,Y₀)距离最近的坐标位置来确定，其中，

第四步：基于时间序列的立体字幕位置选择与优化

通过第一步到第三步对立体视频所有帧的立体图像对进行操作，每一帧会获得一个对应的字幕位置信息，这种位置信息分为三类，即字幕放置在下区域，放置在上区域以及不可放置字幕，进一步对这些字幕进行整合，步骤如下：

1)统计整个视频帧序列的字幕放置信息，对于不可以放置字幕的帧，其左右相邻15帧也不可以用于放置字幕；

2)对于连续的位于上区域或者下区域的视频帧，当连续的帧超过30帧则放置字幕，否则这些帧都不放置字幕；

通过上述两步的调整，一个视频序列可形成连续的字幕信息；对于一段连续的字幕信息，其视差值以该范围内所有帧的字幕的视差值的最小值d_f2来确定，位置为所有坐标点的均值。

本发明的有益效果在于克服了传统基于手工方法插入立体字幕费时费力的缺点，实现了基于观看体验的立体字幕自动添加方案。本算法简单有效，能够促进立体字幕加工产业的发展。具有以下优点：

(1)本发明率先给出了立体字幕自动插入的方案。

(2)本发明方法可以自动实现字幕插入，省时省力。

(3)本发明方法可以降低立体字幕的不舒适度，用于提高用户观看体验。

(4)本发明方法可以自动判断立体视频的每一帧是否适合添加立体字幕。

附图说明

图1上下区域示意图；

图2对于选定区域，立体字幕添加位置选取的顺序示意图。

图3对于不可插入字幕帧，将其周围帧也标记成不可以插入字幕帧示意图。

具体实施方式

为使本发明的技术方案更加清楚，下面对本发明具体实施方式做进一步地描述。

1、立体图像视差计算

对于立体视频V对其每一帧立体图像对I_v(v＝1,2,3,…,K，K表示立体视频帧的数量)，首先应用光流法计算其视差图D。

2、立体字幕初步位置判定

本发明具有以下几点的说明：1、对于立体视频帧本发明选取两个区域(上区域和下区域)作为字幕添加的候选区域，如图1所示(上区域范围为

其中W和H分别表示图像的宽和高，下区域的范围为

2、考虑到立体字幕常常位于观看屏幕的外边，本发明中字幕只考虑将字幕添加在屏幕外边(即更靠近观看者的一端)，以提高观看立体感受；3、基于光流法的视差图，当屏幕立体字幕在屏幕外边的时候(更靠近观看者的一端)，视差值是负值。

本发明中立体字幕的初步位置可以由以下几步实现：

1)对于待插入字幕(Ω)，本发明在首先在上述定义的下区域内左上方选取与Ω同样大小的区域(Λ)用于字幕插入的初始候选区域。对于Λ，首先计算其内部所有视差的均值(μ)：

公式(1)中d_i表示第i个像素的视差值，N表示该区域内像素的个数。其次，计算所有视差值的方差(δ)：

对于区域Λ内，若一个像素的视差值在[μ-δ,μ+δ]之外，则认为该点是奇异点。如果整个区域内奇异点的个数与N的比值小于0.1且均值μ小于1°，视差最小值大于-1°，则认为该区域适合添加字幕，可以作为字幕添加的候选区域，其中心像素点坐标(Λ_x,Λ_y)作为候选字幕插入位置。字幕的视差设为d_min-0.106°，其中d_min表示该区域内最小视差值。

2)对于上区域，根据从左到右，从上到下的顺序对每一个Λ进行步骤1)的操作(如图2所示)，本发明可以获得多个候选区域(对应生成一个坐标数据集C和一个视差数据集P)。

3)如果对于下区域所有的区域Λ不存在适合字幕添加的候选区域，则将下区域换成上区域继续重复上述操作1)-2)。若上下区域都不具备候选区域，则判定该帧不适合添加立体字幕。

3、最优字幕位置及视差选择

考虑到视差值越小越容易引起观看不舒适，本发明将视差数据集P进行从大到小进行排序，选取数值较小且频率较高的数值作为立体字幕添加时候的最终视差值d_f。对于该视差值条件下可能会对应着多个候选区域，假设这些区域对应的坐标组成集合Q，则立体字幕最终的坐标位置(x,y)可以由下式确定：

其中，Qx和Q_y分别表示Q的x和y坐标集合，

||·||₂表示二范数的计算，argmin表示求满足条件下的最优值。

4、基于时间序列的立体字幕位置选择与优化

通过步骤1-3对立体视频所有帧的立体图像对进行操作，每一帧会获得一个对应的字幕位置信息。这种位置信息可大体分为三类，即字幕放置在下区域，放置在上区域以及不可放置字幕。因此，本发明进一步对这些字幕进行整合，步骤如下：

1)统计整个视频帧序列的字幕放置信息，对于不可以放置字幕的帧，认为其左右相邻15帧也不可以用于放置字幕，如图3所示；

2)对于连续的位于上区域或者下区域的视频帧，当连续的帧超过30帧则放置字幕，否则这些帧都不放置字幕。

通过上述两步的调整，一个视频序列可形成连续的字幕信息。对于一段连续的字幕信息，其视差值以该范围内所有帧的字幕的视差值的最小值(d_f2)来确定，位置为所有坐标点的均值。

5、立体字幕舒适度评价准则

对于每一帧，立体字幕的舒适度可以由d_f2反应，d_f2的绝对值越大表示越不舒适。对于不插入字幕的视频帧认为舒适度值最大(即认为视差为0)，整个视频序列的舒适度可以由所有帧舒适度的和求得。

本发明方法具有以下优点：

(1)本发明率先给出了立体字幕自动插入的方案。

(2)本发明方法可以自动实现字幕插入，省时省力。

(3)本发明方法可以降低立体字幕的不舒适度，用于提高用户观看体验。

(4)本发明方法可以自动判断立体视频的每一帧是否适合添加立体字幕。

Claims (1)

1.一种适用于立体视频的立体字幕添加位置自动选择方法，步骤如下：

第一步：立体图像视差计算

对于立体图像对I_s，首先应用光流法计算其视差图D；

第二步：立体字幕初步位置判定，首先设定如下的A-C原则：

A.对于立体图像选取上区域和下区域两个区域作为字幕添加的候选区域，上区域范围为

其中W和H分别表示图像的宽和高，下区域的范围为

B.考虑将字幕添加在屏幕外边更靠近观看者的一端，以提高观看立体感受；

C.基于光流法的视差图，当立体字幕在屏幕外边更靠近观看者的一端，视差值是负值；

立体字幕的初步位置由以下几步实现：

1)对于待插入字幕Ω，在首先在上述定义的下区域内左上方选取与Ω同样大小的区域Λ用于字幕插入的初始候选区域，对于Λ，首先计算其内部所有视差的均值μ，其次，计算所有视差值的方差δ；对于区域Λ内，若一个像素的视差值在[μ-δ,μ+δ]之外，则认为该点是奇异点；如果整个区域内奇异点的个数与N的比值小于0.1且均值μ小于1°，视差最小值大于-1°，则认为该区域适合添加字幕，可以作为字幕添加的候选区域，其中心像素点坐标(Λ_x,Λ_y)作为候选字幕插入位置；字幕的视差设为d_min-0.106°，其中d_min表示该区域内最小视差值；

2)对于上区域，根据从左到右，从上到下的顺序对每一个Λ进行步骤1)的操作，可以获得多个候选区域，对应生成一个坐标数据集C和一个视差数据集P；

3)如果对于下区域所有的区域Λ不存在适合字幕添加的候选区域，则将下区域换成上区域继续重复上述操作1)-2)，若上下区域都不具备候选区域，则判定该图像不适合添加立体字幕；

第三步：最优字幕位置及视差选择

将视差数据集P进行从大到小进行排序，从中选取一个视差数值作为立体字幕添加时候的最终视差值d_f，对于该视差值条件下可能会对应着多个候选区域，假设这些区域对应的坐标组成集合Q，则立体字幕最终的坐标位置(x,y)可以通过从集合中选择距离坐标点(X₀,Y₀)距离最近的坐标位置来确定，其中，

第四步：基于时间序列的立体字幕位置选择与优化

通过第一步到第三步对立体视频所有帧的立体图像对进行操作，每一帧会获得一个对应的字幕位置信息，这种位置信息分为三类，即字幕放置在下区域，放置在上区域以及不可放置字幕，进一步对这些字幕进行整合，步骤如下：

1)统计整个视频帧序列的字幕放置信息，对于不可以放置字幕的帧，其左右相邻15帧也不可以用于放置字幕；

2)对于连续的位于上区域或者下区域的视频帧，当连续的帧超过30帧则放置字幕，否则这些帧都不放置字幕；

通过上述两步的调整，一个视频序列可形成连续的字幕信息；对于一段连续的字幕信息，其视差值以该范围内所有帧的字幕的视差值的最小值d_f2来确定，位置为所有坐标点的均值。

Images