CN102611906A - 具有自适应深度的立体视频图文标签的显示和编辑方法 - Google Patents

Abstract

本发明提供一种具有自适应深度的立体视频图文标签的显示和编辑方法，该显示方法包括：S01：从立体视频中提取立体视频帧，立体视频帧的当前时戳为t；S02：从立体视频图文标签序列中选出t₁≤t≤t₂的一个或多个立体视频图文标签；S03：计算每一个被选中的立体视频图文标签的锚点在立体视频帧的左视图和右视图中的坐标(X_l，Y_l)、(X_r，Y_r)；S04：对每一个被选中的立体视频图文标签，以锚点为中心，根据基本外观的属性绘制立体视频图文标签的基本外观；S05：对每一个被选中的立体视频图文标签，根据立体视频图文标签的透明度α将基本外观和立体视频帧进行像素合成。根据本发明的立体视频图文标签的深度感具有自适应性，并且具有修改的便利性和显示的灵活性。

Description

具有自适应深度的立体视频图文标签的显示和编辑方法

技术领域

本发明涉及立体显示技术领域，特别涉及一种具有自适应深度的立体视频图文标签的显示和编辑方法。

背景技术

立体视频，可以给用户提供视频中场景的深度信息，使用户能够通过视频看到与真实世界几乎完全一致的景象，产生巨大的真实感和临场感。在某些立体视频中，为了增强说明效果，通常需要在立体视频或立体图像的特定空间位置和时间上添加一些图形或文字标签。这种标签称为立体视频图文标签。

由于立体显示技术只是利用双目视觉像差使人产生立体感，其显示终端仍然是平面的，因此为了使添加的标签能够准确定位于立体视频的特定空间，标签也应该具有适当的像差。此外，在显示标签时，要求标签的立体感不受显示屏幕大小的影响，即标签的深度应该具有自适应性；另外，在实际运用中，要求标签能够在不修改立体视频的前提下具有可修改性；并且，要求添加的标签具有显示灵活性，可以根据需要显示或隐藏，而不是永久性地嵌入立体视频或立体图像中。

因此，需要一种满足上述要求的立体视频图文标签。

发明内容

本发明的目的旨在至少解决上述技术问题之一，特别是提供一种立体视频图文标签的显示和编辑方法，通过该方法产生的立体视频图文标签能够准确定位于立体视频的特定空间和时间，且该立体视频图文标签的深度感具有自适应性，并且具有修改的便利性和显示的灵活性。

为达到上述目的，本发明一方面提出了一种具有自适应深度的立体视频图文标签的显示方法，立体视频图文标签序列中的每个立体视频图文标签具有属性：标记、锚点坐标(x，y，z)、起始时戳t₁、结束时戳t₂、基本外观、透明度α，0≤α≤1，所述显示方法包括以下步骤：S01：从立体视频中提取立体视频帧，所述立体视频帧的当前时戳为t；S02：从所述立体视频图文标签序列中选出t₁≤t≤t₂的一个或多个所述立体视频图文标签；S03：计算每一个被选中的所述立体视频图文标签的锚点在所述立体视频帧的左视图和右视图中的坐标(X_l，Y_l)、(X_r，Y_r)；S04：对每一个被选中的所述立体视频图文标签，以所述锚点为中心，根据所述基本外观的属性绘制所述立体视频图文标签的基本外观；S05：对每一个被选中的所述立体视频图文标签，根据所述立体视频图文标签的透明度α将所述基本外观和所述立体视频帧进行像素合成。

在本发明的一个实施例中，所述标记属性包括：所述立体视频图文标签在所述立体视频图文标签序列中的序号。

在本发明的一个实施例中，所述基本外观属性可以包括：外形、大小、前景颜色、边框颜色等属性中的一项或多项的组合。其中，所述外形可以包括图形形状、有限个数的字母、有限位数的数字、箭头等中的一项或多项的组合。

在本发明的一个实施例中，步骤S01和S02之间包括以下步骤：选择是否显示所述立体视频图文标签；否，返回步骤S01继续提取下一帧立体视频；是，进行步骤S02。通过该步骤，用户可以选择是否显示立体视频图文标签，使立体视频图文标签的显示具有灵活性。

在本发明的一个实施例中，步骤S03中的所述坐标(X_l，Y_l)、(X_r，Y_r)的计算公式包括：X_l＝Wx-D/2，X_r＝Wx+D/2，Y_l＝Y_r＝Hy，其中，W和H分别为所述立体视频的显示窗口的宽度和长度，D为双目像差，D＝sep×W×z/(z+1)，其中sep为人眼双目瞳距与所述立体视频的显示窗口的宽度的比值。

在本发明的一个实施例中，每个所述立体视频图文标签具有附加外观属性。所述附加外观属性可以包括：用于说明的文字标签，所述文字标签相对于所述锚点的方位，用于强调的形状等中的一项或多项的组合。

在本发明的一个实施例中，步骤S04和步骤S05之间包括以下步骤：选择是否显示所述立体视频图文标签的全部外观；否，进行步骤S05；是，对每一个被选中的所述立体视频图文标签，绘制所述附加外观。通过该步骤，用户可以选择显示立体视频图文标签的全部外观，或选择显示立体视频图文标签的基本外观。

在本发明的一个实施例中，绘制所述附加外观可以包括：以所述锚点为中心，根据所述文字标签相对于所述锚点的方位绘制所述文字标签和或绘制所述用于强调的形状以及其他外观。

在本发明的一个实施例中，步骤S05中像素合成公式包括：P＝Bα+I(1-α)，其中B为所述立体视频图文标签的基本外观的像素值，I为所述立体视频帧的像素值。

本发明另一方面提供一种具有自适应深度的立体视频图文标签的编辑方法，立体视频图文标签序列中的每个立体视频图文标签具有属性：标记、锚点坐标(x，y，z)、起始时戳t₁、结束时戳t₂、基本外观、附加外观、透明度α，0≤α≤1，所述编辑方法包括以下步骤：S11：初始化立体光标，所述立体光标具有所述立体视频图文标签的属性，但独立于所述立体视频图文标签序列；S12：回放立体视频，从所述立体视频中提取待操作的立体视频帧，在所述待操作的立体视频帧中显示所述立体视频图文标签和立体光标，所述立体视频帧的当前时戳为t；S13：将所述立体光标的开始时戳设置为t₁′＝t+ε，ε为预设的误差值；S14：根据编辑要求重新设置所述立体光标的锚点坐标(x₀，y₀，z₀)、结束时戳t₂′、基本外观、附加外观、透明度中的一项或多项；S15：根据重新设置的所述立体光标，对所述立体视频图文标签序列进行添加新的所述立体视频图文标签、删除或修改已有的所述立体视频图文标签操作。

在本发明的一个实施例中，步骤S15中所述添加新的所述立体视频图文标签操作包括：在所述立体视频图文标签序列中新增立体视频图文标签，并将其属性设置为与重新设置的所述立体光标的属性相同。

在本发明的一个实施例中，步骤S15中所述删除已有的所述立体视频图文标签操作包括：在所述立体视频图文标签序列中寻找满足t₁≤t≤t₂、锚点坐标(x，y，z)在重新设置的所述立体光标的锚点坐标(x₀，y₀，z₀)的邻域内的所述立体视频图文标签，并将其从所述立体视频图文标签序列中删除。

在本发明的一个实施例中，步骤S15中所述修改已有的所述立体视频图文标签操作包括：在所述立体视频图文标签序列中寻找满足t₁≤t≤t₂、锚点坐标(x，y，z)在重新设置的所述立体光标的锚点坐标(x₀，y₀，z₀)的邻域内的所述立体视频图文标签，并将其属性设置为与重新设置的所述立体光标的属性相同。

本发明提供一种具有自适应深度的立体视频图文标签的显示和编辑方法。本发明实施例的有益效果体现在：

(1)该立体视频图文标签能够准确地标识立体视频中需要强调的三维区域，视觉立体感强，定位准确度高；

(2)该立体视频图文标签的深度感具有自适应性，即对于不同大小的显示屏幕都具有相同的深度感；

(3)可以在不改动相应的立体视频的前提下方便地修改该立体视频图文标签。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的立体视频图文标签显示方法的流程图；

图2为本发明实施例的箭头状的立体视频图文标签在左视图和右视图中的示意图；

图3为本发明实施例的立体视频图文标签编辑方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明提出一种具有自适应深度的立体视频图文标签。在本发明实施例中，一个立体视频文件一般可以包括多个立体视频图文标签，这些立体视频图文标签组成立体视频图文标签序列。每个立体视频图文标签至少具有以下属性：标记、锚点坐标(x，y，z)、起始时戳t₁、结束时戳t₂、基本外观、透明度α(0≤α≤1)。

其中，标记是体现立体视频图文标签在立体视频图文标签序列中的身份的属性，具有唯一性，例如，在本实施例中，以立体视频图文标签在立体视频图文标签序列中的序号n作为其标记。

其中，锚点坐标(x，y，z)的每个分量分别为三维空间中的对应坐标轴的归一化值，即取值范围为[-1，1]。

在本发明实施例中，基本外观属性可以包括但不限于：外形、大小、前景颜色、边框颜色等属性中的一项或多项的组合。其中，外形可以包括图形形状、有限个数的字母、有限位数的数字、箭头等中的一项或多项的组合。除了上述基本外观属性，本实施例的立体视频图文标签还可以具有附加外观属性，附加外观属性可以包括但不限于：用于说明的文字标签，该文字标签相对于锚点的方位，用于强调的形状等。

图1所示为本发明实施例的立体视频图文标签显示方法的流程图，参照图1，该显示方法包括以下步骤：

步骤S01：从立体视频中提取立体视频帧，该立体视频帧的当前时戳设为t。

在本发明优选的实施例中，步骤S01还可以包括以下步骤：选择是否显示该立体视频图文标签；否，则输出立体视频和立体视频图文标签的合成帧并返回步骤S01继续提取下一帧立体视频；是，则进行步骤S02。通过该步骤，用户可以选择是否显示立体视频图文标签，使立体视频图文标签的显示具有灵活性。

步骤S02：从立体视频图文标签序列中选出t₁≤t≤t₂的一个或多个立体视频图文标签。

步骤S03：计算每一个被选中的立体视频图文标签的锚点在该立体视频帧的左视图和右视图中的坐标(X_l，Y_l)、(X_r，Y_r)。具体地，可以包括以下步骤：首先将锚点在标准化三维坐标中的水平和垂直坐标(x，y)转化为视图中的坐标(X_C，Y)。图2所示为箭头状的立体视频图文标签在左视图和右视图中的示意图。如图2所示，

X_C＝Wx，Y＝Hy，

其中W和H分别为立体视频的显示窗口的宽和长，一般以像素为单位。然后将将锚点在标准化三维坐标中的深度坐标z转化为双目像差D

D＝sep×W×z/(z+1)，

其中sep为人眼双目瞳距与立体视频的显示窗口的宽度的比值。最后得到该立体视频图文标签的锚点在左右视图的坐标分别为：

X_l＝X_C-D/2，X_r＝X_C+D/2，Y_l＝Y_r＝Hy

步骤S04：对每一个被选中的立体视频图文标签，以其锚点为中心，根据其基本外观的属性绘制该立体视频图文标签在视图中的基本外观，如图2所示。

在本发明优选的实施例中，步骤S04之后可以包括以下步骤：选择是否显示立体视频图文标签的全部外观；否，进行步骤S05；是，对每一个被选中的立体视频图文标签，绘制附加外观。通过该步骤，用户可以选择显示立体视频图文标签的全部外观，或选择显示立体视频图文标签的基本外观，从而使立体视频图文标签的显示方式具有灵活性。在本发明实施例中，绘制立体视频图文标签的附加外观的步骤具体可以包括：以该立体视频图文标签的锚点为中心，根据其文字标签相对于锚点的方位绘制文字标签和或绘制用于强调的形状以及其他外观。

步骤S05：对每一个被选中的立体视频图文标签，根据该立体视频图文标签的透明度α将所绘制的基本外观和立体视频帧进行像素合成。在本发明实施例中，像素合成公式可以为：P＝Bα+I(1-α)，其中B为该立体视频图文标签的基本外观的像素值，I为该立体视频帧的像素值。

由于对每一个被选中的立体视频图文标签均需要进行步骤S03-S05，故步骤S03-S05需要循环进行多次，直至循环结束后，输出立体视频和立体视频图文标签的合成帧，并返回步骤S01继续提取下一帧立体视频。

图3所示为本发明实施例的立体视频图文标签编辑方法的流程图，参照图3，该编辑方法包括以下步骤：

步骤S11：初始化立体光标，立体光标具有上述立体视频图文标签的属性，即可以具有：标记、锚点坐标(x₀，y₀，z₀)、起始时戳t₁′、结束时戳t₂′、基本外观、附加外观、透明度等属性，但是立体光标不属于立体视频图文标签序列，故立体光标的标记可以是体现其特殊身份的参量。

步骤S12：回放立体视频，从立体视频中提取待操作的立体视频帧，在待操作的立体视频帧中显示立体视频图文标签和立体光标，立体视频帧的当前时戳为t。优选地，为了便于立体光标移动，立体视频图文标签可以显示该标签的全部外观，而立体光标仅显示基本外观。

步骤S13：将立体光标的开始时戳设置为t₁′＝t+ε，ε为预设的可以允许的误差值。

步骤S14：根据编辑要求重新设置立体光标的锚点坐标(x₀，y₀，z₀)、结束时戳t₂、基本外观、附加外观、透明度α等属性中的一项或多项。在本实施例中，用户可以通过在三维空间移动立体光标，从而连续改变立体光标的锚点坐标(x₀，y₀，z₀)。例如，移动鼠标使得立体光标在水平和垂直方向移动，转动鼠标滚轮使得立体光标前后移动(即改变深度)。通常情况下z值不小于-0.5，以有利于得到更符合人眼感知特性的立体视觉效果。用户通过输入立体光标的属性以重新设置立体光标属性。

步骤S15：根据重新设置的立体光标，对立体视频图文标签序列进行添加新的立体视频图文标签、删除或修改已有的立体视频图文标签等操作。

其中，添加新的立体视频图文标签操作可以通过下述方式实现：在立体视频图文标签序列中新增立体视频图文标签，并将其属性设置为与重新设置的立体光标的属性相同，即将立体光标的属性复制为新增立体视频图文标签的属性。

删除已有的立体视频图文标签操作可以通过下述方式实现：在立体视频图文标签序列中寻找满足t₁≤t≤t₂、锚点坐标(x，y，z)在重新设置的立体光标的锚点坐标(x₀，y₀，z₀)的特定邻域内的立体视频图文标签，如果寻找到满足条件的立体视频图文标签，则将其从立体视频图文标签序列中删除。

修改已有的立体视频图文标签操作可以通过下述方式实现：在立体视频图文标签序列中寻找满足t₁≤t≤t₂、锚点坐标(x，y，z)在重新设置的立体光标的锚点坐标(x₀，y₀，z₀)的特定邻域内的立体视频图文标签，如果寻找到满足条件的立体视频图文标签，则将其属性设置为与重新设置的立体光标的属性相同，即将立体光标的属性复制为需修改的立体视频图文标签的属性。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (15)

1.一种具有自适应深度的立体视频图文标签的显示方法，其特征在于，立体视频图文标签序列中的每个立体视频图文标签具有属性：标记、锚点坐标(x，y，z)、起始时戳t₁、结束时戳t₂、基本外观、透明度α、0≤α≤1，所述显示方法包括以下步骤：

S01：从立体视频中提取立体视频帧，所述立体视频帧的当前时戳为t；

S02：从所述立体视频图文标签序列中选出t₁≤t≤t₂的一个或多个所述立体视频图文标签；

S03：计算每一个被选中的所述立体视频图文标签的锚点在所述立体视频帧的左视图和右视图中的坐标(X_l，Y_l)、(X_r，Y_r)；

S04：对每一个被选中的所述立体视频图文标签，以所述锚点为中心，根据所述基本外观的属性绘制所述立体视频图文标签的基本外观；

S05：对每一个被选中的所述立体视频图文标签，根据所述立体视频图文标签的透明度α将所述基本外观和所述立体视频帧进行像素合成。

2.如权利要求1所述的具有自适应深度的立体视频图文标签的显示方法，其特征在于，所述标记属性包括：所述立体视频图文标签在所述立体视频图文标签序列中的序号。

3.如权利要求1所述的具有自适应深度的立体视频图文标签的显示方法，其特征在于，所述基本外观属性包括：外形、大小、前景颜色、边框颜色中的一项或多项的组合。

4.如权利要求3所述的具有自适应深度的立体视频图文标签的显示方法，其特征在于，所述外形包括图形形状、有限个数的字母、有限位数的数字、箭头中的一项或多项的组合。

5.如权利要求1所述的具有自适应深度的立体视频图文标签的显示方法，其特征在于，步骤S01和S02之间包括以下步骤：

选择是否显示所述立体视频图文标签；

否，返回步骤S01继续提取下一帧立体视频；

是，进行步骤S02。

6.如权利要求1所述的具有自适应深度的立体视频图文标签的显示方法，其特征在于，步骤S03中的所述坐标(X_l，Y_l)、(X_r，Y_r)的计算公式包括：

X_l＝Wx-D/2，X_r＝Wx+D/2，Y_l＝Y_r＝Hy，

其中，W和H分别为所述立体视频的显示窗口的宽度和长度，D为双目像差，D＝sep×W×z/(z+1)，其中sep为人眼双目瞳距与所述立体视频的显示窗口的宽度的比值。

7.如权利要求1所述的具有自适应深度的立体视频图文标签的显示方法，其特征在于，每个所述立体视频图文标签具有附加外观属性。

8.如权利要求7所述的具有自适应深度的立体视频图文标签的显示方法，其特征在于，所述附加外观属性包括：用于说明的文字标签，所述文字标签相对于所述锚点的方位，用于强调的形状中的一项或多项的组合。

9.如权利要求7或8所述的具有自适应深度的立体视频图文标签的显示方法，其特征在于，步骤S04和步骤S05之间包括以下步骤：

选择是否显示所述立体视频图文标签的全部外观；

否，进行步骤S05；

是，对每一个被选中的所述立体视频图文标签，绘制所述附加外观。

10.如权利要求9所述的具有自适应深度的立体视频图文标签的显示方法，其特征在于，绘制所述附加外观包括：以所述锚点为中心，根据所述文字标签相对于所述锚点的方位绘制所述文字标签和或绘制所述用于强调的形状。

11.如权利要求1所述的具有自适应深度的立体视频图文标签的显示方法，其特征在于，步骤S05中所述像素合成的公式包括：

P＝Bα+I(1-α)，

其中B为所述立体视频图文标签的基本外观的像素值，I为所述立体视频帧的像素值。

12.一种具有自适应深度的立体视频图文标签的编辑方法，其特征在于，立体视频图文标签序列中的每个立体视频图文标签具有属性：标记、锚点坐标(x，y，z)、起始时戳t₁、结束时戳t₂、基本外观、附加外观、透明度α，0≤α≤1，所述编辑方法包括以下步骤：

S11：初始化立体光标，所述立体光标具有所述立体视频图文标签的属性，但独立于所述立体视频图文标签序列；

S12：回放立体视频，从所述立体视频中提取待操作的立体视频帧，在所述待操作的立体视频帧中显示所述立体视频图文标签和立体光标，所述立体视频帧的当前时戳为t；

S13：将所述立体光标的开始时戳设置为t₁′＝t+ε，ε为预设的误差值；

S14：根据编辑要求重新设置所述立体光标的锚点坐标(x₀，y₀，z₀)、结束时戳t₂′、基本外观、附加外观、透明度中的一项或多项；

S15：根据重新设置的所述立体光标，对所述立体视频图文标签序列进行添加新的所述立体视频图文标签、删除或修改已有的所述立体视频图文标签操作。

13.如权利要求12所述的具有自适应深度的立体视频图文标签的编辑方法，其特征在于，步骤S15中所述添加新的所述立体视频图文标签操作包括：

在所述立体视频图文标签序列中新增立体视频图文标签，并将其属性设置为与重新设置的所述立体光标的属性相同。

14.如权利要求12所述的具有自适应深度的立体视频图文标签的编辑方法，其特征在于，步骤S15中所述删除已有的所述立体视频图文标签操作包括：

在所述立体视频图文标签序列中寻找满足t₁≤t≤t₂、锚点坐标(x，y，z)在重新设置的所述立体光标的锚点坐标(x₀，y₀，z₀)的邻域内的所述立体视频图文标签，并将其从所述立体视频图文标签序列中删除。

15.如权利要求12所述的具有自适应深度的立体视频图文标签的编辑方法，其特征在于，步骤S15中所述修改已有的所述立体视频图文标签操作包括：

在所述立体视频图文标签序列中寻找满足t₁≤t≤t₂、锚点坐标(x，y，z)在重新设置的所述立体光标的锚点坐标(x₀，y₀，z₀)的邻域内的所述立体视频图文标签，并将其属性设置为与重新设置的所述立体光标的属性相同。

Images