CN105791795A - 立体图像处理方法、装置以及立体视频显示设备 - Google Patents

Abstract

本申请公开了用于立体图像处理的方法和装置。该立体图像处理方法包括：判断图像帧中的立体图像内容是否存在立体误差，其中图像帧包括至少两个不同视角的图像；响应于存在立体误差，检测图像帧中是否存在与立体图像内容具有不同立体几何约束的对象；以及若检测到对象，则针对立体图像内容和对象分别进行处理。按照本申请实施方式的立体图像处理方法，通过对具有不同立体几何约束的立体图像内容与诸如后期插入对象之类的对象进行区别处理，使得能够显示高视觉质量的立体图像和视频。

Description

立体图像处理方法、装置以及立体视频显示设备

技术领域

本申请涉及计算机处理领域，具体涉及立体显示技术，尤其涉及立体图像处理的方法、装置以及立体视频显示设备。

背景技术

立体显示技术包括显示内容生成技术和显示设备技术。为了高质量地显示立体图像内容，立体显示设备可以集成对立体图像内容进行处理的技术，通过软件的方式提升三维图像的视觉显示效果。当立体显示设备显示的立体图像内容中包含竖直方向的视差时，三维图像的视觉质量会产生下降。

一种有用的立体图像处理功能是立体图像校正。立体图像校正的目的是消除立体图像对之间在竖直方向上的视差。这些视差往往是在立体图像拍摄时，所采用的立体摄像机的两台相机之间的参数调整误差造成的。这些参数误差可能包括两台相机之间位置上的错位，成像参数的不一致等等。立体图像校正过程通过估计这些误差，得到对立体图像进行变换的参数，使得变换后的立体图像对在竖直方向上的视差消除，只保留在水平方向上的视差。即，相同物体在立体校正之后的立体图像对的左右两图之间的图像点，位于相同的图像行坐标，其位置差异仅仅出现在列坐标上。

已经提出了一些用于立体图像校正的方法。例如，已知一种校正方法可以在立体视觉系统中校正三维物体的二维图像。该方法根据特殊的透视投影变换或仿射投影变换计算二维透视投影变换或单应变换。这是一种对图像的全局变换。又例如，已知另一种校正方法使用带有局部变形的网格变换来代替全局变换，可以适应更加复杂的立体误差情况。其基本假设是两幅图像之间的变换是局部平滑的。

这些已知的立体图像校正方法对立体图像内容误差的处理技术集中在对相机拍摄的真实三维世界的二维影像的处理。三维世界中的物体被不同视点的左右两台相机拍摄，得到的立体图像对满足对极线(EpipolarLine)几何约束。因此，按照多视角几何理论，只要通过对两幅图像分别进行全局的二维透视投影变换(或者单应变换)，就可以将两幅图像的对极线对齐。如果考虑到镜头成像误差引起的非线性畸变，由于光学镜头引起的畸变是局部平滑的，可以使用类似上述第二种校正方法提出的局部平滑变换来进行进一步的校正。

发明内容

在实际应用中，一些立体图像内容可能在后期编辑时被加入一些物体，例如字幕、视频图标等。这些后期叠加物体的立体几何关系和立体图像内容的立体几何关系不同，传统的立体校正算法会在这些物体区域产生误差。

为了解决上述一个或多个问题，本申请提供一种立体图像处理方法、装置以及立体视频显示设备。

第一方面，本申请提供了一种立体图像处理方法。该方法包括：判断图像帧中的立体图像内容是否存在立体误差，其中图像帧包括至少两个不同视角的图像；响应于存在立体误差，检测图像帧中是否存在与立体图像内容具有不同立体几何约束的对象；以及若检测到对象，则针对立体图像内容和该对象分别进行处理。

在一些实施例中，针对立体图像内容和对象分别进行处理，包括：将对象从图像帧中分割出去；填补图像帧中由于分割产生的图像空洞；以及对填补后的图像帧执行立体校正。

在一些实施例中，对象为图像帧中的后期插入对象，并且将对象从图像帧中分割出去基于对象的至少一个如下属性：可预期的形体特征、时域上的稳定性、以及符合标准的立体几何关系。

在一些实现中，对象为后期插入的字幕。在这些实现中，将对象从图像帧中分割出去，包括：从图像帧的不同视角的图像中分别检测文字笔画特征；提取包含文字笔画特征的字幕框；在字幕框中，根据文字颜色分割出文字像素；以及将文字像素从图像帧中分割出去。

在一些实现中，在根据文字颜色分割出文字像素之前，还包括：通过匹配不同视角的图像的字幕框确定字幕深度；以及根据字幕深度去除误检测的字幕框。

在另一些实现中，对象为后期插入的视频图标。在这些实现中，将对象从图像帧中分割出去，包括：利用预先建立的视频图标的模板图像对图像帧的不同视角的图像分别进行匹配；以及将所匹配的区域作为视频图标从图像帧中分割出去。

在一些实现中，视频图标的模板图像通过如下离线处理方式来建立：初始化图标图像；按照时间顺序读取输入视频的每一帧图像并根据相邻两帧之间的像素颜色差异更新图标图像；以及将收敛得到的图标图像作为视频图标的模板图像。

在又一些实现中，对象为后期插入的图形对象。在这些实现中，将对象从图像帧中分割出去，包括：将图像帧的不同视角的图像中的任一图像分割为多个图像区域；针对每个图像区域，在图像帧的不同视角的图像中的另一图像中相同水平线上的每个位置进行匹配；以及根据匹配结果确定图形对象并将其分割出去。

在一些实施例中，针对每个图像区域进行匹配包括：计算所述图像区域在所述每个位置的匹配度量，从中找到一个最优匹配度量；并且所述根据匹配结果确定所述图形对象并将其分割出去，包括：判断最优匹配度量是否满足预设条件；响应于所述最优匹配度量满足预设条件，确定所述图像区域为后期插入的图像对象；以及将所述图像对象从所述图像帧中分割出去。

在一些实施例中，填补图像帧中由于分割产生的图像空洞，包括根据周围图像的信息，基于以下至少一种方式对图像空洞进行填充：对于图像空洞中的每个对象像素，使用距离对象像素最近的立体图像内容中的像素来填充；按照图像空洞周围的图像纹理特征，对图像空洞进行填充；根据图像空洞周围的物体类别信息推理图像内容信息，以对图像空洞进行填充；以及利用图像帧的不同视角的图像之间的互补信息，对图像空洞进行填充。

在一些实施例中，判断图像帧中的立体图像内容是否存在立体误差，包括：判断图像帧是否为视频段的边界帧；响应于图像帧是视频段的边界帧，检测图像帧中是否存在立体误差，以及基于检测结果更新视频段的立体误差信息以及立体校正变换；以及响应于图像帧是视频段的非边界帧，基于视频段的立体误差信息来判断是否存在立体误差。

在一些实施例中，判断图像帧是否为视频段的边界帧，包括：比较当前图像帧与前一图像帧的图像特征向量；若图像特征向量的变化超过预定阈值，则判断当前图像帧为视频段的边界帧。

在一些实施例中，检测图像帧中是否存在立体误差包括：检测图像帧是否存在竖直方向上的视差。

更进一步地，检测图像帧是否存在竖直方向上的视差包括：从图像帧的不同视角的图像中提取特征点并计算与特征点对应的特征向量；基于特征向量的相似性，对不同视角的图像的特征点进行匹配；分析匹配的特征点对在竖直方向上的图像坐标距离以判断是否存在视差。

在一些实施例中，该方法还包括：根据立体图像内容或用户指令，确定是否将对象重新插入校正后的图像帧中；以及响应于确定重新插入，将对象插入校正后的图像帧中。

在一些实施例中，在将对象插入校正后的图像帧中之前，还包括对对象进行以下至少一项处理：根据对立体图像内容的视差分析，调整对象的大小、位置和/或深度；根据显示立体图像的设备的配置，调整对象的大小、位置和/或深度；以及根据立体图像内容，调整对象的大小和/或位置以避开和图像内容的类型或深度有关的特定区域。

在一些实施例中，当图像帧包括超过两个视角的图像时，针对每两个相邻视角的图像分别执行上述方法。

第二方面，本申请提供了一种立体图像处理装置。该装置包括：立体误差判断单元，配置用于判断图像帧中的立体图像内容是否存在立体误差，其中图像帧包括至少两个不同视角的图像；对象检测单元，配置用于响应于存在立体误差，检测图像帧中是否存在与立体图像内容具有不同立体几何约束的对象；以及校正单元，配置用于若检测到对象，则针对立体图像内容和对象分别进行处理。该装置还可以包括配置用于执行根据本申请第一方面所述的方法的各实施方式的步骤的单元或装置。

第三方面，本申请提供了一种立体视频显示设备，该设备包括显示器和处理器。显示器配置用于播放立体视频。处理器配置用于在显示器播放立体视频之前或期间对输入的立体视频进行处理。其中，处理器配置用于对立体视频的图像帧进行如下处理：判断图像帧中的立体图像内容是否存在立体误差，其中图像帧包括至少两个不同视角的图像；响应于存在立体误差，检测图像帧中是否存在与立体图像内容具有不同立体几何约束的对象；以及若检测到对象，则针对立体图像内容和对象分别进行处理。进一步地，处理器还可以配置用于执行根据本申请第一方面各实施例描述的方法。

本申请提供的立体图像处理方法，可以自动地在需要进行立体校正时检测与立体图像内容具有不同立体几何约束的对象，例如后期插入对象，从而对这些对象与立体图像内容进行区别处理，纠正可能带来的立体误差，提高三维显示的质量。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了可以应用本申请实施例的立体图像处理方法的一个示例性场景；

图2示出了根据本申请实施例的立体图像处理方法的一个示例性流程图；

图3示出了根据本申请实施例的判断图像帧是否存在立体误差的一个示例性实现的流程图；

图4示出了根据本申请实施例的检测图像帧是否存在立体误差的一个示例性实现的流程图；

图5示出了根据本申请实施例的对立体图像内容和对象分别进行处理的一个示例性实现的流程图；

图6示出了根据本申请实施例的将字幕从图像帧中分割出去的一个示例性实现的流程图；

图7示出了根据本申请实施例的将视频图标从图像帧中分割出去的一个示例性实现的流程图；

图8示出了根据本申请实施例的将图形对象从图像帧中分割出去的一个示例性实现的流程图；以及

图9示出了根据本申请实施例提供的立体图像处理装置的一个实施例的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。本领域技术人员可以理解，立体视频由立体图像帧组成，每帧立体图像包括至少两个视角的图像。在下文的描述中，将以包括两个视角(例如，左视角和右视角)的图像的立体图像帧(此时也可以称为立体图像对)为例来说明根据本申请实施例的立体图像处理方法。

请参考图1，其示出了可以应用本申请实施例的立体图像处理方法的一个示例性场景。

如图1所示，立体图像对包括第一视角图像110和第二视角图像120，其为同一场景在不同视角拍摄而得到的图像。两幅图像的立体内容(例如，真实物体)之间存在立体误差。这些立体误差通常是在立体图像拍摄时，所采用的立体摄像机的两台相机之间的参数调整误差造成的。在理想的立体图像对的情况下，场景中的真实物体在第一视角图像110和第二视角图像120中的图像应该对齐在同一条水平线上。由于含有立体误差，真实物体在第一视角图像110和第二视角图像120中的图像没有对齐在同一条水平线上。具体地，例如，场景中的真实物体在第一视角图像110中的图像为111和112，在第二视角图像120中的图像为121和122。从图1中可以看出，真实物体在第一视角图像110和第二视角图像120中的图像在水平方向上没有对齐，存在立体误差。这些误差会造成立体图像质量下降和观察者的视觉疲劳。当立体图像被用于通过立体匹配的方式来计算场景深度信息时，这些立体误差可能会导致深度信息的计算错误。

在实际应用中，立体图像帧可能在后期编辑时被加入一些物体，例如字幕、视频图标等，这些可以统称为后期插入对象、后期加入对象、后期加入物体等。对于后期加入的物体，它们通常符合标准的立体几何关系，也即在立体图像内容的两幅图像之中通常位于相同的水平位置。在图1所示的例子中，在立体图像对中加入了电视台的标志“TV”和字幕“HelloWorld”。具体地，电视台标志和字幕在第一视角图像110中的图像分别为113和114，在第二视角图像120中的图像分别为123和124。从图1中可以看出，电视台标志和字幕在第一视角图像110和第二视角图像120中的图像在水平方向上对齐，符合标准的立体几何关系。

从图1可以看出，当立体图像内容本身存在立体误差时，后期加入物体和场景中真实三维物体的立体几何关系不同，这导致在后期加入物体区域中和周围图像内容的立体几何关系的非平滑不连续变化。因此，在图1所示的场景中，当基于立体图像对中真实物体的立体图像误差进行校正时，由于后期编辑加入的对象也随之进行了几何变换，使得后期编辑加入的物体引入了新的立体图像误差，导致立体图像质量下降。而且，后期加入的物体通常具有增强图像内容信息的目的，因此具有比较明显的视觉特征。在这些位置出现的立体图像误差对三维图像观看质量的影响比较明显。

为了提高图像质量，改善视觉效果，本申请的实施例提供的立体图像处理方法对具有不同立体几何约束的对象分别进行处理，从而解决了上述问题。该方法不仅可以应用于图1所示的存在后期加入物体的场景，也可以应用于立体图像对中存在具有不同立体几何约束的对象的任何场景。下面结合流程图来描述本申请实施例的立体图像处理方法。

请参考图2，其示出了根据本申请实施例的立体图像处理方法的一个示例性流程图200。

如图2所示，在步骤210中，判断图像帧中的立体图像内容是否存在立体误差。

立体视频可由多个视频段剪辑合成。在一些实施例中，可以按照时间顺序提取并处理立体视频中的图像帧。图像帧包括至少两个不同视角的图像(例如左视角图像和右视角图像)。为了便于描述，下文将以图像帧中包含两个视角的图像为例，来描述本申请的立体图像处理方法。应当理解，本申请所提供的立体图像处理方法可以容易地扩展到包含不止两个视角的图像的立体图像帧的处理。例如，可以针对包含多于两个视角的图像的立体图像帧中的某两个相邻视角图像，应用按照本申请实施例的立体图像处理方法。通过对每两个相邻视角的图像分别应用本申请实施例的立体图像处理方法，可以完成对该图像帧的所有视角的处理。

可以理解，如果图像帧中的立体图像内容不存立体误差，则无需进行后续处理。

接着，在步骤220中，响应于存在立体误差，检测图像帧中是否存在与立体图像内容具有不同立体几何约束的对象。

在本实施例中，如果图像帧中的立体图像内容存在立体误差，则在对该立体误差进行校正之前，需要检测图像帧中是否存在与立体图像内容具有不同立体几何约束的对象，以避免采用统一的校正变换进行立体校正后引入新的立体误差。

然后，在步骤230中，若检测到与立体图像内容具有不同立体几何约束的对象，则针对立体图像内容和该对象分别进行处理。

在本实施例中，检测到的对象与立体图像内容具有不同的立体几何约束，可以对二者进行区别处理。例如，采用校正变换执行对立体图像内容的立体校正，对检测到的对象根据需要进行适当处理。

可以理解，当没有检测到与立体图像内容具有不同立体几何约束的对象时，则无需进行区别处理，可以按照已有的校正方法对立体图像进行校正并输出校正后的结果。

上面描述了本申请实施例提供的立体图像处理方法，其可以自动地在需要进行立体校正时检测与立体图像内容具有不同立体几何约束的对象，从而对这些对象与立体图像内容进行区别处理，纠正可能带来的立体误差，提高三维显示的质量，或保证后继的立体图像匹配方法的计算质量。

进一步参考图3，其示出了图2的方法步骤210的一个示例性实现的流程图300，也即示出了根据本申请实施例的判断图像帧中的立体图像内容是否存在立体误差的一种示例实现。在本实施例中，取决于图像帧是否为视频段的边界帧，采取不同的方式来判断其立体图像内容是否存在立体误差。

如图3所示，在步骤310中，判断图像帧是否为视频段的边界帧。

在实际应用中，视频由多个视频段组成，按照时间先后顺序播放。不同的视频段可能对应于不同的拍摄场景，并且在拍摄的时候使用的立体相机可能不同，因此立体图像对之间的立体几何参数，诸如两台相机之间的内外参数，可能不同。换言之，同一个视频段中的立体图像对通常具有相同的立体几何约束，而不同的立体视频段由于场景的切换或者可能采用不同的立体相机拍摄等原因而具有不同的立体几何约束。因此，对于立体几何误差的估计、校正变换的估计等计算，可以只需要对同一视频段进行一次，例如只针对该视频段的边界帧或靠近边界的少数帧，而不需要对视频段中的每一帧图像都重复执行。利用这样的方法，可以明显减小处理的计算量。进一步地，还可以避免了处理不同时刻图像时噪声引起的处理结果不一致导致的图像跳动，保证视频处理结果的平滑性。因此，在判断图像帧中的立体图像内容是否存在立体误差时，可以首先判断当前处理的图像帧是否为视频段的边界帧，更具体的是否为视频段的起始边界帧。当视频从一个视频段进入到一个新的视频段时，对新的视频段的立体几何误差、校正变化等进行重新估计。

可以采取多种方式来判断图像帧是否为视频段的边界帧。在一些实施例中，判断图像帧是否为视频段的边界帧，可以如下进行：比较当前图像帧与前一图像帧的某种图像特征向量；如果图像特征向量的变化超过预定阈值，则判断当前图像帧为视频段的边界帧。图像特征向量可以通过多种参数来表征。在一些实施例中，图像特征向量可以是图像的颜色分布直方图、梯度变化图、均方误差图等等。在一种可选的实现方式中，可以通过比较相邻两帧图像之间的图像特征向量，得到一个视频图像特征变化分数。例如，可以通过计算两个图像特征向量之间的欧式距离来计算视频图像特征变化分数。当该视频图像特征变化分数超过一定阈值时，则确定检测到了视频段的边界，也即当前帧为边界帧。上述阈值可以按照经验设定，也可以使用统计算法对一定数量的样本视频进行统计分析之后确定。

在另一些实施例中，可以采取其他方式来判断视频段的边界。例如，基于视频头文件中的拍摄日期、拍摄地点等视频性质参数来判断视频段的边界。又例如，通过对摄像机或立体相机焦距等图像拍摄参数进行提取来判断视频段的边界。

如果当前图像帧是视频段的边界帧，则在步骤320中，响应于图像帧是视频段的边界帧，检测图像帧中是否存在立体误差，以及基于检测结果更新视频段的立体误差信息以及立体校正变换。

如果图像帧是视频段的边界帧，例如为一个新的视频段的第一帧，即视频从一个视频段进入到一个新的视频段，则对该新的视频段的立体几何参数进行重新估计。具体地，检测立体图像对中是否存在立体误差，以及基于检测结果根据当前图像帧更新当前视频段的立体误差信息以及立体校正变换。例如，当检测到立体图像对中不存在立体误差时，更新后的立体误差信息可以包括关于不存在立体误差的指示，更新后的立体校正变换可以指示不进行变换或者校正变换为不改变图像的单位变换。又例如，当检测到立体图像对中存在立体误差时，更新后的立体误差信息可以包括立体误差的具体参数，诸如立体图像对的几何变换关系或者立体图像对在三维空间内的平移和旋转参数等，立体误差信息还可以包括关于存在立体误差的指示；更新后的立体校正变换为校正所检测到的立体误差所需要进行的变换。

如果当前图像帧不是视频段的边界帧，则在步骤330中，响应于图像帧是视频段的非边界帧，基于视频段的立体误差信息来判断是否存在立体误差。

由于在处理视频段的边界帧时，检测了边界帧的立体误差情况，并将该边界帧的立体误差作为该视频段的立体误差，对视频段的立体误差信息和立体校正变换进行了相应地更新，因此当处理该视频段的非边界帧时，可以直接利用视频段的立体误差信息来判断是否存在立体误差，而无需再次进行检测和误差估计，从而节省了计算量。这种高效的处理方式可以取得实时处理的效果。

在图3的步骤320中，可以采用多种方式来检测图像帧中是否存在立体误差。图4示出了根据本申请实施例的检测图像帧是否存在立体误差的一个示例性实现的流程图400。在此实现中，检测图像帧中是否存在立体误差可以包括检测图像帧是否存在竖直方向上的视差。换言之，检测相同物体在立体图像对的不同视角的图像上的图像特征是否对齐到相同的水平线上。如果没有对齐到相同的水平线上，在竖直的方向上存在视差，则认为该物体存在立体图像误差。如果图像中包含一定数量的物体都具有立体图像误差，则认为当前处理的立体图像对包含立体图像误差。

如图4所示，在步骤410中，分别从图像帧的不同视角的图像中提取特征点并计算与特征点对应的特征向量。例如，可以提取图像角点作为特征点，并采用尺度不变特征变换(Scale-invariantFeatureTransform，SIFT)算子作为图像特征点的特征向量。然后，在步骤420中，基于特征向量的相似性，对不同视角的图像的特征点进行匹配。例如，根据SIFT算子描述的特征点之间的相似性，在不同视角的图像的特征点之间建立匹配对应关系。之后，在步骤430中，分析匹配的特征点对在竖直方向上的图像坐标距离以判断是否存在误差。在一些实现中，对于匹配得到的特征点集合，可以统计匹配的特征点对在竖直方向上的图像坐标距离，并计算其分布直方图。当直方图最大的峰值位置大于一定阈值(如3个像素)时，可以确定当前处理的立体图像对包含立体图像误差。

也可以采取其他方式来检测图像帧中的立体误差。在一种实施例中，可以估计立体相机的左右两台相机之间的相对运动姿态，根据估计的姿态参数来判断是否存在立体误差。

进一步参考图5，其示出了图2的方法步骤230的一个示例性实现的流程图500，也即示出了根据本申请实施例的对立体图像内容和对象分别进行处理的一种示例实现。

如图5所示，在步骤510中，将与立体图像内容具有不同立体几何约束的对象从图像帧中分割出去。

在本实施例中，可以采用图像分割方法基于图像的灰度、纹理、颜色、梯度等特征将与立体图像内容具有不同立体几何约束的对象从图像帧中提取并分割出去。在一些实施例中，这种具有不同立体几何约束的对象通常是后期编辑/插入的对象或物体。为了描述方便起见，在下文中将这种对象称为后期插入对象。后期插入对象可以包括多种不同的图像特征类型。针对每一种图像特征，可采用不同方法对其进行检测和分割。对于每一个图像帧，分别使用这些方法以处理不同类型的后期插入对象。大体而言，将后期插入对象从图像帧中分割出去可以基于该对象的至少一个如下属性：可预期的形体特征(如字幕对象)、时域上的稳定性(如视频图标对象)、以及符合标准的立体几何关系(如普通的图形图像)。在随后的描述中将结合附图来说明针对不同类型的后期插入对象如何进行检测和分割。

接着，在步骤520中，填补图像帧中由于分割产生的图像空洞。

在本实施例中，将后期插入对象从图像帧中分割出去之后，与后期插入对象对应的像素位置上会产生图像空洞，可以对这些像素位置上的图像信息进行填补。可以采取多种方式或者不同方式的组合来填补图像空洞。在一些实现中，可以根据周围图像的信息，基于以下至少一种方式对图像空洞进行填补。

第一种方式为对于图像空洞中的每个对象像素，使用距离该对象像素最近的立体图像内容中的像素(也即，非图像空洞像素)来填充。例如，对于一个图像空洞像素，在图像上沿着像素的行方向或列方向搜索与其距离最近的立体图像内容像素，将该立体图像内容像素的颜色值或灰度值赋予该图像空洞像素。通过这种方式对图像空洞中的每个像素进行操作，直到空洞被填满。类似地，也可以采用插值方法从图像空洞边缘向空洞中心逐步估算像素值。

第二种方式为按照图像空洞周围的图像纹理特征，对图像空洞进行填补。这种方法尤其适合于占据较大图像面积的图像空洞区域。具体地，可以首先对空洞区域周围的图像区域中的图像纹理特征进行提取。这些纹理特征例如可能包括具有线性形状图像的方向特征、重复纹理的频率特征等等。然后，按照与其相同的纹理特征，合成图像以对图像空洞进行填充。

第三种方式可以是按照图像空洞周围的物体类别信息推理图像内容信息，以对图像空洞进行填充。例如，可以采用图像滤波方法对图像空洞周围的物体类别进行纹理特征提取并识别，然后利用物理类别信息推理或估计图像内容信息，以对图像空洞进行填补。

第四种方式可以是利用图像帧的不同视角的图像之间的互补信息，对图像空洞进行填充。例如，后期插入对象在不同视角的图像(例如第一视角图像和第二视角图像)中通常具有一定的视差。在立体图像对中的第一视角图像中被后期插入对象遮挡的物体，在立体图像对中的第二视角图像中可能没有被后期插入对象遮挡。在这种情况下，可以使用在第二视角图像中没有被遮挡的物体图像，对第一视角图像中被遮挡的图像空洞进行填充。反之，与此相应地，也可以使用在第一视角图像中没有被遮挡的物体图像，对第二视角图像中被遮挡的图像空洞进行填充。

然后，在步骤530中，对填补后的图像帧执行立体校正。

对于包含后期插入对象的立体图像对，进行后期插入对象去除和填补后，其立体图像内容基本上具有一致的立体几何约束关系，可以采用当前视频段的立体校正变换对其进行校正。可以采用本领域已知或者未来开发的任何立体校正方式对图像帧执行立体校正，本申请在此方面没有限制。

在一些实施例中，方法可选地还包括确定是否将分割出去的对象重新插入校正后的图像帧中，例如，可以根据立体图像内容或用户输入的指令来确定。若确定不重新插入对象，则方法可以就此结束，直接输出步骤530处理后得到的立体图像对。

另一方面，针对经过立体校正后的立体图像对，为恢复原视频内容，可以考虑重新加入分割出来的后期插入对象。例如用户输入指令以命令重新插入对象。在将后期插入对象重新加入校正后的立体图像对之前，可选地，在步骤540中，对这些后期插入对象进行一些处理。例如，对三维场景进行分析，据此对后期插入对象进行一定的变换以调整其大小、深度和/或位置。一些示例性的实现方式可以包括但不限于：根据对立体图像内容的视差分析，调整该对象的大小、位置和/或深度；根据显示立体图像的设备的配置，调整该对象的大小、位置和/或深度；以及根据立体图像内容，调整该对象的大小和/或位置以避开和图像内容的类型或深度有关的特定区域。具体地，在一种实现中，通过对立体图像对的视差分析，可以得出场景中最靠近观众的物体的深度，由此调整诸如字幕之类的后期插入对象的深度范围，使其位于所有物体的最前方。在另一种实现中，三维显示器具有一定的舒适观看深度范围，当显示物体的深度超出这个范围时会对用户观看体验造成损害。在这种实现中，可以根据三维显示器的舒适观看深度范围，调整诸如图标、字幕等的后期插入对象的深度，使其不超出这个范围。在又一种实现中，可以对图像中观众感兴趣的区域进行分析，当后期插入对象对这些区域产生遮挡时，对后期插入对象的大小和/或位置进行调整，避开这些感兴趣区域，将其移动到非感兴趣区域。例如，变化字幕的插入位置以避免字幕对图像中感兴趣物体的遮挡。可以理解，步骤540可以在步骤510之后、步骤550之前的任何时间执行，也可以与步骤520、530同时执行，本申请在此方面没有限制。

最后，在步骤550中，将分割出去的对象插入校正后的图像中。当未执行步骤540时，不对后期插入对象进行任何处理，直接将它们加入到原来的位置。

如前面所提到的，后期插入对象可以包括多种不同的图像特征类型。针对每一种图像特征，可采用不同方法对其进行检测和分割。下面将结合附图来说明针对不同类型的后期插入对象如何进行检测和分割。

在一些实施例中，后期插入对象具有可预期的形体特征，例如字幕，字幕的形体特征为文字笔画特征。以下以字幕为例描述具有可预期形体特征一类的后期插入对象的分割方法。参考图6，其示出了根据本申请实施例的将字幕从图像帧中分割出去的一个示例性实现的流程图600。

如图6所示，在步骤610中，从图像帧的不同视角的图像中分别检测文字笔画特征。然后，在步骤620中，提取包含文字笔画特征的字幕框。在一种可选的实现方式中，可以对检测到的文字笔画特征向图像的水平和垂直方向分别进行投影分析，通过检测超过一定阈值的峰值区域，来提取包含文字笔画特征的字幕框。之后，在步骤650中，在字幕框中，根据文字属性(例如颜色)分割出文字像素。最后，在步骤660中，将文字像素从图像帧中分割出去，也即分割出字幕对象。在一些实现中，可以根据字幕框中的颜色分布直方图提取文字的颜色，然后根据文字的颜色对文字像素进行分割，将分割的结果作为字幕分割结果输出。

可选地，在步骤650之前，还包括步骤630，通过匹配不同视角的图像的字幕框以确定字幕深度以及步骤640，根据字幕深度去除误检测的字幕框。在一些实现中，可通过匹配不同视角的图像中检测到的字幕框，对字幕深度进行分析。由于字幕一般出现在场景的最前方，因此可以去除深度不位于场景前方的误检测的字幕框。

在另一些实施例中，后期插入对象具有时域上的稳定性，例如视频图标。视频图标通常是为了辅助或增强视频内容而加入的图形，诸如电视台的标志，视频版权信息等。这种类型的后期插入对象的特点是具有时域上的稳定性，即以稳定的或具有周期性变化的图像特征出现在画面中的固定位置。因此，可以利用视频中时域上的变化检测，对视频图标类的后期插入对象进行分割和建模，然后对其进行检测。

以下以视频图标为例描述具有时域上的稳定性一类的后期插入对象的分割方法。进一步参考图7，其示出了根据本申请实施例的将视频图标从图像帧中分割出去的一个示例性实现的流程图700。

如图7所示，在步骤710中，利用预先建立的视频图标的模板图像对图像帧的不同视角的图像分别进行匹配。之后，在步骤720中，将所匹配的区域作为视频图标分割出去。例如，可以计算互相关函数，提取互相关函数的峰值位置作为视频图标的检测结果。

在一些实施例中，视频图标的模板图像可以通过如下离线处理方式建立：首先初始化图标图像；然后按照时间顺序读取输入视频的每一帧图像并根据相邻两帧之间的像素颜色差异更新图标图像；最后将收敛得到的图标图像作为视频图标的模板图像。

具体地，可以首先建立并初始化一个图标图像，该图标图像的每个像素可以是取值范围在0～1之间的浮点数，代表该像素属于图标区域的可能性。当像素值趋近于1时，代表该像素可能属于图标区域。然后，按照时间顺序读取输入视频的每一帧图像，根据相邻两帧之间的像素颜色差异更新图标图像。例如，可以采用相邻两帧图像之间的颜色插值的指数函数作为一个乘数因子来更新图标图像。具有颜色变化值的不属于图标的像素逐渐趋近于0，而属于图标的像素逐渐趋近于1。当经过多次这种更新，图标像素的值收敛时，例如，两次更新之间的变化小于预定阈值时，输出图标图像，将其中趋近于1的像素区域提取作为视频图标的模板图像。

在一些其他实现中，还可以采用例如canny算子等边缘检测方法将视频图标从图像帧中检测并分割出来。

在又一些实施例中，后期插入对象是普通的图形对象，其既不像字幕具有典型的图像特征，也不像视频图标具有典型的时域特征。此时，考虑到后期插入对象通常都是根据标准的立体几何关系加入的，因此可以在不同视角图像的相同水平线上找到高质量的匹配区域。

以下描述不具有典型特征而是符合标准立体几何关系的这类后期插入对象的分割方法。进一步参考图8，其示出了根据本申请实施例的将图形对象从图像帧中分割出去的一个示例性实现的流程图800。

如图8所示，在步骤810中，将图像帧的不同视角的图像中的任一图像(例如，第一视角图像)分割为多个图像区域。在一些实现中，可以采用均值漂移、阈值分割、边缘检测等方法对图像进行分割。接着，在步骤820中，针对每个图像区域，在图像帧的不同视角的图像中的另一图像(例如，第二视角图像)中相同水平线上的每个位置进行匹配。例如，可以计算该图像区域在上述每个位置的匹配分数或匹配度量，从而找到一个最优匹配分数或匹配度量，该匹配分数或匹配度量反映了当前处理的第一视角图像中分割得到的图像区域在第二视角图像中的相同水平线上的某个位置上，和具有相同形状的图像区域的图像特征的相似程度或差异程度。具有最优匹配度量的图像区域，也即相似程度最高或差异程度最低的图像区域，可能是后期插入对象。在一种实现中，可以统计两个图像区域中相同位置处像素颜色的归一化均方误差等表征图像特征的数值作为匹配分数，也即计算两个图像区域的差异程度。归一化的目的是为了去除图像区域大小和图像平均亮度的影响。然后，在步骤830中，根据匹配结果确定图形对象并将其分割出去。在一种实现中，根据最优匹配分数或最优匹配度量(例如，最大相似程度或最小差异程度)的大小是否满足预设条件，来确定该区域是否为图形对象区域，也即后期插入对象。对于非后期插入对象的区域，由于立体图像对包含立体几何误差，因此它对应的图像区域不是严格地位于相同的水平线上，因此沿相同水平线计算得到的匹配分数的数值会区别于后期插入对象区域的匹配分数。例如，当匹配度量表示相似程度时，若最大相似程度超过第一阈值，则可以确定该图像区域是后期插入对象；当匹配度量表示差异程度时，若最小差异程度低于第二阈值，则可以确定该图像区域是后期插入对象。第一阈值和第二阈值可以根据经验或实验而预先设置。继而，可以将所确定的后期插入的图形对象从图像帧中分割出去。

本领域技术人员可以理解，由于图8的方法基于后期插入对象具有标准的立体几何约束这一原理，其同样也适合于检测和分割字幕和视频图标类的后期插入对象。

上述实施例中以图像帧中包含两个视角的图像的立体图像对为例描述了本申请提供的立体图像处理方法，当图像帧包括超过两个视角的图像时，可以针对每两个相邻视角的图像分别执行上述方法流程，以实现所有立体图像对的立体校正。

从上述描述可知，本申请提供的立体图像处理方法，可以自动地在需要进行立体校正时检测与立体图像内容具有不同立体几何约束的对象，例如后期插入对象，从而对这些对象与立体图像内容进行区别处理，纠正可能带来的立体误差，提高三维显示的质量。在一些实施例中，通过对视频段边界帧进行检测，可以大大地减少计算量，提高计算效率，从而取得实时处理的效果，可以实时地处理输入的立体视频信息。在另一些实施例中，可以检测在后期编辑时插入到立体图像内容中的物体图像，并且对这些物体图像做特殊处理，保证在立体校正中，这些物体图像仍然具有正确的立体显示效果。本申请的实施例可以用于多种立体显示设备，包括不同尺寸的立体显示器，基于立体眼镜或者裸眼显示的立体显示器。

应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

进一步参考图9，其示出了根据本申请实施例提出的立体图像处理装置的一个实施例的结构示意图。

如图9所示，立体图像处理装置900包括：立体误差判断单元910，配置用于判断图像帧中的立体图像内容是否存在立体误差，其中图像帧包括至少两个不同视角的图像；对象检测单元920，配置用于响应于存在立体误差，检测图像帧中是否存在与立体图像内容具有不同立体几何约束的对象；以及校正单元930，配置用于若检测到上述对象，则针对立体图像内容和上述对象分别进行处理。

在一些实现中，立体误差判断单元910可以包括：边界帧判断单元911，配置用于判断图像帧是否为视频段的边界帧；第一处理单元912，配置用于响应于图像帧是视频段的边界帧，检测图像帧中是否存在立体误差，以及基于检测结果更新视频段的立体误差信息和立体校正变换；以及第二处理单元913，配置用于响应于图像帧是视频段的非边界帧，基于视频段的立体误差信息判断是否存在立体误差。

在一些实现中，校正单元930可以包括：分割单元931，配置用于将与立体图像内容具有不同立体几何约束的对象从图像帧中分割出去；填补单元932，配置用于填补图像帧中由于分割产生的图像空洞；立体校正单元933，配置用于对填补后的图像帧执行立体校正；以及插入单元935，配置用于将对象插入校正后的图像帧中。可选或附加地，校正单元930还可以包括调整单元934，配置用于调整上述对象的大小、深度和/或位置。

在一些实现中，分割单元931可以包括各种分割器(未示出)，用于分割不同类型的后期插入对象。例如，字幕分割器用于分割字幕对象，视频图标分割器用于分割视频图标，图形对象分割器用于分割普通的图形对象。

应当理解，包含在立体图像处理装置900中的各单元和子单元被配置用于实践本文公开的示例性实施例。因此，上面结合图2至图8描述的操作和特征也适用于立体图像处理装置900及其中的单元/子单元，在此省略其详细描述。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括立体误差判断单元、对象检测单元以及校正单元。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，立体误差判断单元还可以被描述为“用于判断图像帧中的立体图像内容是否存在立体误差的单元”。

本申请实施例提供的立体图像处理方法可以用于多种立体显示设备，包括不同尺寸的立体显示器，例如手机、电视、大屏幕公共显示器等，以及基于立体眼镜或者裸眼显示的立体显示器。因此，本申请另一方面还提供了一种立体视频显示设备，该设备包括显示器和处理器。处理器负责立体视频显示设备的整体操作，并且可以利用任何商业可得CPU(“中央处理单元”)、DSP(“数字信号处理器”)或任何其他电子可编程逻辑器件实现。处理器可以访问关联的电子存储器，诸如RAM存储器、ROM存储器、EEPROM存储器、闪存或其任何组合。显示器配置用于显示立体图像或播放立体视频。

在一些实施例中，显示器和处理器可以配置用于一起实践本申请各实施例提供的用于处理立体图像的方法。处理器配置用于在显示器播放立体视频之前或期间对输入的立体视频进行处理。显示器配置用于显示立体图像或播放立体视频。更具体地，处理器配置用于对立体视频的图像帧进行如下处理：判断图像帧中的立体图像内容是否存在立体误差，其中图像帧包括至少两个不同视角的图像；响应于存在立体误差，检测图像帧中是否存在与立体图像内容具有不同立体几何约束的对象；以及若检测到对象，则针对立体图像内容和对象分别进行处理。本领域技术人员可以理解，立体视频显示设备还可以包括其他硬件结构，诸如视频编解码器、通信电路等。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的立体图像处理方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (20)

1.一种立体图像处理方法，包括：

判断图像帧中的立体图像内容是否存在立体误差，其中所述图像帧包括至少两个不同视角的图像；

响应于存在立体误差，检测所述图像帧中是否存在与所述立体图像内容具有不同立体几何约束的对象；以及

若检测到所述对象，则针对所述立体图像内容和所述对象分别进行处理。

2.根据权利要求1所述的方法，其中，针对所述立体图像内容和所述对象分别进行处理，包括：

将所述对象从所述图像帧中分割出去；

填补所述图像帧中由于所述分割产生的图像空洞；以及

对填补后的图像帧执行立体校正。

3.根据权利要求2所述的方法，其中，所述对象为所述图像帧中的后期插入对象，并且将所述对象从所述图像帧中分割出去基于所述对象的至少一个如下属性：可预期的形体特征、时域上的稳定性、以及符合标准的立体几何关系。

4.根据权利要求2或3所述的方法，其中，所述对象是后期插入的字幕，将所述对象从所述图像帧中分割出去，包括：

从所述图像帧的不同视角的图像中分别检测文字笔画特征；

提取包含所述文字笔画特征的字幕框；

在所述字幕框中，根据文字颜色分割出文字像素；以及

将所述文字像素从所述图像帧中分割出去。

5.根据权利要求4所述的方法，其中，在根据文字颜色分割出文字像素之前，还包括：

通过匹配所述不同视角的图像的字幕框确定字幕深度；以及

根据字幕深度去除误检测的字幕框。

6.根据权利要求2或3所述的方法，其中，所述对象是后期插入的视频图标，将所述对象从所述图像帧中分割出去，包括：

利用预先建立的视频图标的模板图像对所述图像帧的不同视角的图像分别进行匹配；以及

将所匹配的区域作为所述视频图标从所述图像帧中分割出去。

7.根据权利要求6所述的方法，其中，所述视频图标的模板图像通过如下离线处理方式来建立：

初始化图标图像；

按照时间顺序读取输入视频的每一帧图像并根据相邻两帧之间的像素颜色差异更新图标图像；以及

将收敛得到的图标图像作为所述视频图标的模板图像。

8.根据权利要求2或3所述的方法，其中，所述对象是后期插入的图形对象，将所述对象从所述图像帧中分割出去，包括：

将所述图像帧的不同视角的图像中的任一图像分割为多个图像区域；

针对每个图像区域，在所述图像帧的不同视角的图像中的另一图像中相同水平线上的每个位置进行匹配；以及

根据匹配结果确定所述图形对象并将其分割出去。

9.根据权利要求8所述的方法，其中，针对每个图像区域进行匹配包括：

计算所述图像区域在所述每个位置的匹配度量,从中找到一个最优匹配度量；并且

所述根据匹配结果确定所述图形对象并将其分割出去，包括：

判断所述最优匹配度量是否满足预设条件；

响应于所述最优匹配度量满足预设条件，确定所述图像区域为后期插入的图形对象；以及

将所述图形对象从所述图像帧中分割出去。

10.根据权利要求2所述的方法，其中，填补所述图像帧中由于所述分割产生的图像空洞，包括根据周围图像的信息，基于以下至少一种方式对所述图像空洞进行填充：

对于所述图像空洞中的每个对象像素，使用距离所述对象像素最近的立体图像内容中的像素来填充；

按照所述图像空洞周围的图像纹理特征，对所述图像空洞进行填充；

根据所述图像空洞周围的物体类别信息推理图像内容信息，以对所述图像空洞进行填充；以及

利用所述图像帧的不同视角的图像之间的互补信息，对所述图像空洞进行填充。

11.根据权利要求1所述的方法，其中，判断图像帧中的立体图像内容是否存在立体误差，包括：

判断所述图像帧是否为视频段的边界帧；

响应于所述图像帧是所述视频段的边界帧，检测所述图像帧中是否存在立体误差，以及基于检测结果更新所述视频段的立体误差信息以及立体校正变换；以及

响应于所述图像帧是所述视频段的非边界帧，基于所述视频段的立体误差信息来判断是否存在立体误差。

12.根据权利要求11所述的方法，其中，判断所述图像帧是否为视频段的边界帧，包括：

比较当前图像帧与前一图像帧的图像特征向量；以及

若图像特征向量的变化超过预定阈值，则判断当前图像帧为视频段的边界帧。

13.根据权利要求11所述的方法，其中，检测所述图像帧中是否存在立体误差包括：检测所述图像帧是否存在竖直方向上的视差。

14.根据权利要求13所述的方法，其中，检测所述图像帧是否存在竖直方向上的视差包括：

从所述图像帧的不同视角的图像中提取特征点并计算与特征点对应的特征向量；

基于所述特征向量的相似性，对所述不同视角的图像的所述特征点进行匹配；以及

分析匹配的特征点对在竖直方向上的图像坐标距离以判断是否存在视差。

15.根据权利要求2所述的方法，其中，所述方法还包括：

根据立体图像内容或用户指令，确定是否将所述对象重新插入校正后的图像帧中；以及

响应于确定重新插入，将所述对象插入校正后的图像帧中。

16.根据权利要求15所述的方法，其中，在将所述对象插入校正后的图像帧中之前，还包括对所述对象进行以下至少一项处理：

根据对立体图像内容的视差分析，调整所述对象的大小、位置和/或深度；

根据显示立体图像的设备的配置，调整所述对象的大小、位置和/或深度；以及

根据立体图像内容，调整所述对象的大小和/或位置以避开和图像内容的类型或深度有关的特定区域。

17.根据权利要求1-16任一所述的方法，其中，当所述图像帧包括超过两个视角的图像时，针对每两个相邻视角的图像分别执行所述方法。

18.一种立体图像处理装置，包括：

立体误差判断单元，配置用于判断图像帧中的立体图像内容是否存在立体误差，其中所述图像帧包括至少两个不同视角的图像；

对象检测单元，配置用于响应于存在立体误差，检测所述图像帧中是否存在与所述立体图像内容具有不同立体几何约束的对象；以及

校正单元，配置用于若检测到所述对象，则针对所述立体图像内容和所述对象分别进行处理。

19.一种立体视频显示设备，包括显示器和处理器，所述显示器配置用于播放立体视频，并且所述处理器配置用于在所述显示器播放所述立体视频之前或期间对输入的立体视频进行处理，其特征在于，

所述处理器配置用于对立体视频的图像帧进行如下处理：

判断图像帧中的立体图像内容是否存在立体误差，其中所述图像帧包括至少两个不同视角的图像；

响应于存在立体误差，检测所述图像帧中是否存在与所述立体图像内容具有不同立体几何约束的对象；以及

若检测到所述对象，则针对所述立体图像内容和所述对象分别进行处理。

20.根据权利要求19所述的立体视频显示设备，其特征在于，所述处理器进一步配置用于执行根据权利要求2-17任一所述的方法。