CN103458246B

CN103458246B - 视频运动分割中的遮挡处理方法及系统

Info

Publication number: CN103458246B
Application number: CN201310394009.0A
Authority: CN
Inventors: 戴琼海; 徐枫
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2013-09-03
Filing date: 2013-09-03
Publication date: 2016-08-17
Anticipated expiration: 2033-09-03
Also published as: CN103458246A

Abstract

本发明提出一种视频运动分割中的遮挡处理方法及系统，其中方法包括以下步骤：接收视频帧，并对视频帧进行分割，以获得多个分割块；从多个分割块提取亮度值并进行统计，以得到三个直方图；根据三个直方图计算每个遮挡分割块与每个非遮挡分割块之间的距离，使得每个遮挡分割块得到多个距离信息；从多个距离信息中选择距离最短的距离信息对应的非遮挡分割块；以及将距离最短的距离信息对应的非遮挡分割块的运动层分配给距离最短的距离信息对应的遮挡分割块，以实现遮挡分割块的运动层分配。根据本发明实施例的方法，解决了视频运动分割中无法对遮挡像素进行运动层分配的问题，同时能够处理帧间运动较大和遮挡像素较多情况下视频运动的分割。

Description

视频运动分割中的遮挡处理方法及系统

技术领域

本发明涉及视频处理技术领域，特别涉及一种视频运动分割中的遮挡处理方法及系统。

背景技术

视频运动分割是计算机视觉领域的一个重要且基础的问题。它在很多其他视频相关技术领域都有广泛的应用，例如基于对象的视频编码、基于分割的立体视频生成、物体识别，图像检索等。正是由于视频分割对众多视频相关技术有着至关重要的作用，视频运动分割技术的研究具有极高的科研和应用价值。

视频运动分割技术处理的对象是一段视频序列，即两个或多个连续的视频帧。其目标是将每一个视频帧分割成若干区域或者说若干运动层，使得每个运动层中包含的像素具有一致或相似的运动。如果把不同的运动层用不同的运动标签表示，视频运动分割的目标可以描述为给视频帧中每一个像素分配一个合适的运动标签，相同运动标签的像素具有一致或相似的运动标签的像素具有不同的运动。

由于视频运动分割的依据是像素的运动，因此像素在两帧或多帧中的运动对分割至关重要。对于场景中的某一个点，如果它在两帧或多帧中都有投影像素与之对应，则这些像素在图像坐标中的位置决定了它们的运动，这样的像素在视频中有确定的运动信息，我们称之为非遮挡像素。然而，有些场景中的点只能在某些视频帧中投影，在其他视频帧中由于遮挡等原因无法投影，因此有些像素在其他帧中无法找到对应的像素，因而在视频中没有确定的运动信息可以提取，我们称这样的像素为遮挡像素。特别地，对于利用相邻两帧视频进行运动分割的情况，如果像素只在其中一帧中出现，我们称之为遮挡像素；如果两帧都出现，则为非遮挡像素。

尽管遮挡像素在视频中无法提取运动信息，但它仍然对应场景中的某一点，该点有确定的运动，在运动分割中应当被分到某一运动层。而在现有的运动分割方法中，由于这种像素难以提取运动信息，因此对他们的运动分割难以进行。现有方法中较好的一类考虑到遮挡像素的存在，在运动分割时只将非遮挡像素分配到相应的运动层，而对于遮挡像素，能将它们检测出来，但对它们无法进行运动分割。因此在最终的结果中，遮挡像素都没有运动标签。

发明内容

本发明的目的旨在至少解决上述的技术缺陷之一。

为此，本发明的一个目的在于提出一种开放领域新词发现的方法。

本发明的另一目的在于提出一种开放领域新词发现的系统。

为达到上述目的，本发明一方面的实施例提出一种视频运动分割中的遮挡处理方法，包括以下步骤：接收视频帧，并对所述视频帧进行分割，以获得多个分割块，其中，所述视频帧包括遮挡区域和非遮挡区域；从所述多个分割块提取亮度值并进行统计，以得到三个直方图；根据所述三个直方图计算每个遮挡分割块与每个非遮挡分割块之间的距离，使得所述每个遮挡分割块得到多个距离信息；从所述多个距离信息中选择距离最短的距离信息对应的非遮挡分割块；以及将所述距离最短的距离信息对应的非遮挡分割块的运动层分配给所述距离最短的距离信息对应的遮挡分割块，以实现所述遮挡分割块的运动层分配。

根据本发明实施例的方法，解决了视频运动分割中无法对遮挡像素进行运动层分配的问题，同时能够处理帧间运动较大和遮挡像素较多情况下视频运动的分割。

在本发明的一个实施例中，所述三个直方图包括亮度直方图、x方向的亮度梯度直方图和y方向的亮度梯度直方图。

在本发明的一个实施例中，所述接收视频帧，并对所述视频帧进行分割，以获得多个分割块，具体包括：根据所述遮挡区域中相邻两个像素的亮度大小设置所述遮挡区域相邻像素间相似度；根据所述非遮挡区域的运动层设置所述非遮挡区域的相邻像素间相似度；以及根据所述遮挡区域相邻像素间相似度和所述非遮挡区域的相邻像素间相似度对所述视频帧进行分割，以得到所述多个分割块。

在本发明的一个实施例中，所述遮挡区域中相邻两个像素的亮度大小越接近，则所述遮挡区域相邻像素间相似度越高。

在本发明的一个实施例中，所述从所述多个分割块提取亮度信息并进行统计，以得到三个直方图，具体包括：从所述多个分割块提取亮度值；根据所述亮度值计算得到x和y方向的亮度梯度；以及根据所述亮度值和所述x和y方向的亮度梯度得到所述三个直方图。

为达到上述目的，本发明的实施例另一方面提出一种视频运动分割中的遮挡处理系统，包括：分割模块，用于接收视频帧，并对所述视频帧进行分割，以获得多个分割块，其中，所述视频帧包括遮挡区域和非遮挡区域；生成模块，用于从所述多个分割块提取亮度值并进行统计，以得到三个直方图；计算模块，用于根据所述三个直方图计算每个遮挡分割块与每个非遮挡分割块之间的距离，使得所述每个遮挡分割块得到多个距离信息；选择模块，用于从所述多个距离信息中选择距离最短的距离信息对应的非遮挡分割块；以及分配模块，用于将所述距离最短的距离信息对应的非遮挡分割块的运动层分配给所述距离最短的距离信息对应的遮挡分割块，以实现所述遮挡分割块的运动层分配。

根据本发明实施例的系统，解决了视频运动分割中无法对遮挡像素进行运动层分配的问题，同时能够处理帧间运动较大和遮挡像素较多情况下视频运动的分割。

在本发明的一个实施例中，所述分割模块具体包括：第一设置单元，用于根据所述遮挡区域中相邻两个像素的亮度大小设置所述遮挡区域相邻像素间相似度；第二设置单元，用于根据所述非遮挡区域的运动层设置所述非遮挡区域的相邻像素间相似度；以及分割单元，用于根据所述遮挡区域相邻像素间相似度和所述非遮挡区域的相邻像素间相似度对所述视频帧进行分割，以得到所述多个分割块。

在本发明的一个实施例中，所述遮挡区域中相邻两个像素的亮度大小越接近，则所述第一设置单元设置所述遮挡区域相邻像素间相似度越高。

在本发明的一个实施例中，所述生成模块具体包括：提取单元，用于从所述多个分割块提取亮度值；计算单元，用于根据所述亮度值计算得到x和y方向的亮度梯度；以及获取单元，用于根据所述亮度值和所述x和y方向的亮度梯度得到所述三个直方图。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的视频运动分割中的遮挡处理方法的流程图；以及

图2为根据本发明一个实施例的视频运动分割中的遮挡处理系统的结构框图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

图1为根据本发明一个实施例的视频运动分割中的遮挡处理方法的流程图。如图1所示，根据本发明实施例的视频运动分割中的遮挡处理方法包括以下步骤：

步骤101，接收视频帧，并对视频帧进行分割，以获得多个分割块，其中，视频帧包括遮挡区域和非遮挡区域。

具体地，根据遮挡区域中相邻两个像素的亮度大小设置遮挡区域相邻像素间相似度。然后，根据非遮挡区域的运动层设置非遮挡区域的相邻像素间相似度。之后，根据遮挡区域相邻像素间相似度和非遮挡区域的相邻像素间相似度对视频帧进行分割，以得到多个分割块。其中，遮挡区域中相邻两个像素的亮度大小越接近，则遮挡区域相邻像素间相似度越高。

在本发明的一个实施例中，图像分割方法，其输入是待分割图像所有相邻像素间的相似度(相似度可量化至0到1的区间)。输入相似度之后，将建立图模型，并自动得到图像分割结果。该结果中，像素间相似度越大，则它们被分到相同层的可能性越大。若相邻像素相似度为1，则它们必将被分到相同的层中；若相似度为0，则它们必将被分到不同的层中。

在本发明的一个实施例中，相邻两遮挡像素以亮度的接近程度定义相似度，亮度越接近相似度越大；相邻两非遮挡像素根据所在运动层是否相同定义相似度，相同则相似度取最大值，否则取最小值；遮挡像素与非遮挡像素的相似度取最小值。

在本发明的一个实施例中，利用相邻像素的相似度，实现对整个图像的分割，相似度较大的像素有较大可能被分到同一运动层，相似度取最小值的两像素不可能被分到相同层，反之则必然分到相同层。

例如，对于A，B两帧视频已经进行了初步的运动分割，所有的非遮挡像素都分配了一个运动标签(1，2……)，表示其属于相应的运动层，而遮挡像素没有运动标签。

根据遮挡像素的亮度信息和非遮挡像素的运动标签对A，B两帧进行分割。

首先定义任意相邻像素(以a，b表示)的相似度，其过程如下：

若两像素均为遮挡像素，则根据其亮度的差别定义相似度。像素亮度的取值区间为[0，255]，a像素的亮度为Ia，b像素的亮度为Ib，则相度定义为EXP(-|Ia-Ib|/255)。

若两像素均为非遮挡像素，则根据对应的运动标签定义相似度。若运动标签相同，则相似度为1，不同则为0。

若两个像素中一个为遮挡像素另一个为非遮挡像素，则相似度置为0。

完成所有相邻相似度定义之后，使用基于相似度的图模型分割方法，直接得到分割结果，即多个分割块。分割后，图像由很多个分割块组成，由于遮挡像素与非遮挡像素之间相似度为0。因此遮挡像素与非遮挡像素必然被分到不同块中，所以分割产生的块严格的分为两种：一种是全部由遮挡像素组成的遮挡块，另一种是全部由非遮挡像素组成的非遮挡块。同时，由于不同运动标签的非遮挡像素之间的相似度也为0，所以每个非遮挡块中的像素必然全部来自相同的运动层，该运动层的标签也将作为该非遮挡块的标签。

步骤102，从多个分割块提取亮度值并进行统计，以得到三个直方图。三个直方图包括亮度直方图、x方向的亮度梯度直方图和y方向的亮度梯度直方图。

具体地，多个分割块提取亮度值。然后，根据亮度值计算得到x和y方向的亮度梯度。之后，根据亮度值和x和y方向的亮度梯度得到三个直方图。

对视频帧A，B而言，提取A，B帧中所有分割块的亮度和亮度梯度的统计信息，对每个分割块统计得到三个直方图，其过程如下为：

首先，提取A，B两帧所有像素的亮度值，并计算视频帧A，B在x方向亮度梯度值和y方向亮度梯度值。

以任一一个块S为例，将亮度取值范围[0,255]量化为10个无重叠且等值的区间，计算S中所有N个像素落在所有区间上的次数。假设对于区间n(由于有10个区间，n取1到10)，有Nn个像素落在其上，则该区间的概率为Nn/N。最终得到的块S的亮度直方图I^S可表示为(N1/N,N2/N，……N10/N)。同理，可将x方向梯度和y方向梯度(取值范围为[-255，255])量化为10个无重叠且等值的区间，统计得到块S的x方向梯度直方图Gx^S和y方向梯度直方图Gy^S。

步骤103，根据三个直方图计算每个遮挡分割块与每个非遮挡分割块之间的距离，使得每个遮挡分割块得到多个距离信息。

在本发明的一个实施例中，EMD，即泥土搬运距离，可有效的度量两个概率分布或两个统计直方图的距离。EMD已被广泛应用于图像视频检索中，用于图像之间的相似度比较。在本发明中，由于分割块的亮度和亮度梯度直方图已提前获得，应用EMD对直方图距离的度量，可直接得到每个遮挡分割块与每个非遮挡分割块之间的距离度量。

在本发明的一个实施例中，使用直方图距离度量方法，计算得到每个非遮挡块与每个遮挡块的距离D。对与块S和块T而言，其距离通过如下公式表示，

D(S，T)＝EMD(I^S，I^T)+αEMD(Gx^S，Gx^T)+βEMD(Gy^S，Gy^T)，

其中，EMD(I^S，I^T)为直方图I^S和I^T的泥土搬运距离，EMD(Gx^S，Gx^T)为直方图Gx^S和Gx^T的泥土搬运距离，EMD(Gy^S，Gy^T)为直方图Gy^S和Gy^T的泥土搬运距离，α和β决定了基于亮度，x方向亮度梯度和y方向亮度梯度的三个泥土搬运距离对总的距离的影响权重，α的取值范围是0.2-0.9，β的取值范围是0.2-0.9。

步骤104，从多个距离信息中选择距离最短的距离信息对应的非遮挡分割块。

步骤105，将距离最短的距离信息对应的非遮挡分割块的运动层分配给距离最短的距离信息对应的遮挡分割块，以实现遮挡分割块的运动层分配。

图2为根据本发明一个实施例的视频运动分割中的遮挡处理系统的结构框图。如图1所示，根据本发明实施例的视频运动分割中的遮挡处理系统包括分割模块100、生成模块200、计算模块300、选择模块400和分配模块500。

分割模块100用于接收视频帧，并对视频帧进行分割，以获得多个分割块，其中，视频帧包括遮挡区域和非遮挡区域。

在本发明的一个实施例中，分割模块100包括第一设置单元110、第二设置单元120和分割单元130。

第一设置单元110用于根据遮挡区域中相邻两个像素的亮度大小设置遮挡区域相邻像素间相似度。遮挡区域中相邻两个像素的亮度大小越接近，则第一设置单元设置遮挡区域相邻像素间相似度越高。

第二设置单元120用于根据非遮挡区域的运动层设置非遮挡区域的相邻像素间相似度.

分割单元130用于根据遮挡区域相邻像素间相似度和非遮挡区域的相邻像素间相似度对视频帧进行分割，以得到多个分割块。

生成模块200用于从多个分割块提取亮度值并进行统计，以得到三个直方图。三个直方图包括亮度直方图、x方向的亮度梯度直方图和y方向的亮度梯度直方图。

在本发明的一个实施例中，生成模块200包括：提取单元210、计算单元220和获取单元230。

提取单元210用于从多个分割块提取亮度值。

计算单元220用于根据亮度值计算得到x和y方向的亮度梯度。

获取单元230用于根据亮度值和x和y方向的亮度梯度得到三个直方图。

计算模块300用于根据三个直方图计算每个遮挡分割块与每个非遮挡分割块之间的距离，使得每个遮挡分割块得到多个距离信息。

选择模块400用于从多个距离信息中选择距离最短的距离信息对应的非遮挡分割块。

分配模块500用于将距离最短的距离信息对应的非遮挡分割块的运动层分配给距离最短的距离信息对应的遮挡分割块，以实现遮挡分割块的运动层分配。

下面举例对本方法进行详细说明，可以理解的是，下述说明仅出于示例目的，根据本发明的实施例不限于此。

系统事先对A，B两帧视频已经进行了初步的运动分割，所有的非遮挡像素都分配了一个运动标签(1，2……)，表示其属于相应的运动层，而遮挡像素没有运动标签。

分割模块100根据遮挡像素的亮度信息和非遮挡像素的运动标签对A，B两帧进行分割。

执行分割前，需定义任意相邻像素(以a，b表示)的相似度如下：

完成所有相邻相似度定义之后，分割模块100使用基于相似度的图模型分割方法，直接得到多个分割块。分割后，图像由很多个分割块组成，由于遮挡像素与非遮挡像素之间相似度为0，因此遮挡像素与非遮挡像素必然被分到不同块中，所以分割产生的块严格的分为两种：全部由遮挡像素组成的遮挡块和全部由非遮挡像素组成的非遮挡块。同时，由于不同运动标签的非遮挡像素之间的相似度也为0，所以每个非遮挡块中的像素必然全部来自相同的运动层，该运动层的标签也将作为该非遮挡块的标签。

生成模块200提取A，B帧中所有分割块的亮度和亮度梯度的统计信息，对每个分割块统计得到三个直方图，该三个直方图包括亮度直方图、x方向亮度梯度直方图和y方向亮度梯度直方图，其过程如下，

提取单元210提取A，B两帧所有像素的亮度值，并由计算单元220计算视频帧A，B在x方向亮度梯度值和y方向亮度梯度值。

对于任一一个块S为例，将亮度取值范围[0,255]量化为10个无重叠且等值的区间，计算S中所有N个像素落在所有区间上的次数。假设对于区间n(由于有10个区间，n取1到10)，有Nn个像素落在其上，则该区间的概率为Nn/N。最终得到的块S的亮度直方图I^S可表示为(N1/N,N2/N，……N10/N)。同理，可将x方向梯度和y方向梯度(取值范围为[-255，255])同理量化为10个无重叠且等值的区间，统计得到块S的x方向梯度直方图Gx^S和y方向梯度直方图Gy^S。

计算模块300使用直方图距离度量方法，计算得到每个非遮挡块与每个遮挡块的距离D。对与块S和块T而言，其距离通过如下公式表示，

D(S，T)＝EMD(I^S，I^T)+αEMD(Gx^S，Gx^T)+βEMD(Gy^S，Gy^T)，

最后由选择模块400对于每个遮挡块，找到与之距离最近的非遮挡块，将该遮挡块分配到该非遮挡块所在的运动层，实现遮挡块的运动层分配。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种视频运动分割中的遮挡处理方法，其特征在于，包括以下步骤：

接收视频帧，并对所述视频帧进行分割，以获得多个分割块，其中，所述视频帧包括遮挡区域和非遮挡区域；

从所述多个分割块提取亮度值并进行统计，以对每个分割块分别得到三个直方图；

根据所述三个直方图计算每个遮挡分割块与每个非遮挡分割块之间的距离，使得所述每个遮挡分割块得到多个距离信息；

从所述多个距离信息中选择距离最短的距离信息对应的非遮挡分割块；以及

将所述距离最短的距离信息对应的非遮挡分割块的运动层分配给所述距离最短的距离信息对应的遮挡分割块，以实现所述遮挡分割块的运动层分配。

2.如权利要求1所述的视频运动分割中的遮挡处理方法，其特征在于，所述三个直方图包括亮度直方图、x方向的亮度梯度直方图和y方向的亮度梯度直方图。

3.如权利要求1所述的视频运动分割中的遮挡处理方法，其特征在于，所述接收视频帧，并对所述视频帧进行分割，以获得多个分割块，具体包括：

根据所述遮挡区域中相邻两个像素的亮度大小设置所述遮挡区域的相邻像素间相似度；

根据所述非遮挡区域的运动层设置所述非遮挡区域的相邻像素间相似度；以及

根据所述遮挡区域的相邻像素间相似度和所述非遮挡区域的相邻像素间相似度对所述视频帧进行分割，以得到所述多个分割块。

4.如权利要求3所述的视频运动分割中的遮挡处理方法，其特征在于，所述遮挡区域中相邻两个像素的亮度大小越接近，则所述遮挡区域的相邻像素间相似度越高。

5.如权利要求1所述的视频运动分割中的遮挡处理方法，其特征在于，所述从所述多个分割块提取亮度信息并进行统计，以得到三个直方图，具体包括：

从所述多个分割块提取亮度值；

根据所述亮度值计算得到x和y方向的亮度梯度；以及

根据所述亮度值和所述x和y方向的亮度梯度得到所述三个直方图。

6.一种视频运动分割中的遮挡处理系统，其特征在于，包括：

分割模块，用于接收视频帧，并对所述视频帧进行分割，以获得多个分割块，其中，所述视频帧包括遮挡区域和非遮挡区域；

生成模块，用于从所述多个分割块提取亮度值并进行统计，以对每个分割块分别得到三个直方图；

计算模块，用于根据所述三个直方图计算每个遮挡分割块与每个非遮挡分割块之间的距离，使得所述每个遮挡分割块得到多个距离信息；

选择模块，用于从所述多个距离信息中选择距离最短的距离信息对应的非遮挡分割块；以及

分配模块，用于将所述距离最短的距离信息对应的非遮挡分割块的运动层分配给所述距离最短的距离信息对应的遮挡分割块，以实现所述遮挡分割块的运动层分配。

7.如权利要求6所述的视频运动分割中的遮挡处理系统，其特征在于，所述三个直方图包括亮度直方图、x方向的亮度梯度直方图和y方向的亮度梯度直方图。

8.如权利要求6所述的视频运动分割中的遮挡处理系统，其特征在于，所述分割模块具体包括：

第一设置单元，用于根据所述遮挡区域中相邻两个像素的亮度大小设置所述遮挡区域相邻像素间相似度；

第二设置单元，用于根据所述非遮挡区域的运动层设置所述非遮挡区域的相邻像素间相似度；以及

分割单元，用于根据所述遮挡区域的相邻像素间相似度和所述非遮挡区域的相邻像素间相似度对所述视频帧进行分割，以得到所述多个分割块。

9.如权利要求8所述的视频运动分割中的遮挡处理系统，其特征在于，所述遮挡区域中相邻两个像素的亮度大小越接近，则所述第一设置单元设置所述遮挡区域的相邻像素间相似度越高。

10.如权利要求6所述的视频运动分割中的遮挡处理系统，其特征在于，所述生成模块具体包括：

提取单元，用于从所述多个分割块提取亮度值；

计算单元，用于根据所述亮度值计算得到x和y方向的亮度梯度；以及

获取单元，用于根据所述亮度值和所述x和y方向的亮度梯度得到所述三个直方图。