CN102306393B - 一种基于轮廓匹配的深度扩散方法及装置 - Google Patents

Abstract

本发明公开了一种基于轮廓匹配的深度扩散方法，包括如下步骤：输入多帧图像，提取多帧图像中每一帧图像的轮廓以得到每一帧图像的轮廓序列；根据每一帧图像轮廓序列计算每一帧图像的轮廓序列中每个轮廓的轮廓特征值；将当前帧图像的每个轮廓特征值与当前帧的前一帧图像的轮廓序列中每个轮廓的轮廓特征值进行比对以获取当前帧图像的每个轮廓的在前一帧图像中的相似轮廓；将前一帧图像中的相似轮廓所包围区域的深度值赋值给当前帧的对应轮廓所包围区域生成当前帧图像的深度图。本发明还公开了一种基于轮廓匹配的深度扩散装置。本发明可以得到的非关键帧深度图边缘清楚、深度层次明确、平滑性能好且时域稳定性高。

Description

一种基于轮廓匹配的深度扩散方法及装置

技术领域

本发明涉及计算机视觉技术领域，特别涉及到一种基于轮廓匹配进行深度扩散的方法。

背景技术

立体视频技术是一种能够提供立体感的新型视频技术。与单通道视频相比，立体视频一般有两个视频通道，数据量要远远大于单通道视频，所以对立体视频的高效压缩尤为重要。基于深度图像绘制技术是未来3DTV系统在解码端的一项关键技术。

在立体视频处理中，深度扩散指利用关键帧图像和其对应的深度图计算非关键帧的深度图的方法。深度扩散的基本思路是利用关键帧与非关键帧图像之间的相关性找到非关键帧中对应于关键帧的深度区域，并计算这部分区域的深度值，得到非关键帧图像的深度图。在关键帧与非关键帧变化不太剧烈的场景(如静止场景、缓慢运动场景等)中，深度扩散方法在计算非关键帧的深度图时有较好的结果。

传统的进行深度扩散的方法主要是利用图像的颜色特征、运动信息以及直方图匹配。具体而言，使用颜色特征进行深度扩散的方法是通过寻找相邻区域颜色上的相关性来确定相似区域的方法，这种方法对于纹理简单的场景比较有效。使用运动信息进行深度扩散的方法需要计算关键帧与非关键帧之间的运动向量，然后将运动趋势一致的区域相对应，对于运动缓慢或镜头静止的场景比较有效。而直方图匹配的方法是一种统计学的方法，该方法对图像中的小区域进行局部直方图匹配，将匹配到的区域相对应，认为它们具有相同的深度图。直方图匹配方法准确性相对较高，但是计算速度较慢。

发明内容

本发明的目的旨在至少解决上述的技术缺陷之一。

本发明的第一个目在于提供一种基于轮廓匹配的深度扩散方法，该方法可以生成的非关键帧深度图不仅边缘清楚，而且深度层次明确、平滑性能好且时域稳定性高。

本发明的第二个目的在于提供一种基于轮廓匹配的深度扩散装置。该装置可以生成的非关键帧深度图不仅边缘清楚，而且深度层次明确、平滑性能好且时域稳定性高。

为达到上述目的，本发明第一方面实施例提出一种基于轮廓匹配的深度扩散方法，包括如下步骤：

输入多帧图像，提取所述多帧图像中每一帧图像的轮廓以得到每一帧图像的轮廓序列，所述轮廓序列包括所述每一帧图像的每个轮廓的信息；

根据所述每一帧图像轮廓序列计算每一帧图像的轮廓序列中每个轮廓的轮廓特征值；

将当前帧图像的每个轮廓特征值与前一帧图像的轮廓序列中每个轮廓的轮廓特征值进行比对以获取所述当前帧图像的每个轮廓的在所述前一帧图像中的相似轮廓；

将所述前一帧图像中的所述相似轮廓所包围区域的深度值赋值给所述当前帧的对应轮廓所包围区域以得到所述当前帧的每个轮廓的深度值以得到所述当前帧图像的深度图。

根据本发明实施例的基于轮廓匹配的深度扩散方法，对帧图像的轮廓序列进行处理之后可以有效的降低噪声对帧图像深度图的不利影响，得到的非关键帧深度图深度层次明确，经过修正和边缘处理之后边缘清晰，平滑性能好且时域稳定性高。而且深度图的信息含量较全，帧图像在经过基于轮廓匹配的深度扩散方法进行处理后所形成的深度图仍然包含有丰富的数据信息。此外，采用轮廓匹配的方法对轮廓信息进行图像内区域的匹配，可以得到准确的匹配结果。即使图像为变形、扭曲的物体，也可以得到准确的匹配效果，并且抗噪声能力强。

本发明第二方面的实施例提出一种基于轮廓匹配的深度扩散装置，包括：输入模块，所述输入模块用于输入多帧图像，提取所述多帧图像中每一帧图像的轮廓以得到每一帧图像的轮廓序列，所述轮廓序列包括所述每一帧图像的每个轮廓的信息；特征值计算模块，所述特征值计算模块与所述输入模块相连，用于根据所述每一帧图像轮廓序列计算每一帧图像的轮廓序列中每个轮廓的轮廓特征值；比对模块，所述比对模块与所述特征值计算模块相连，用于将当前帧图像的每个轮廓特征值与前一帧图像的轮廓序列中每个轮廓的轮廓特征值进行比对以获取所述当前帧图像的每个轮廓的在所述前一帧图像中的相似轮廓；深度赋值模块，所述深度赋值模块与所述比对模块相连，用于将所述前一帧图像中的所述相似轮廓所包围区域的深度值赋值给所述当前帧的对应轮廓所包围区域以得到所述当前帧的每个轮廓的深度值以得到所述当前帧图像的深度图。

根据本发明实施例的基于轮廓匹配的深度扩散装置，对帧图像的轮廓序列进行处理之后可以有效的降低噪声对帧图像深度图的不利影响，得到的非关键帧深度图深度层次明确，经过修正和边缘处理之后边缘清晰，平滑性能好且时域稳定性高。而且深度图的信息含量较全，帧图像在经过基于轮廓匹配的深度扩散装置进行处理后所形成的深度图仍然包含有丰富的数据信息。此外，采用轮廓匹配的方法对轮廓信息进行图像内区域的匹配，可以得到准确的匹配结果。即使图像为变形、扭曲的物体，也可以得到准确的匹配效果，并且抗噪声能力强。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于轮廓匹配的深度扩散方法的示意图；

图2为图1中的基于轮廓匹配的深度扩散方法的流程图；

图3为根据本发明实施例的基于轮廓匹配的深度扩散装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

下面参考图1描述根据本发明实施例的基于轮廓匹配的深度扩散方法。

如图1所示，本发明实施例提供的基于轮廓匹配的深度扩散方法，包括如下步骤：

S101：输入多帧图像，提取每一帧图像的轮廓序列。

S1011：对当前帧图像进行轮廓提取。

首先，向内存中输入多帧图像。由于所有的物体均可以通过轮廓的方式进行表示，从而可以实现可以识别的物体的量化。然后利用轮廓提取算法提取多帧图像中每一帧图像的轮廓以得到每一帧图像的轮廓序列。其中，每一帧图像中包括有多个轮廓。轮廓序列包括每一帧图像的每个轮廓的信息。

在本发明的一个实施例中，每个轮廓的信息包括相应的轮廓的像素点位置。换言之，轮廓序列记录了组成各个轮廓的像素点位置。

S1012：去除包含噪声的轮廓

由于步骤S1011中提取得到的轮廓序列中包括具有噪声的轮廓，需要对该部分噪声进行去除。

在本步骤中，首先设置长度阈值，然后计算轮廓序列中各个轮廓的长度。将每个轮廓的长度与该长度阈值进行比较，当一个轮廓的长度小于该长度阈值时，则判断该轮廓为噪声，去除该轮廓。当一个轮廓的长度大于该长度阈值时，不予处理。通过上述步骤，可以完整去除轮廓序列中的噪声，从而得到更为可靠的轮廓。

根据去除噪声后的轮廓，更新轮廓序列，执行步骤S102。上述更新后的轮廓序列中的轮廓不包括有噪声，或者噪声较小可以忽略不计。

可以理解的是，对轮廓序列进行去噪是可选步骤，即由步骤S1011中生成的轮廓序列也可以直接送入步骤S102，计算轮廓序列中每个轮廓的轮廓特征值。

S102：计算每一帧图像的轮廓序列中每个轮廓的轮廓特征值。

为了进行轮廓的匹配，需要计算每帧图像的轮廓序列中的每个轮廓的特征值。具体而言，将步骤S101中提取得到的轮廓序列，计算该轮廓序列中每个轮廓的轮廓特征值。在本发明的一个实施例中，每个轮廓的轮廓特征值包括每个轮廓的区域直方图、矩和地球移动距离。

S103：将当前帧图像每个轮廓特征值与前一帧图像的轮廓序列中每个轮廓的轮廓特征值进行比对。

S1031：比较当前帧每个轮廓特征与前一帧每个轮廓的特征。

将当前帧图像的轮廓序列中的每个轮廓特征值，分别与前一帧图像的轮廓序列中每个轮廓的轮廓特征值进行比对。

S1032：判断两个轮廓是否相似。

在经过步骤S1031比较后，选择其中相似度最高的轮廓作为当前该轮廓在前一帧图像中的相似轮廓，此时可以认为当前轮廓和与该当前轮廓对应的相似轮廓对应于同一个物体。这是由于图像视频的两帧之间相同物体的轮廓特征是保持基本不变的，两帧图像中的同一物体的轮廓是对应的。

如果没有找到与当前轮廓对应的相似轮廓，则认为当前帧的该轮廓与前一帧的轮廓没有对应关系，即在前一帧中没有与当前轮廓对应的同一个物体。此时，返回步骤S1031，继续对当前帧的其他轮廓与前一帧的每个轮廓进行特征比较。

可以理解的是，获取当前轮廓在前一帧图像中的相似轮廓可以采用传统的比较算法。具体而言，比较算法用于找到两组轮廓序列中最相似的两个轮廓，通过比较两组轮廓序列的特征值，找到其中特征值最接近的轮廓对，即特征值差最小的轮廓对。在本发明的一个实施例中，采用绝对值和方差的方法计算两组轮廓序列的特征值差值。对于不同的特征值，进行比较的方法略有不同。

在本发明的一个实施例中，利用轮廓的区域直方图信息比较两组轮廓序列的特征值，计算差值的累积量，具体的公式如下：

$\left\{\begin{array}{c}{I}_h(A,B)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}|m_A^i-m_B^i|\\ I_h(A,B)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(m_A^i-m_B^i)}^2\end{array}\right.$

其中，A和B分别为两组轮廓序列，I_h(A，B)为两组轮廓序列直方图的累计差，N为直方图的分段个数，

为轮廓序列A的轮廓直方图对应分段上的累积量，

为轮廓序列B的轮廓直方图对应分段上的累积量。在本发明的一个实施例中，分段个数可以选择64或256。

在本发明的一个实施例中，通过计算轮廓序列的矩或者地球移动距离的方式比较两组轮廓序列的特征值，计算特征值的差值的公式不需要求和，公式如下：

$\left\{\begin{array}{c}I(A,B)=|m_A-m_B|\\ I(A,B)={(m_A-m_B)}^2\end{array}\right.$

其中，I(A，B)是两组轮廓序列特征的差值，m_A为轮廓序列A的特征值，m_B为轮廓序列B的特征值。

S104：对当前帧图像进行深度值赋值并生成深度图。

根据步骤S103中获取的与当前轮廓对应的相似轮廓，对当前轮廓进行赋值。具体而言，首先对当前帧的每个轮廓赋予前一帧中对应的相似轮廓的深度值，即将前一帧图像中的相似轮廓所包围区域的深度值赋值给当前轮廓包围的区域，从而实现对当前帧的每个轮廓进行深度赋值。如果没有对应的相似轮廓的先不进行赋值，留待后续处理。然后根据当前帧每一个轮廓的深度值，可以最终生成当前帧图像的深度图。

S105：深度图修正。

S1051：计算当前帧图像边缘。

对于经过步骤S104赋值后生成的当前帧图像的深度图，利用边缘提取算法计算当前帧图像的边缘信息，其中，当前帧图像的边缘信息包括帧图像的边缘区域。

在本发明的一个实施例中，边缘提取算法可以采用索贝尔SOBEL算法或Laplacian拉普拉斯算法。

通过本步骤获得当前帧图像的边缘，可以更好地限制轮廓的边界，使轮廓边缘的结果更准确，从而可以提高深度图的精度。

S1052：对超出边缘的轮廓进行修正。

对于步骤S1051计算获得当前帧图像的边缘信息，需要对轮廓序列中各个轮廓超出上述边缘区域或小于所述边缘区域的范围进行修正，从而使得轮廓的边界与当前帧图像的边缘区域保持一致。

下面分别对轮廓超出上述边缘区域和小于边缘区域的情况进行说明：

1)对超出边缘区域的轮廓采用下述方式进行修正：

当轮廓序列中的轮廓的范围超出当前帧图像的边缘区域时，则需要对当前轮廓的范围进行限制，即缩小轮廓。在本发明的一个实施例中，采用当前帧图像的边缘区域作为对应轮廓的边缘，并去除当前帧图像的边缘区域的范围外的区域的深度值，即去除超出上述边缘区域的深度值。

2)对小于边缘区域的轮廓采用下述方式进行修正：

当轮廓序列中的轮廓的范围小于所述当前帧图像的边缘区域，则需要对当前轮廓的范围进行扩大。在本发明的一个实施例中，将当前轮廓的区域扩大至与当前帧图像的边缘区域，并对扩大的区域赋予相应轮廓的区域的深度值。

S1053：填充没有深度值的区域。

由于在当前帧图像中仍然存在没有深度赋值的区域，需要对该部分区域进行深度赋值，即填充该部分没有深度赋值的区域。

在本发明的一个实施例中，可以采用以下方式之一对当前帧的深度图中没有赋值的深度区域进行赋值：邻域填充、高斯滤波、双边滤波、图像自动修复Inpaiting技术或空间深度扩散。

S106：深度图后处理。

对得到的深度图进行优化处理，得到更平滑准确的深度图。在本发明的一个实施例中，可以采用高斯滤波或边缘增强的方法对对深度图进行优化处理。

在本发明的一个实施例中，这一步使用的方法和上一步有些重叠。具体可以采用高斯滤波的方法对深度图进行优化处理。高斯滤波可以增加图像的平滑度。

在本发明的一个实施例中，使用边缘增强的方法对深度图进行优化处理。采用边缘增强的方法可以明显改善轮廓提取后图像的边缘清晰度，提高深度图质量。

根据本发明实施例的基于轮廓匹配的深度扩散方法，对帧图像的轮廓序列进行处理之后可以有效的降低噪声对帧图像深度图的不利影响，得到的非关键帧深度图深度层次明确，经过修正和边缘处理之后边缘清晰，平滑性能好且时域稳定性高。而且深度图的信息含量较全，帧图像在经过基于轮廓匹配的深度扩散装置进行处理后所形成的深度图仍然包含有丰富的数据信息。此外，采用轮廓匹配的方法对轮廓信息进行图像内区域的匹配，可以得到准确的匹配结果。即使图像为变形、扭曲的物体，也可以得到准确的匹配效果，并且抗噪声能力强。

下面参考图3描述根据本发明实施例的基于轮廓匹配的深度扩散装置300。

如图3所示，本发明实施例提供的用于轮廓匹配的深度扩散装置包括输入模块310、特征值计算模块320、比对模块330和深度赋值模块340。其中，输入模块310和特征值计算模块320相连，比对模块330和特征值计算模块320相连，深度赋值模块340和比对模块330相连。

首先，由输入模块310向内存中输入多帧图像。由于所有的物体均可以通过轮廓的方式进行表示，从而可以实现可以识别的物体的量化。然后输入模块310利用轮廓提取算法提取多帧图像中每一帧图像的轮廓以得到每一帧图像的轮廓序列。其中，每一帧图像中包括有多个轮廓。轮廓序列包括每一帧图像的每个轮廓的信息。在本发明的一个实施例中，每个轮廓的信息包括相应的轮廓的像素点位置。换言之，轮廓序列记录了组成各个轮廓的像素点位置。

由于输入模块310中提取得到的轮廓序列中包括具有噪声的轮廓，需要对该部分噪声进行去除。本发明实施例提供的基于轮廓匹配的深度扩散装置300进一步包括去噪模块360，去噪模块360分别与输入模块310和特征值计算模块320相连，用于去除具有噪声的轮廓。

具体而言，去噪模块360首先设置长度阈值，然后计算轮廓序列中各个轮廓的长度。将每个轮廓的长度与该长度阈值进行比较，当一个轮廓的长度小于该长度阈值时，则判断该轮廓为噪声，去除该轮廓。当一个轮廓的长度大于该长度阈值时，不予处理。由此，去噪模块360可以完整去除轮廓序列中的噪声，从而得到更为可靠的轮廓。去噪模块360根据去除噪声后的轮廓，更新轮廓序列。上述更新后的轮廓序列中的轮廓不包括有噪声，或者噪声较小可以忽略不计。

可以理解的是，对轮廓序列进行去噪是可选步骤，即由输入模块310中生成的轮廓序列也可以直接送入特征值计算模块320，计算轮廓序列中每个轮廓的轮廓特征值。

为了进行轮廓的匹配，需要特征值计算模块320计算每帧图像的轮廓序列中的每个轮廓的特征值。具体而言，特征值计算模块320将去噪模块360去噪后的轮廓序列，计算该轮廓序列中每个轮廓的轮廓特征值。在本发明的一个实施例中，每个轮廓的轮廓特征值包括每个轮廓的区域直方图、矩和地球移动距离。

比对模块330将当前帧图像的轮廓序列中的每个轮廓特征值，分别与前一帧图像的轮廓序列中每个轮廓的轮廓特征值进行比对。比对模块330选择其中相似度最高的轮廓作为当前该轮廓在前一帧图像中的相似轮廓，此时可以认为当前轮廓和与该当前轮廓对应的相似轮廓对应于同一个物体。这是由于图像视频的两帧之间相同物体的轮廓特征是保持基本不变的，两帧图像中的同一物体的轮廓是对应的。

如果没有找到与当前轮廓对应的相似轮廓，则认为当前帧的该轮廓与前一帧的轮廓没有对应关系，即在前一帧中没有与当前轮廓对应的同一个物体。此时，比对模块330继续对当前帧的其他轮廓与前一帧的每个轮廓进行特征比较。

可以理解的是，比对模块330获取当前轮廓在前一帧图像中的相似轮廓可以采用传统的比较算法。具体而言，比较算法用于找到两组轮廓序列中最相似的两个轮廓，通过比较两组轮廓序列的特征值，找到其中特征值最接近的轮廓对，即特征值差最小的轮廓对。在本发明的一个实施例中，采用绝对值和方差的方法计算两组轮廓序列的特征值差值。对于不同的特征值，进行比较的方法略有不同。

在本发明的一个实施例中，利用轮廓的区域直方图信息比较两组轮廓序列的特征值，计算差值的累积量，具体的公式如下：

$\left\{\begin{array}{c}{I}_h(A,B)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}|m_A^i-m_B^i|\\ I_h(A,B)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(m_A^i-m_B^i)}^2\end{array}\right.$

其中，A和B分别为两组轮廓序列，I_h(A，B)为两组轮廓序列直方图的累计差，N为直方图的分段个数，为轮廓序列A的轮廓直方图对应分段上的累积量，为轮廓序列B的轮廓直方图对应分段上的累积量。在本发明的一个实施例中，分段个数可以选择64或256。

在本发明的一个实施例中，通过计算轮廓序列的矩或者地球移动距离的方式比较两组轮廓序列的特征值，计算特征值的差值的公式不需要求和，公式如下：

$\left\{\begin{array}{c}I(A,B)=|m_A-m_B|\\ I(A,B)={(m_A-m_B)}^2\end{array}\right.$

其中，I(A，B)是两组轮廓序列特征的差值，m_A为轮廓序列A的特征值，m_B为轮廓序列B的特征值。

深度赋值模块340根据比对模块330获取的与当前轮廓对应的相似轮廓，对当前轮廓进行赋值。具体而言，深度赋值模块340首先对当前帧的每个轮廓赋予前一帧中对应的相似轮廓的深度值，即将前一帧图像中的相似轮廓所包围区域的深度值赋值给当前轮廓包围的区域，从而实现对当前帧的每个轮廓进行深度赋值。如果没有对应的相似轮廓的先不进行赋值，留待后续处理。然后根据当前帧每一个轮廓的深度值，可以最终生成当前帧图像的深度图。

为了获取更为精确的图像的深度图，需要对上述得到当前帧图像的深度图进行修正。本发明实施例提供的基于轮廓匹配的深度扩散装置300进一步包括修正模块350，修正模块350与深度赋值模块340相连。

修正模块350对于经过深度赋值模块340赋值后生成的当前帧图像的深度图，利用边缘提取算法计算当前帧图像的边缘信息，其中，当前帧图像的边缘信息包括帧图像的边缘区域。在本发明的一个实施例中，边缘提取算法可以采用索贝尔SOBEL算法或Laplacian拉普拉斯算法。

由此可以获得当前帧图像的边缘，可以更好地限制轮廓的边界，使轮廓边缘的结果更准确，从而可以提高深度图的精度。

修正模块350需要进一步对轮廓序列中各个轮廓超出上述边缘区域或小于边缘区域的范围进行修正，从而使得轮廓的边界与当前帧图像的边缘区域保持一致。

下面分别对轮廓超出上述边缘区域和小于边缘区域的情况进行说明：

1)对超出边缘区域的轮廓采用下述方式进行修正：

当轮廓序列中的轮廓的范围超出当前帧图像的边缘区域时，则需要对当前轮廓的范围进行限制，即缩小轮廓。在本发明的一个实施例中，修正模块350采用当前帧图像的边缘区域作为对应轮廓的边缘，并去除当前帧图像的边缘区域的范围外的区域的深度值，即去除超出上述边缘区域的深度值。

2)对小于边缘区域的轮廓采用下述方式进行修正：

当轮廓序列中的轮廓的范围小于所述当前帧图像的边缘区域，则需要对当前轮廓的范围进行扩大。在本发明的一个实施例中，修正模块350将当前轮廓的区域扩大至与当前帧图像的边缘区域，并对扩大的区域赋予相应轮廓的区域的深度值。

由于在当前帧图像中仍然存在没有深度赋值的区域，修正模块350需要对该部分区域进行深度赋值，即填充该部分没有深度赋值的区域。

在本发明的一个实施例中，修正模块350可以采用以下方式之一对当前帧的深度图中没有赋值的深度区域进行赋值：邻域填充、高斯滤波、双边滤波、图像自动修复Inpaiting技术或空间深度扩散。

在本发明的一个实施例中，本发明实施例提供的基于轮廓匹配的深度扩散装置300进一步包括深度图后处理模块370，该深度图后处理模块370与修正模块360相连，可以对修正模块350修正后的深度图进行优化处理，从而得到更平滑准确的深度图。

在本发明的一个实施例中，可以采用高斯滤波或边缘增强的方法对对深度图进行优化处理。具体而言，采用高斯滤波的方法对深度图进行优化处理，可以增加图像的平滑度。采用边缘增强的方法可以明显改善轮廓提取后图像的边缘清晰度，提高深度图质量。

根据本发明实施例的基于轮廓匹配的深度扩散装置，对帧图像的轮廓序列进行处理之后可以有效的降低噪声对帧图像深度图的不利影响，得到的非关键帧深度图深度层次明确，经过修正和边缘处理之后边缘清晰，平滑性能好且时域稳定性高。而且深度图的信息含量较全，帧图像在经过基于轮廓匹配的深度扩散装置进行处理后所形成的深度图仍然包含有丰富的数据信息。此外，采用轮廓匹配的方法对轮廓信息进行图像内区域的匹配，可以得到准确的匹配结果。即使图像为变形、扭曲的物体，也可以得到准确的匹配效果，并且抗噪声能力强。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (14)

1.一种基于轮廓匹配的深度扩散方法，其特征在于，包括如下步骤：

输入多帧图像，提取所述多帧图像中每一帧图像的轮廓以得到每一帧图像的轮廓序列，所述轮廓序列包括所述每一帧图像的每个轮廓的信息；

根据所述每一帧图像轮廓序列计算每一帧图像的轮廓序列中每个轮廓的轮廓特征值，其中，所述每个轮廓的特征值包括所述每个轮廓的区域直方图、所述每个轮廓的矩和所述每个轮廓的地球移动距离；

将当前帧图像的每个轮廓特征值与所述当前帧的前一帧图像的轮廓序列中每个轮廓的轮廓特征值进行比对以获取所述当前帧图像的每个轮廓的在所述前一帧图像中的相似轮廓；

将所述前一帧图像中的所述相似轮廓所包围区域的深度值赋值给所述当前帧的对应轮廓所包围区域以得到所述当前帧的每个轮廓的深度值，根据所述当前帧的每个轮廓的深度值生成所述当前帧图像的深度图。

2.如权利要求1所述的基于轮廓匹配的深度扩散方法，其特征在于，

所述轮廓序列中每个轮廓的信息包括所述每个轮廓的像素点位置。

3.如权利要求1所述基于轮廓匹配的深度扩散方法，其特征在于，在所述计算每个轮廓的轮廓特征值之前还包括对所述每一帧图像的轮廓序列进行去噪，包括如下步骤：

计算所述轮廓序列中各个轮廓的长度，去除所述各个轮廓中轮廓长度小于长度阈值的轮廓噪声，根据去除所述轮廓噪声后的各个轮廓更新所述轮廓序列。

4.如权利要求1所述的基于轮廓匹配的深度扩散方法，其特征在于，进一步包括：对所述当前帧图像进行深度图修正，包括如下的步骤：

利用边缘提取算法计算所述当前帧图像的边缘信息，其中所述边缘信息包括所述当前帧图像的边缘区域；

根据所述当前帧图像的边缘信息，对所述当前帧的轮廓序列中各个轮廓超出所述边缘区域或者小于所述边缘区域的范围进行修正以使所述各个轮廓的边界与所述当前帧图像的边缘信息一致，对所述当前帧的深度图中没有赋值的深度区域进行赋值。

5.如权利要求4所述的基于轮廓匹配的深度扩散方法，其特征在于，所述的边缘提取算法采用的是索贝尔SOBEL算法或Laplacian拉普拉斯算法。

6.如权利要求4所述的基于轮廓匹配的深度扩散方法，其特征在于，所述的对轮廓的深度值进行修正包括如下的步骤：

当所述轮廓序列中的轮廓的范围超出所述当前帧图像的边缘区域时，采用所述当前帧图像的边缘区域作为对应轮廓的边缘，并去除所述当前帧图像的边缘区域的范围外的区域的深度值；

当所述轮廓序列中的轮廓的范围小于所述当前帧图像的边缘区域，则扩大相应轮廓的区域至与所述当前帧图像的边缘区域，并对扩大的区域赋予所述相应轮廓的区域的深度值。

7.如权利要求4所述的一种基于轮廓匹配的深度扩散方法，其特征在于，采用以下方式之一对所述当前帧的深度图中没有赋值的深度区域进行赋值：

邻域填充、高斯滤波、双边滤波、图像自动修复Inpaiting技术或空间深度扩散。

8.一种基于轮廓匹配的深度扩散装置，其特征在于，包括：

输入模块，所述输入模块用于输入多帧图像，提取所述多帧图像中每一帧图像的轮廓以得到每一帧图像的轮廓序列，所述轮廓序列包括所述每一帧图像的每个轮廓的信息；

特征值计算模块，所述特征值计算模块与所述输入模块相连，用于根据所述每一帧图像轮廓序列计算每一帧图像的轮廓序列中每个轮廓的轮廓特征值，其中，所述每个轮廓的特征值包括所述每个轮廓的区域直方图、所述每个轮廓的矩和所述每个轮廓的地球移动距离；

比对模块，所述比对模块与所述特征值计算模块相连，用于将当前帧图像的每个轮廓特征值与所述当前帧的前一帧图像的轮廓序列中每个轮廓的轮廓特征值进行比对以获取所述当前帧图像的每个轮廓的在所述前一帧图像中的相似轮廓；

深度赋值模块，所述深度赋值模块与所述比对模块相连，用于将所述前一帧图像中的所述相似轮廓所包围区域的深度值赋值给所述当前帧的对应轮廓所包围区域以得到所述当前帧的每个轮廓的深度值，根据所述当前帧的每个轮廓的深度值生成所述当前帧图像的深度图。

9.如权利要求8所述的基于轮廓匹配的深度扩散装置，其特征在于，

所述轮廓序列中每个轮廓的信息包括所述每个轮廓的像素点位置。

10.如权利要求8所述基于轮廓匹配的深度扩散装置，其特征在于，还包括去噪模块，所述去噪模块分别与所述输入模块和所述特征值计算模块相连，所述去噪模块用于计算所述轮廓序列中各个轮廓的长度，去除所述各个轮廓中轮廓长度小于长度阈值的轮廓噪声，根据去除所述轮廓噪声后的各个轮廓更新所述轮廓序列。

11.如权利要求8所述的基于轮廓匹配的深度扩散装置，其特征在于，进一步包括修正模块，所述修正模块与深度赋值模块相连，所述修正模块利用边缘提取算法计算所述当前帧图像的边缘信息，根据所述当前帧图像的边缘信息，对所述当前帧的轮廓序列中各个轮廓超出边缘区域或者小于所述边缘区域的范围进行修正以使所述各个轮廓的边界与所述当前帧图像的边缘信息一致对所述当前帧的深度图中没有赋值的深度区域进行赋值，

其中所述边缘信息包括所述当前帧图像的边缘区域。

12.如权利要求11所述的基于轮廓匹配的深度扩散装置，其特征在于，所述的边缘提取算法采用的是索贝尔SOBEL算法或Laplacian拉普拉斯算法。

13.如权利要求11所述的基于轮廓匹配的深度扩散装置，其特征在于，

当所述轮廓序列中的轮廓的范围超出所述当前帧图像的边缘区域时，所述修正模块采用所述当前帧图像的边缘区域作为对应轮廓的边缘，并去除所述当前帧图像的边缘区域的范围外的区域的深度值；

当所述轮廓序列中的轮廓的范围小于所述当前帧图像的边缘区域，则所述修正模块扩大相应轮廓的区域至与所述当前帧图像的边缘区域，并对扩大的区域赋予所述相应轮廓的区域的深度值。

14.如权利要求11所述的一种基于轮廓匹配的深度扩散装置，其特征在于，所述修正模块采用以下方式之一对所述当前帧的深度图中没有赋值的深度区域进行赋值：

邻域填充、高斯滤波、双边滤波、图像自动修复Inpaiting技术或空间深度扩散。

Images