CN104050673B - 一种基于K‑means图像分割的深度图提取方法 - Google Patents

Abstract

本发明公开了一种基于K‑means图像分割的深度图提取方法，首先把输入的图像转化为灰度图；基于k‑means的图像分割方法，把图像中同一属性的元素提取出来，并对同一属性元素赋予同一数值，得到一个与图像等大的矩阵；应用中值滤波对得到的矩阵进行处理，消除椒盐噪声；分别对深度图的第一行以及第一列进行赋值，得到初始化的深度图；从第二行第二列开始，根据该像素周围的分类情况以及该像素的高度对每个像素对应位置赋予深度值；最后对得到的深度图进行后处理。本发明用到的方法相对于其他方法更加简单而易于实现，运算时间大大减少，很适合运用在实时3D显示技术中。

Description

一种基于K-means图像分割的深度图提取方法

技术领域

本发明涉及3D显示技术领域，具体涉及一种基于K-means图像分割的深度图提取方法，是一种能够准确提取深度信息以及加速产生立体影片中深度图的方法。

背景技术

目前3D显示技术大多数都是利用视差原理来实现的，分别提供给左眼以及右眼两幅不同的图像，来模拟平时观察者观察外界事物的特征，使观察者在适当的的角度观看画面时产生三维立体空间感。在合成双目图像之前需要计算每个像素点的深度信息，即图像中物体的的前后距离关系。各个像素点的深度信息即构成了深度图。基于产生的深度图的基础上，就能够将双视角立体影片合成为三维立体影片了。

深度图的的产生是3D显示技术中至为重要的一步，然而，在产生深度图的过程中耗时而且不够准确。图像中每一个像素点所对应的深度信息是非常重要的，因为，一旦深度值有误差，那么将会导致产生的立体图像图像出现严重的失真，从而造成无法让观看者正常观赏的后果。对于耗时性，深度图的产生也是一个庞大的计算过程，一般的算法需要很长的时间来完成深度图的提取，这对于实时显示技术而言是一个巨大的挑战。

在现今的实现技术中，被广泛运用的是由三星的Yong Ju Jung等人提出的“Anovel 2D-to-3D conversion technique based on relative height depth cue”。但是这种方法对于图像的线性要求特别高，图像的左右方向必须有很强的线性感，才能对图像有很好的分割并赋深度图值，因此对于视频图像的处理能力是很具有局限性的。而且这种线性检测技术是相当耗时的。

为了得到准确以及快速的深度图提取方法，图像分割为深度图提取中至关重要的一步，为了得到很好的分割效果，Jui-Sheng Lee等人提出的“3D DEPTH MAP GENERATIONFOR EMBEDDED STEREO APPLICATIONS”用到了k-means算法进行图像分割。这种方法的确是的深度图的提取更为快速。但是由于k-means的是以图像灰度图的差值大小作为相似性依据，再对同一类赋予相同的深度信息。这种方法的确能够对图像进行初步的分割，但是其分割的种类是由设定的K值所确定的。然而一幅图像里面所包含的信息量以及种类远远大于K个。这种算法的的结果会导致得到的深度图信息不准确。这就是这种算法的局限性所在。

鉴于以上情况，业界需要一种既能快速产生深度图信息，同时又能确保得到的深度图信息准确的的方法，这为目前3D显示技术需要的努力实现的目标。

发明内容

本发明的目的在于提供一种基于K-means图像分割的深度图提取方法，这种方法既能确保得到的深度图准确，同时又有计算速度快的优点。

为达前述目的，本发明采用的技术方案是：

一种基于K-means图像分割的深度图提取方法，其特征在于，该方法具体包括以下步骤：

(A)：把输入的图像转化为灰度图；

(B)：基于k-means的图像分割方法，把图像中同一属性的元素提取出来，并对同一属性元素赋予同一数值，得到一个与图像等大的矩阵；

(C)：应用中值滤波对得到的矩阵进行处理，消除椒盐噪声；

(D)：分别对深度图的第一行以及第一列进行赋值，得到初始化的深度图；

(E)：从第二行第二列开始，根据该像素周围的分类情况以及该像素的高度对每个像素对应位置赋予深度值；

(F)：对得到的深度图进行后处理。

所述的2D视频转3D视频的深度图提取方法，其特征在于，其中在步骤(B)，用k-means对图像进行分割时，把传统的k-means算法以距离差作为分割标准改用以图像的灰度差作为分割标准，把传统的任意选择初试聚类中心改为通过灰度直方图选取初试聚类中心，具体流程如下：

(1)求出图像的灰度直方图，找到直方图中的K个波峰点；

(2)把初试聚类中心设为波峰附近的值；

(3)分别计算每个像素点与这几个初始聚类中心的灰度差，比较几个差值，把差值最小的像素和对应的初始聚类中心归为一类；计算公式如下：

其中Cⁱ为分类结果，X⁽ⁱ⁾为各个像素灰度值，u_j为各类均值；

(4)计算得到的归为一类的灰度的值的平均值，作为新的聚类中心：

(5)重复步骤(3)、(4)的过程，直至前后两次均值差小于某个特定的值；从而，得到了一个与原图像长宽相等的矩阵，并且同类属性物体被赋予了同一值。

所述的2D视频转3D视频的深度图提取方法，其特征在于，其中步骤(C)，由于K-means算法对噪声以及孤立点比较敏感，得到的分类矩阵，存在很多孤立的椒盐噪声，因此采用中值滤波对分类矩阵进行处理，即去除个别孤立的像素点，并把其划分到周围像素点的类群。

所述的2D视频转3D视频的深度图提取方法，其特征在于，其中在步骤(D)中，由于后面对于每个像素点赋予深度值时，是参考其前后左右像素所属类群和深度值所共同决定的，故要先对深度图的第一行以及第一列进行初始化，按照本发明的算法进行赋值；具体如下：首先对深度图的第一行都赋予0，然后对第一列的第二个元素开始赋值，赋值规则如下：(1)如果该像素点与其面的像素点属于同一类，则其深度值与上面的像素的深度值相等，如果不相等，则向下进行检索，是否存在与其属于同一类的像素点，直到向下也无法检测到同一类的像素点为止；并赋予深度值为该像素点纵坐标除以图像纵坐标的总值再乘以255；计算公式为：depth(i,1)＝i/M*255，其中i为像素的纵坐标，M为图像的列；如此，深度图的第一列和第一行便初始化完成。

所述的2D视频转3D视频的深度图提取方法，其特征在于，其中步骤(E)中，具体实施过程如下：

(1)从第二行第二列开始，首先检索目标像素点以上3个像素点的分类情况，3个像素点是指上方以及正上方左右两个元素；如果其中包含有与目标元素同一类的像素点，则采用如下的计算公式得到目标像素点的深度值：

(2)如果以上条件不满足，则从该目标像素开始向下检测，如果目标像素点正下方以及左右方三个像素点存在与之属于同一类的点，则继续向下检索，直到检索不到与之同一类像素点为止；记录下此时像素点的纵坐标K，此时目标元素的深度值由以下的计算公式得到：

depth(i,j)＝K/M*255，其中M为图像的列数。

本发明的原理是：

本发明中，为了使得提取的深度图信息足够准确，先对图像进行分割，使得属于同一类的物体的部分分割出来，目的是赋予相同的深度信息。因为图像中一个小整体(比如人)其深度值就应该是一样的。但是很多算法往往因为种种原因会使得一个整体的深度值出现很大的偏差，这将导致后期的合成3D效果不理想。因此，图像分割在深度图提取中占很重要的角色。在k-means图像分割算法中，由于分类的种类被限制在K类，但是事实上对于一幅内容丰富的图像，其包含的种类是远远大于我们一般设定的K值的。因此，对于简单的，前后景明显的图像，使用k-means图像分割在赋值的方法能够得到理想的效果，但是对于内容丰富的图片，单纯使用k-means分割并赋值的算法就显得粗糙。为此，本算法在基于k-means进行图像分割后，并没有采用对象的K类分别赋予相同的深度值的方法，而是基于k-means分割后的再分割的算法，使得得到的深度信息更接近准确。

本发明的优点是：

本发明中，提取深度信息的过程更为简洁快速体现在以下因素：第一，使用k-means图像分割本身较其他分割算法更为简单而易于实现，同时为了减少k-means在计算最终均值的时间，我们对于初始的均值选择做了优化，把传统的随机选取初始均值改为通过灰度直方图先得到其直方图的波峰值，并把初试值设置在波峰值附近，这样将大大减少最终均值的确定的时间，并使得分割效果也得到优化；其次，在赋予深度值的过程中，其计算过程只有比较以及加减乘除这些简便的过程，这些都大大简化了深度值的计算过程。大大减少了计算时间；不管是从软件实现层面还是硬件实现层面，实现过程都是可行的。

附图说明

图1为本发明所提供的提取深度图的方法的总流程图。

图2为本发明中所采用的k-means图像分割的算法流程图。

图3为本发明中所采用的k-means图像分割过程实例示意图。

图4为本发明中对深度图初始化赋值的过程实例示意图。

图5为本发明中对深度图的赋值流程图。

图6a为待处理的第一幅图片。

图6b为待处理的第二幅图片。

图7a为应用本发明算法得到的第一幅图片的深度图。

图7b为应用本发明算法得到的第二幅图片的深度图。

图8a为应用该算法得到的第一幅图片的深度图的基础上合成的3D图像。

图8b为应用该算法得到的第二幅图片的深度图的基础上合成的3D图像。

具体实施方式

在2D转3D技术中，深度图信息对于3D的效果有着决定性的影响，也是3D转化技术后续工作的基础。为使本发明的的目的、优点以及技术方案更加清楚明白，利用所给附图以及结合具体事例，对本发明进一步详细说明。

图1为本发明的产生深度图的的方法流程示意图。具体的实施步骤包括以下几个步骤。

步骤S102：把输入的图像转化为灰度图；

步骤S103：基于k-means的图像分割方法，把图像中同一属性的元素提取出来；并对同一属性元素赋予同一数值，得到一个于图像等大的矩阵；

步骤S104：应用中值滤波对得到的矩阵进行处理，消除椒盐噪声；

步骤S105：分别对深度图的第一行以及第一列进行赋值，得到初始化的深度图；

步骤S106：从第二行第二列开始，根据该像素周围的分类情况以及该像素的高度对每个像素对应位置赋予深度值；

步骤S107：对得到的深度图进行后处理。

首先，在步骤S102中，将初始图像转化为灰度图，为K-means分割提供参考依据，也就是步骤S103。

在步骤S103中，用k-means对图像进行分割时，把传统的k-means算法以距离差作为分割标准改用以图像的灰度差作为分割标准，把传统的任意选择初试聚类中心改为通过灰度直方图选取初试聚类中心。结合图2具体流程如下

步骤S1031：求出图像的灰度直方图；

步骤S1032：找到直方图中的K个波峰点，把初试聚类中心设为波峰附近的值；

步骤S1033：分别计算每个像素点与这几个初始聚类中心的灰度差，比较几个差值，把差值最小的像素和对应的初始聚类中心归为一类。

(其中Cⁱ为分类结果，X⁽ⁱ⁾为各个像素灰度值，u_j为各类均值)；

步骤S1034：计算得到的归为一类的灰度的值的平均值，作为新的聚类中心；

步骤S1035：重复过程(3)(4)过程，直至前后两次均值差小于某个特定的值；

完成以上几个步骤后，得到了一个于原图像长宽相等的矩阵。并且同类属性物体被赋予了同一值，以标记。

在步骤S104中，对得到的矩阵进行中值滤波。由于K-means算法对噪声以及孤立点比较敏感，得到的分类矩阵，存在很多孤立的椒盐噪声，因此采用中值滤波对分类矩阵进行处理。去除个别孤立的像素点，并把其划分到周围像素点的类群。

其中在步骤S105中，由于后面对于每个像素点赋予深度值时，是参考其前后左右像素所属类群和深度值所共同决定的。故要先对深度图的第一行以及第一列进行初始化，按照本发明的算法进行赋值。首先对深度图的第一行都赋予0，然后对第一列的第二个元素开始赋值，赋值规则如下：(1)如果该像素点与他上面的像素点属于同一类，则其深度值与上面的像素的深度值相等，如果不相等，则向下进行检索，是否存在与其属于同一类的像素点，直到向下也无法检测到同一类的像素点为止。并赋予深度值为该像素点纵坐标除以图像纵坐标的总值再乘以255；计算公式为：depth(i,1)＝i/M*255(其中i为像素的纵坐标，M为图像的列)如此，深度图的第一列和第一行便初始化完成。

其中步骤S106中，为本发明的核心部分。结合本步骤的流程图具体实施过程如下：

步骤S1061中，从第二行第二列开始，首先检索目标像素点以上3个像素点(正上方以及正上方左右两个元素)的分类情况。如果其中包含有与目标元素同一类的像素点，则采用如下的计算公式得到目标像素点的深度值。

步骤S1062中，如果以上条件不满足，则从该目标像素开始向下检测，如果目标像素点正下方以及左右方三个像素点存在与之属于同一类的点，则继续向下检索三个像素点，直到检索不到与之同一类像素点为止。

步骤1063中，记录下此时像素点的纵坐标K，此时目标元素的深度值由以下的计算公式得到

depth(i,j)＝K/M*255(其中M为图像的列数)

其中步骤S107中，对得到的深度图进行后处理，以便更好的应用于后面的左右视点的合成。

Claims (5)

1.一种基于K-means图像分割的深度图提取方法，其特征在于，该方法具体包括以下步骤：

(A)：把输入的图像转化为灰度图；

(B)：基于k-means的图像分割方法，把图像中同一属性的元素提取出来，并对同一属性元素赋予同一数值，得到一个与图像等大的矩阵；

(C)：应用中值滤波对得到的矩阵进行处理，消除椒盐噪声；

(D)：分别对深度图的第一行以及第一列进行赋值，得到初始化的深度图；

(E)：从第二行第二列开始，根据该像素周围的分类情况以及该像素的灰度对每个像素对应位置赋予深度值；

(F)：对得到的深度图进行后处理。

2.根据权利要求1所述的基于K-means图像分割的深度图提取方法，其特征在于，其中在步骤(B)，用k-means对图像进行分割时，把传统的k-means算法以距离差作为分割标准改用以图像的灰度差作为分割标准，把传统的任意选择初始聚类中心改为通过灰度直方图选取初始聚类中心，具体流程如下：

(1)求出图像的灰度直方图，找到直方图中的K个波峰点；

(2)把初始聚类中心设为波峰附近的值；

(3)分别计算每个像素点与这几个初始聚类中心的灰度差，比较几个差值，把差值最小的像素和对应的初始聚类中心归为一类；计算公式如下：

其中Cⁱ为分类结果，X⁽ⁱ⁾为各个像素灰度值，u_j为各类均值；

(4)计算得到的归为一类的灰度的值的平均值，作为新的聚类中心：

$u_j=\frac{{\mathrm{\Σ}}_1^{m}1\{c^{\left(i\right)}=j\}{X}^{\left(i\right)}}{{\mathrm{\Σ}}_1^{m}1\{c^{\left(i\right)}=j\}};$

(5)重复步骤(3)、(4)的过程，直至前后两次均值差小于某个特定的值；从而，得到了一个与原图像长宽相等的矩阵，并且同类属性物体被赋予了同一值。

3.根据权利要求1所述的基于K-means图像分割的深度图提取方法，其特征在于，其中步骤(C)，由于K-means算法对噪声以及孤立点比较敏感，得到的分类矩阵，存在很多孤立的椒盐噪声，因此采用中值滤波对分类矩阵进行处理，即去除个别孤立的像素点，并把其划分到周围像素点的类群。

4.根据权利要求1所述的基于K-means图像分割的深度图提取方法，其特征在于，其中在步骤(D)中，对深度图的第一行以及第一列进行初始化，具体如下：首先对深度图的第一行都赋予0，然后对第一列的第二个元素开始赋值，赋值规则如下：(1)如果该像素点与其面的像素点属于同一类，则其深度值与上面的像素的深度值相等，如果不相等，则向下进行检索，是否存在与其属于同一类的像素点，直到向下也无法检测到同一类的像素点为止；并赋予深度值为该像素点纵坐标除以图像纵坐标的总值再乘以255；计算公式为：depth(i,1)＝i/M*255，其中i为像素的纵坐标，M为图像的列；如此，深度图的第一列和第一行便初始化完成。

5.根据权利要求1所述的基于K-means图像分割的深度图提取方法，其特征在于，其中步骤(E)中，具体实施过程如下：

(1)从第二行第二列开始，首先检索目标像素点以上3个像素点的分类情况，3个像素点是指上方以及正上方左右两个元素；如果其中包含有与目标元素同一类的像素点，则采用如下的计算公式得到目标像素点的深度值：

$\begin{array}{c}depth(i,j)=\frac{1\{c(i,j)=c(i-1,j-1)\}*depth(i-1,j-1)+1\{c(i,j)=c(i-1,j)\}*depth(i-1,j)}{1\{c(i,j)=c(i-1,j-1)\}+1\{c(i,j)=c(i-1,j)\}+1\{c(i,j)=c(i-1,j+1)\}}\\ \underset{\‾}{+1\{c(i,j)=c(i-1,j+1)\}*depth(i-1,j+1)}\end{array}$

(2)如果以上条件不满足，则从该目标像素开始向下检测，如果目标像素点正下方及正下方的左右方三个像素点存在与之属于同一类的点，则继续向下检索，直到检索不到与之同一类像素点为止；记录下此时像素点的纵坐标K，此时目标元素的深度值由以下的计算公式得到：

depth(i,j)＝K/M*255，其中M为图像的列数。