CN104463183A - 聚类中心选取方法和系统 - Google Patents

Abstract

本发明涉及一种聚类中心选取方法和系统。所述聚类中心选取方法包括：接收原始灰度图像；获取灰度图像对应的初始视差图；计算像素点的运动信息；基于运动信息、灰度值以及坐标的各自的最大值与最小值形成的两个特征向量作为两个初步聚类中心，对图像进行初步聚类；计算特征向量的平均值来更新对应类的聚类中心；针对采用平均值更新的聚类中心，通过遍历所有像素点，利用最大最小算法确定新增聚类中心；以初始视差图的视差值作为指导，执行聚类处理；以及确定聚类结果是否出现收敛。

Description

聚类中心选取方法和系统

技术领域

本发明涉及一种聚类中心的选取方法和选取系统，具体而言，涉及一种在深度图像的基于聚类的立体匹配过程中选取聚类中心的选取方法和选取系统。

背景技术

在实际应用中,视差图可用于识别不同的物体。传统上，通常通过基于聚类的立体匹配算法获得视差图。在传统的基于聚类的立体匹配算法中，通常同等对待每一个像素点，这是由于传统的聚类算法认为每一个像素点代表了同样的信息。美国专利申请US2011/0175984A1，披露了一种基于涉及色彩和深度的数据提取目标对象数据的方法（“Method and system of extracting thetarget object data on the basis of data concerning the color and depth“，EkaterinaVitalievna TOLSTAYA,Valentinovich BUCHA,RU）。该专利申请所披露的方法针对物体和背景的区别产生一幅标量图像，其中利用背景和当前帧视频的光照和颜色的差别；随后初始化一个模板，该模板上每一像素点的值和上一帧对应像素点的模板上的值一致；最后对上述标量图像和深度信息进行聚类，并以模板和标量图像为基础更新背景。该专利应用了K-means方法对标量图像和深度信息进行聚类。聚类中心是在[0,MAX_DEPTH]和[0,255]区间内平均分配的。该专利在计算距离是应用的是传统的欧式距离。在该专利申请中的聚类算法就认为每一个像素点代表了同样的信息，因此聚类结果并不准确，从而导致了错误的视差图。同时传统的立体匹配算法也忽视了运动信息，从而导致了物体和背景之间边界不清晰。

美国专利申请US7142600B1披露了一种利用阻塞/非阻塞检测方法。该方法通过物体从连续图像中得到的模板跟踪物体。大块的运动补偿用于预测的新的对象模板。运动向量通过K-means算法进行聚类。聚类中心的运动向量同每一个怀疑区域的平均运动向量进行比较。当运动的区别较小的时候，怀疑区域被认为是物体的一部分。前一帧和当前帧之间较大的运动区域可检测出新的被怀疑区域。该专利申请应用K-means算法聚类运动向量，是基于块级别的而非像素级别。所以在每一个怀疑区域内对运动信息进行了平均。该专利在聚类之初，随机的将每一个块进行聚类，然后通过比较运动信息之间的差距，重新进行聚类，迭代此过程，直至认为收敛。。

在实际形成的视差图的过程中，在离相机较远的地方,物体通常较小，因而容易融合到背景中而造成识别困难。图1A和1B显示了较远的地方的物体被融合到背景中的示意图。目前基于分割的算法和基于传播的算法通常应用于计算稠密视差。但是基于分割的方法通常有过多的噪音，主要原因是远处物体上的像素点合并到了背景中。图2A和2B显示了在通过分割方法形成视差图的过程中远处物体合并到背景中的示意图。而基于传播的方法通常过于平滑，主要原因是该算法同等对待远处物体上的像素点同近处的像素点。图3A和3B显示了在通过传播的方法形成视差图的过程中远处物体合并到背景中的示意图。

由于以上方法边界较不清晰，在计算视差值之前需要一种更好的聚类算法，以达到将同一物体分为一块并得到更加一致的视差的目的。但是诸如传统的K-means算法之类的聚类方法，有两个明显的缺点。一个缺点是随机设置初始聚类中心。对于聚类算法来讲，初始的聚类中心至关重要，因为他是结果的计算基础，下一次的中心是根据前一个中心更新得来的。所以如果初始中心是随机产生的，很难收敛到正确的结果，并且也十分的耗时。另一个缺点是应用传统的欧氏距离。在聚类的过程中，通过计算样本点和中心之间的距离来决定该样本点属于哪一个类。然而传统的欧氏距离对每一个特征同等对待，因而造成某个特征占据了过大的比重而导致错误的聚类结果。

另外一种常用聚类方法是自适应K-means。该方法应用最大-最小距离方法来一一决定初始中心，因此初始中心不是随机设置的。但是该方法依然应用传统的欧氏距离，而且聚类中心也不是分层的。

发明内容

基于初始的聚类中心对于聚类结果的重要性，本发明为了获得更为准确的视差图，首要解决聚类中心的确定问题。为此提出了一种聚类中心选择方法。

根据本发明的聚类中心选择方法，包括：a.接收同一照相机拍摄的相邻的第t-1帧和第t帧图像的原始灰度图像；b.获取第t帧图像对应的初始视差图；c.根据第t-1帧和第t帧的原始灰度图像的灰度值计算第t帧图像中像素点的运动信息；d.以所述运动信息、第t帧图像的灰度值以及第t帧图像坐标的各自的最大值与最小值形成的两个特征向量作为两个初步聚类中心，对第t帧图像进行初步聚类；e.计算所述聚类所获得的类中所有像素点的运动信息、灰度值以及坐标的平均值来更新对应类的聚类中心；f.针对采用平均值更新的聚类中心，通过遍历第t帧图像中的所有像素点，利用最大最小算法确定新增聚类中心；g.基于初始视差图的视差值，以被更新的聚类中心以及新增聚类中心为聚类中心，对第t帧图像中的所有像素点以其运动信息、灰度值以及坐标为特征执行聚类处理；以及h.对所聚类结果重复执行步骤e-g直到聚类结果出现收敛为止。

根据本发明的聚类中心选取方法，所述步骤c包括：c1.根据第t-1帧和第t帧的原始灰度图像的灰度值计算光流值作为所述运动信息；以及c2.对所计算的光流值的幅值执行归一化处理。

根据本发明的聚类中心选取方法，还包括：步骤c2之前，若光流幅值小于1，则将其置零。

根据本发明的聚类中心选取方法，所述步骤e包括：对所述聚类所获得类中的所有像素点进行计数；对每个该类中的每个像素点的运动信息、灰度值以及坐标值分别求平均值；以及以所计算的特征的平均值来更新对应类的聚类中心。

根据本发明的聚类中心选取方法，所述步骤f包括：对于第t帧图像中的每个像素点，计算其与被更新过的每个聚类中心的距离；以及在第t帧图像中所有像素点和聚类中心之间，计算最大-最小距离D，并将与D对应的像素点确定为新增的聚类中心C_i。

根据本发明的聚类中心选取方法，所述步骤f还包括：当新增的聚类中心C_i对应第i个像素点的视差值小于预定阈值时，则再增加一个聚类中心C_i+1，其中聚类中心C_i的各个特征值与聚类中心C_i+1的对应的特征值之间的差小于10。

根据本发明的聚类中心选取方法，所述步骤g包括：针对任意一个聚类中心C_k，若第t帧图像中任意一个像素i的初始视差值不为零且等于聚类中心C_k的初始视差，在在初始视差值的指导下计算像素点与聚类之间的距离，否则不考虑初始视差值；以及根据每个像素与各个聚类中心之间的上述距离，将每个像素归类到与其距离最小的聚类中心所属的类中。

根据本发明的聚类中心选取方法，所述收敛通过计算Davies-Bouldin指数来判断。或者通过设定预定的重复次数来确定结束聚类中心的选取，例如重复50次，或者重复60次。

根据本发明的另一个方面，提供了一种视差计算方法，包括：采用上述的聚类中心选取方法选取图像的聚类中心并进行聚类；对每一个类，应用所获得聚类结果以及光流结果进行区域连接，从而优化聚类结果；对每一个类进行平面拟合，计算视差；以及采用所计算的视差来优化初始视差，从而得到稠密的视差图。

根据本发明的另一个方面，提供了一种聚类中心选取系统，包括：接收单元，接收同一照相机拍摄的相邻的第t-1帧和第t帧图像的原始灰度图像；初始视差计算单元，计算第t帧图像对应的初始视差值；运动信息计算单元，根据第t-1帧和第t帧的原始灰度图像的灰度值计算第t帧图像中像素点的运动信息；初步聚类单元，以所述运动信息、第t帧图像的灰度值以及第t帧图像坐标的各自的最大值与最小值形成的两个特征向量作为两个初步聚类中心，对第t帧图像进行初步聚类；聚类中心更新单元，计算所述聚类所获得的类中所有像素点的运动信息、灰度值以及坐标的平均值来更新对应类的聚类中心；新增聚类中心单元，针对采用平均值更新的聚类中心，通过遍历第t帧图像中的所有像素点，利用最大最小算法确定新增聚类中心；再聚类单元，基于初始视差图的视差值，以被更新的聚类中心以及新增聚类中心为聚类中心，对第t帧图像中的所有像素点以其运动信息、灰度值以及坐标为特征执行聚类处理；以及确定单元，对所聚类结果重复执行步骤e-g直到聚类结果出现收敛为止。

附图说明

图1A和1B显示了现有技术中较远的地方的物体被融合到背景中的示意图。

图2A和2B显示了现有技术中在通过分割方法形成视差图的过程中远处物体合并到背景中的示意图；

图3A和3B显示了现有技术中在通过传播的方法形成视差图的过程中远处物体合并到背景中的示意图；

图4所示的是采用根据本发明的聚类中心选取方法的流程图；

图5所示的是根据本发明的视差计算方法的流程图；

图6所示是根据本发明的的光流值计算方法的流程图；

图7A-7C所示的是通过图6所示的光流算法得到光流幅值图的实例；

图8A-8D显示了根据基于原始图、光流幅值图以及初始视差图获得聚类结果图的实例；

图9所示的是通过本发明的视差计算方法获得的视差图的实例；

图10所示的采用根据本发明的聚类中心选取方法的视差计算算法的装置的框图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

通常的视差图是通过对双目摄像机同时拍摄的灰度图进行立体匹配获得的。而在进行匹配之前需要进行聚类。正如前面所述，传统基于聚类的立体匹配算法同等对待每一个像素点，这是由于传统的聚类算的认为每一个像素点代表了同样的信息。因此聚类结果并不准确，从而导致了错误的视差图。同时传统的立体匹配算法也忽视了运动信息，从而导致了物体和背景之间边界不清晰。为此，本发明提出了一种基于时间和空间来选取聚类中心，从而改善视差图的视差计算的方法。

图4所示的是采用根据本发明的聚类中心选取方法的视差计算方法的总体流程图。如图4所示，首先，在步骤S401处，采用任意现有的方法，初始视差计算单元1001（将在后面描述）计算双目相机所拍摄的当前图像的视差值，从而得到视差图像。为了表述方便，将当前的图像称之为第t帧图像，而对于当前图像之前的相邻图像称之为第t-1帧图像。但是为了描述方便，后面不再强调这一点。随后，在步骤S402处，运动信息计算单元1002（将在后面描述）根据第t-1帧和第t帧的原始灰度图像的灰度值计算第t帧图像中像素点的运动信息。尽管在此处采用先后顺序表述了步骤S401和S402，其实这两个步骤可以同时进行。图6所示是根据本发明的计算运动信息的流程图。

如图6所示，首先，在步骤S61处，接收单元1261（将在后面描述）接收同一照相机拍摄的相邻的第t-1帧和第t帧图像的原始灰度图像。随后，在步骤S62处，光流值计算单元1262（将在后面描述）选取第t帧图像中的每一个像素点，确定以该像素点为中心的小区块（该区块例如为3×3、5×5、7×7等的像素块），并在第t-1帧图像中与第t帧图像的小区块对应的小区块中寻找与所选取的像素点的灰度值最接近的像素点，并计算所选取的像素点和所寻找的灰度值最接近的像素点之间的距离。将所计算的距离作为所选取的像素点的光流值。本发明采用Farneback(FB)算法，从第t-1帧和第t帧的灰度图像中计算光流值。通过上述计算之后，可得到x、y方向的运动信息：Vx,Vy（为像素点在xy方向的运动速度）。本发明将光流的幅值如下定义：

$\mathrm{mag}=\sqrt{V{x}^2+V{y}^2}...\left(1\right)$

光流的方向θ如下定义:

θ=arctan(Vy/Vx).............(2)

由于从第t-1帧到第t帧，若物体朝向相机运动，图像中的物体将变大；反之则变小。也就是说，物体的尺度随着不同帧的变化而变化。所以在同一物体上本应一致的运动方向并不相同。因此，本发明没有应用较不准确的方向信息，而选择光流的幅值作为主要特征用于后续的计算。

在得到光流幅值之后，在步骤S63处，噪声去除单元1263（将在后面描述）对光流幅值进行去噪声处理。光流幅值表明了从第t-1帧到第t帧，某一点移动的像素数。因此，若幅值过小，比如小于1，也就是说在两帧之间该点只移动了一个像素，这就很有可能是由噪音引起的。因此，我们忽略了幅值小于1的光流以达到去除噪声的目的。当然，该步骤是否存在并不影响本发明的主要目的。因此，如果为了提高计算效率，可以不进行该步骤。

最后，在步骤S64处，归一化单元1264（将在后面描述）对于所获得光流幅值进行了归一化处理。由于光流幅值表面某一点移动的像素数，故其值不是固定的。但在之后的聚类运算中，不同的特征将被融合在一起使用，诸如灰度信息、坐标信息等。因此其需要归一化至0-255，归一化的过程如下所示：

Nmag=(mag/mag_max)*255........(3)

通过计算光流可以从第t-1帧和第t帧图像中获得运动信息。在传统的立体匹配算法中，运动信息很少被使用。由此就会产生一个严重的问题：如果一个运动物体同背景有着类似的颜色（灰度），就很难把运动物体和背景区分开来。本发明提出光流幅值特征，将图像随时间变化的特征包含在随后的聚类算法中，为后续的立体匹配提供了运动信息。

图7A-7C所示的是通过图6所示的光流算法得到光流幅值图的实例。其中图7A为第t-1帧的灰度图，而图7B为第t帧的灰度图，图7C是通过光流算法所获得光流幅值图。图7C的灰度图像表明了光流值的大小。图上像素点越亮，该点的光流幅值越大。

在获得第t帧的初始视差图以及光流幅值图之后，在步骤S403处，初步聚类单元1003（将在后面描述），以所述运动信息、第t帧图像的灰度值以及第t帧图像坐标的各自的最大值与最小值形成的两个特征向量作为两个初步聚类中心，对第t帧图像进行初步聚类。

具体而言，从此步骤开始，进行聚类算法，在整个聚类的过程中，应用光流的幅值作为一维特征，来提供运动信息；应用坐标x和y分别作为一维特征来提供位置信息；应用第t帧图像的灰度信息作为一维特征，来提供静止物体的信息，因此共有4种特征。该初步聚类通过选取了所有像素中各个特征值差别最大两个值组成两个初始聚类中心。将所有像素中最大光流幅值、最大横坐标值，最大纵坐标值以及最大灰度值形成特征向量作为一个初始聚类中心，而将所有像素中最小光流幅值、最小横坐标值，最小纵坐标值以及最小灰度值形成特征向量作为一个初始聚类中心。也就是说，一个中心的特征值为最小值，另外一个的特征值为最大值。

然后，遍历所有像素点，基于下述计算公式（4），计算每个像素点与每个初始聚类中心之间的距离：

d=(mag[i]-C_mag[k])²+(x[i]-C_x[k])²*W+(y[i]-C_y[k])²*W+(gray[i]-C_gray[k])²)............(4)

公式（4）表明了第i个像素点同第k个中心之间的距离，其中mag为像素的光流幅值，C_mag为聚类中心的光流幅值，x、y为像素的坐标，Cx、Cy为聚类中心的坐标，gray为像素的灰度值，C_gray为聚类中心的灰度值，W为坐标（x、y）的权重。由于图像大小是1280*960,同光流幅值、灰度值（0-255）没有可比性，故需要一个权重来调节。经过多次试验表明，0.01是较为合适的权重。也可以采用其他权重值，例如0.009、0.011等。

计算出像素点和初始聚类中心之间的距离后，将该像素点归至与这两个初始聚类中心之间的距离最小的那一类当中。通过此过程，即完成一次聚类的过程，每一个像素点都归至对应的类中。

在进行初始聚类处理之后，在步骤S404处，聚类中心更新单元1004（将在后面描述）计算所述初步聚类所获得的每个类中所有像素点的运动信息、灰度值以及坐标的平均值来更新对应类的聚类中心。

具体而言，首先统计每个类（例如第i类）中像素点的数量，通常将像素点数量计为N。然后，采用公式（5）通过累加所有属于第i类的像素点的同类特征值，并对所述第i类的所有像素点的同类特征值的累加和计算平均值，并将所求的该类特征的平均值作为第i类的新的聚类中心的该类特征值。

$C\left[i\right]=\underset{k=0}{\overset{N}{\mathrm{\Σ}}}S\left[k\right]/N...\left(5\right)$

其中，C[i]为更新后的第i类的聚类中心的特征值，S[k]为属于第i类的第k个像素点的特征，N为所有属于第i类的像素点的个数。通过上述方式，对初步聚类所获得的类的聚类中心进行更新。

在更新初步聚类中心之后，在步骤S405处，新增聚类中心单元1005（将在后面描述）针对采用平均值更新的聚类中心，通过遍历第t帧图像中的所有像素点，利用最大最小算法确定新增聚类中心。

本发明应用最大-最小距离法来确定新增聚类中心C_i。具体而言，就是对于第t帧图像中的每个像素点，例如像素j，计算其和经过更新过的聚类中心的距离，例如d(C₁,j)、d(C₂,j)、d(C₃,j)、...d(C_k,j)。然后，采用公式（6），首先获取每个像素相对于两个更新过的聚类中心的最小值，接着，在比较所有像素的这样获得的最小值，获取其这些最小值中的最大值，从而计算最大-最小距离D。

D=max{min(d(C₁,j),d(C₂,j),d(C₃,j)...d(C_k,j))}.......(6)

若第i个像素点计算出了最大-最小的距离，则确定其为新增聚类中心C_i。这样，就将聚类中心增加为3个。

但是，本发明人注意到，若某一像素点的初始视差值大于一个预定阈值，则意味着该点距离相机较近；若某一像素点的初始视差值小于该阈值，则意味着该点距离相机较远。当所确定的新增聚类中心C_i所对应的第i个像素点的初始是差值较小时，则意味着第i个像素点距离相机较远。如果直接以其为中心进行聚类，可能存在聚类粗糙的聚类结果。为了进行更精细聚类，为此，本发明基于新增聚类中心C_i，增加了特征值差别在一定范围内的新增聚类中心C_i+1。增加新增聚类中心C_i+1的原则是这两者非常相似，即两者对应的特征值之差小于一个预定值，该预定值例如，为5、10、15、20等。该预定值可根据实际需要在系统运行之初输入。另外，为判断新增聚类中心C_i所对应的第i个像素点的远近，可以设置一个视差阈值，如果新增聚类中心C_i所对应的第i个像素点的初始视差值小于所设置的阈值，则确定第i个像素点距离相机较远，并采用上述步骤增加新增聚类中心C_i+1反之，则不执行上述步骤。

在增加新的聚类中心之后，在步骤S409处，再聚类单元1009（将在后面描述）基于初始视差图的视差值，以被更新的聚类中心以及新增聚类中心为聚类中心，对第t帧图像中的所有像素点以其运动信息、灰度值以及坐标为特征执行聚类处理。

具体而言，在得到新的聚类中心之后，针对被更新过的聚类中心和新增聚类中心中的每个聚类中心，通过遍历第t帧图像中的所有像素点，对所有的像素点再次进行聚类。

若第t帧图像中的第i个像素点的不为0的初始视差值等于所有聚类中心中的第k个聚类中心的初始视差值，则采用公式（7）计算第i个像素点与第k个聚类中心之间的距离：

d=((mag[i]-C_mag[k])²+(x[i]-C_x[k])²*W+

(y[i]-C_y[k])²*W+(gray[i]-C_gray[k])²))/disparity[k]........(7)

若第t帧图像中的第i个像素点的初始视差值不等于所有聚类中心中的第k个聚类中心的初始视差值，则采用公式（8）计算第i个像素点与第k个聚类中心之间的距离:

d=(mag[i]-C_mag[k])²+(x[i]-C_x[k])²*W+(y[i]-C_y[k])²*W+(gray[i]-C_gray[k])²)......(8)

上述公式（7）和（8）表明的了第i个像素点同第k个中心之间的距离，mag为像素的光流幅值，C_mag为聚类中心的光流幅值；x、y为像素的坐标，Cx、Cy为聚类中心的坐标；gray为像素的灰度值，C_gray为聚类中心的灰度值。权重W同样设置为0.01。disparity[k]为第k个聚类中心的初始视差值。

也就是说，在上述聚类过程中，本发明所使用的公式（7）和（8）所计算的距离，都是在初始视差值的指导下完成计算的。这一过程提高了某一像素被归到和聚类中心拥有同样初始视差值的类中的可能性。

在完成在聚类处理之后，在步骤S410处，确定单元1010（将在后面描述）聚类结果是否出现收敛。当然，也可以通过设定重复次数或聚类中心的个数来确定何时结束。例如，当有50个聚类中心时，结束上述聚类中心的选取处理。

在本发明中，确定单元1010采用Davies-Bouldin指数来决定上述聚类中心选取过程所采用的算法何时收敛。

首先，确定单元1010采用公式（9）计算类间距离：

$d(C_i,C_j)=\sqrt{\underset{h=1}{\overset{p}{\mathrm{\Σ}}}{(C_{\mathrm{ih}}-C_{\mathrm{jh}})}^2}...\left(9\right)$

其中，C_i,C_j为第i类和第j类的聚类中心，p为中心特征的维数。

然后，确定单元1010采用公式（10）计算类内距离：

$S_i=\frac{1}{\left|C_i\right|}{\mathrm{\Σ}}_{x\∈C_i}\sqrt{\underset{h=1}{\overset{p}{\mathrm{\Σ}}}{(C_{\mathrm{ih}}-x_h)}^2}...\left(10\right)$

其中x为属于第i类的像素点，C_i为第i类的中心，|C_i|为所有属于第i类的像素点的个数。

最后，计算Davies-Bouldin指数:

$\mathrm{DBI}=\frac{1}{k}\underset{l=1}{\overset{k}{\mathrm{\Σ}}}\max \left\{\frac{S_i+S_j}{d(C_i,C_j)}\right\}...\left(11\right)$

如果DBI_new>DBI_old，则表示算法出现收敛，则结束重复过程。

或者，在k=50时，结束整个聚类中心选取过程。当然k的值可以根据图像的实际大小进行选择，例如可以为60、80或100等。

如果上述条件不满足，即算法未出现收敛或者聚类中心的数量不到设定值，则聚类中心的选取过程返回到步骤S404，重复执行步骤S404-409，直到满足上述条件为止。需要注意的是，在返回到步骤S404时，更新的不是最初的初始聚类中心，而是在步骤S409处所使用的聚类中心。

随后在步骤S411处，聚类结果输出单元1011（将在后面描述）输出聚类结果。图8A-8D显示了根据基于原始图、光流幅值图以及初始视差图获得聚类结果图的实例。其中，图8A显示了原始图，图8B显示了光流幅值图，图8C显示了初始视差图，而图8D显示了聚类结果图。如图8D所示，远处的车被归为一类，而没有融入到背景中。

图5所示的是根据本发明的视差计算方法的流程图。如图5所示，该视差计算方法基于所输出的聚类结果，可以得到具有清晰边界的稠密视差图像。即，在步骤S412处，区域连接单元1012（将在后面描述）对每一个类，利用在步骤S411处输出聚类结果以及在步骤S402处输出的光流结果进行区域连接，以优化聚类结果。具体而言，首先，对于所有像素i，若其光流幅值不为0，则确认为有效像素。其次，对于一个有效像素，将其置为8-邻域的中心。然后，比较邻域某一点和中心的聚类标记，若它们标记相同，则将中心的初始视差赋予该点。最后，重复上述过程直至所有像素点均被遍历。通过该步骤S411所述的过程，使得聚类结果得到优化。以上过程是像素级别的，因而可以消除某些由于光流非常相似而坐标位置相差很远的像素点产生的噪声。

然后，在步骤S413处，平面拟合单元1013（将在后面描述）对每个类采用平面拟合方法来计算视差值。平面拟合方法包括两个步骤：首先，用区域块内有效的视差值估计一个平面方程；其次，用平面方程来计算区域块内所有像素的视差值。用最小二乘法以矩阵运算的形式来计算平面方程的参数。

更确切的说，本发明用公式（12）来描述每个大块的视差值，其中，c₁，c₂和c₃是由初始视差值经过最小二乘法计算得到。

d=c₁*x+c₂*y+c₃...........(12)

假设在某个类内有n个有效点(x_i,y_i,d_i),i=0,1,...,n-1，用这些点来拟合一个平面等同于最小化下面的表达式（13）：

$S=\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}{(c_1*x_i+c_2*y_i+c_3-d_i)}^2...\left(13\right)$

为最小化S，应该使得表达式（14）成立，等同于下面的表达式（15）和（16）。

$\frac{\∂S}{\∂c_k}=0,k=\mathrm{0,1,2}...\left(14\right)$

$\left\{\begin{array}{c}\mathrm{\Σ}2(c_1*x_i+c_2*y_i+c_3-d_i)*x_i=0\\ \mathrm{\Σ}2(c_1*x_i+c_2*y_i+c_3-d_i)*y_i=0\\ \mathrm{\Σ}2(c_1*x_i+c_2*y_i+c_3-d_i)=0\end{array}\right....\left(15\right)$

$\left|\begin{array}{ccc}\mathrm{\Σ}{x}_i^2& \mathrm{\Σ}{x}_i{y}_i& \mathrm{\Σ}{x}_i\\ \mathrm{\Σ}{x}_i{y}_i& \mathrm{\Σ}{y}_i^2& \mathrm{\Σ}{y}_i\\ \mathrm{\Σ}{x}_i& \mathrm{\Σ}{y}_i& n\end{array}\right|\left(\begin{array}{c}{c}_1\\ c_2\\ c_3\end{array}\right)=\left(\begin{array}{c}\mathrm{\Σ}{x}_i{d}_i\\ \mathrm{\Σ}{y}_i{d}_i\\ \mathrm{\Σ}{d}_i\end{array}\right)...\left(16\right)$

其中c₁，c₂和c₃通过矩阵运算得到，进而大区域块的视差值可以求得。

然后，在步骤S414处，视差值优化单元1014（将在后面描述）应用S412处得到的结果优化初始的视差值，从而得到更加稠密的视差图。最后，在步骤S415处，视差图输出单元1015（将在后面描述）输出稠密视差图。

图9所示的是通过本发明的视差计算方法获得的视差图的实例。如图9所示，同图2（b）相比，远处车的边界更加清晰，而且也没有融入到背景当中，车身上的视差值噪音较少，比较平滑。同时，近处的物体的视差值同原始方法相比没有变差。试验结果证明了本发明方法的有效性。

图10所示的采用根据本发明的聚类中心选取方法的视差计算算法的装置的框图。如图10所示，该系统包括聚类中心选取系统10以及视差计算系统20。聚类中心选取系统10包括：初始视差计算单元1001，计算双目相机所拍摄的当前图像的视差值，从而得到视差图像；运动信息计算单元1002，根据第t-1帧和第t帧的原始灰度图像的灰度值计算第t帧图像中像素点的运动信息；初步聚类单元1003，以所述运动信息、第t帧图像的灰度值以及第t帧图像坐标的各自的最大值与最小值形成的两个特征向量作为两个初步聚类中心，对第t帧图像进行初步聚类；聚类中心更新单元1004，计算所述初步聚类所获得的每个类中所有像素点的运动信息、灰度值以及坐标的平均值来更新对应类的聚类中心；新增聚类中心单元1005，针对采用平均值更新的聚类中心，通过遍历第t帧图像中的所有像素点，利用最大最小算法确定新增聚类中心；再聚类单元1009，基于初始视差图的视差值，以被更新的聚类中心以及新增聚类中心为聚类中心，对第t帧图像中的所有像素点以其运动信息、灰度值以及坐标为特征执行聚类处理；确定单元1010，确定聚类结果是否出现收敛；以及聚类结果输出单元1011，输出聚类结果。当确定单元1010确定出现收敛时，指令结束聚类中心选取处理，否则，将聚类中心信息反馈到聚类中心更新单元1004开始重复执行在聚类中心更新单元1004、新增聚类中心单元1005以及再聚类单元1009中的处理。当然，也可以通过设定重复次数或聚类中心的个数来确定何时结束。视差计算系统20包括：区域连接单元1012，对每一个类，利用聚类结果输出单元1011输出聚类结果以及在步骤S402处输出的光流结果进行区域连接，以优化聚类结果；平面拟合单元1013，对每个类采用平面拟合方法来计算视差值；以及视差值优化单元1014，应用平面拟合单元1013得到的结果优化初始的视差值，从而得到更加稠密的视差图。

根据本发明上述描述基于时-空聚类方法的立体匹配方法，首先对根据第t-1帧和第t帧的参考图像进行计算光流值，经过这步处理后，可以获得光流的幅值；然后以初始的视差值作为指导，对得到的光流结果进行聚类；然后根据聚类结果和初始视差图像来计算视差值，从而得到最终的视差图像。本发明的方法对于处于不同距离上的像素点根据其比例区别对待，因此本发明的聚类方法将初始的视差值作为另外一条线索，指导整个聚类过程，以期得到更准确的聚类结果，同时，本发明所描述的方法也包括了运动信息。因此本发明的方法可得到正确的视差图像。

而且，本发明的聚类中心选取方法将图像分割性质相同的块（每个区域内的像素点拥有某些共同的性质）聚类中心和聚类准则是聚类算法的关键。而现有的K-means算法随机设定初始中心，而且对每一维特征都同等对待。

本发明应用光流的幅值、灰度信息和坐标(x,y)作为聚类的特征，也就是说，时间信息被应用于算法中。同时，采用初始的视差值指导聚类算法的初始中心：在远处分更多的类，因而不同的物体可以区分开来。而且，初始的视差值也作为一个约束条件，用于计算像素点和聚类中心之间的距离，因而像素点被归到正确的类中的可能性得以提高。也就是说，空间信息也被应用于算法中。通过有效的融合时间和空间信息，得到了新的时-空聚类算法。应用运动信息，可以区分运动的物体和背景；运用空间信息，可以区别对待远处和近处的物体，从而得到远处更清晰的物体。融合这两种信息，可得到更好的聚类结果。

另外，本发明应用最大-最小距离算法计算聚类中心，并辅以初始视差值作为指导。因此，聚类中心具有自适应性。

而且，本发明利用初始视差值指导距离的计算，因此，聚类的特征对像素点具有自适应性，而且不会产生某个特征成为聚类的唯一指标，所以结果更加有效。

此外，本发明应用的是像素级别的运动信息，因此，运动信息更有效的应用于后续过程。同时，本发明还将空间信息和运动信息进行了融合，得到更有效的特征应用于后续过程。尤其需要指出的是，本发明在聚类之初就设立了较为合理的聚类中心，因而对最终结果影响较小。

基于上述本发明的方法，提出一种新的时-空聚类方法，可获得更准确的聚类结果，进而可以得到具有清晰边界的稠密视差图。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种聚类中心选取方法，包括：

a.接收同一照相机拍摄的相邻的第t-1帧和第t帧图像的原始灰度图像；

b.获取第t帧图像对应的初始视差图；

c.根据第t-1帧和第t帧的原始灰度图像的灰度值计算第t帧图像中像素点的运动信息；

d.以所述运动信息、第t帧图像的灰度值以及第t帧图像坐标的各自的最大值与最小值形成的两个特征向量作为两个初步聚类中心，对第t帧图像进行初步聚类；

e.计算所述聚类所获得的类中所有像素点的运动信息、灰度值以及坐标的平均值来更新对应类的聚类中心；

f.针对采用平均值更新的聚类中心，通过遍历第t帧图像中的所有像素点，利用最大最小算法确定新增聚类中心；

g.基于初始视差图的视差值，以被更新的聚类中心以及新增聚类中心为聚类中心，对第t帧图像中的所有像素点以其运动信息、灰度值以及坐标为特征执行聚类处理；以及

h.对所聚类结果重复执行步骤e-g直到聚类结果出现收敛为止。

2.如权利要求1所述的聚类中心选取方法，所述步骤c包括：

c1.根据第t-1帧和第t帧的原始灰度图像的灰度值计算光流值作为所述运动信息；以及

c2.对所计算的光流值的幅值执行归一化处理。

3.如权利要求2所述的聚类中心选取方法，还包括：

步骤c2之前，若光流幅值小于1，则将其置零。

4.如权利要求2或3所述的聚类中心选取方法，所述步骤e包括：

对所述聚类所获得类中的所有像素点进行计数；

对每个该类中的每个像素点的运动信息、灰度值以及坐标值分别采用下述公式求平均值：

$C\left[i\right]=\underset{k=0}{\overset{N}{\mathrm{\Σ}}}S\left[k\right]/N$

其中，C[i]为第i类的聚类中心的特征平均值，S[k]为属于第i类的第k个像素点的特征值，N为所有属于第i类的像素点的个数；以及

以所计算的特征的平均值来更新对应类的聚类中心。

5.如权利要求4所述的聚类中心选取方法，所述步骤f包括：

对于第t帧图像中的每个像素点j，计算其与被更新过的每个聚类中心的距离d(C₁,j)、d(C₂,j)、d(C₃,j)、...d(C_k,j)；以及

在第t帧图像中所有像素点和聚类中心之间，计算最大-最小距离D，并将与D对应的第i个像素点确定为新增的聚类中心C_i，

D=max{min(d(C₁,j),d(C₂,j),d(C₃,j)...d(C_k,j))}

其中，其中k被更新的聚类中心的数量，且k≧2。

6.如权利要求5所述的聚类中心选取方法，所述步骤f还包括：

当新增的聚类中心C_i对应第i个像素点的视差值小于预定阈值时，则再增加一个聚类中心C_i+1，其中聚类中心C_i的各个特征值与聚类中心C_i+1的对应的特征值之间的差小于10。

7.如权利要求6所述的聚类中心选取方法，所述步骤g包括：

针对任意一个聚类中心C_k，若第t帧图像中任意一个像素i的初始视差值不为零且等于聚类中心C_k的初始视差，则该像素i与聚类中心C_k之间的距离由下面表达式计算：

d=((mag[i]-C_mag[k])²+(x[i]-C_x[k])²*W+(y[i]-C_y[k])²*W+(gray[i]-C_gray[k])²)/disparity[k]

若第t帧图像中任意一个像素i的初始视差值不等于聚类中心C_k的初始视差，则该像素i与聚类中心C_k之间的距离由下面表达式计算：

d=(mag[i]-C_mag[k])²+(x[i]-C_x[k])²*W+(y[i]-C_y[k])²*W+(gray[i]-C_gray[k])²)

其中d为第i个像素点同第k个聚类中心之间的距离，mag为像素的光流幅值，C_mag为聚类中心的光流幅值，x、y为第i个像素的坐标，C_x、C_y为聚类中心的坐标，gray为第i个像素的灰度值，C_gray为聚类中心的灰度值，disparity[k]为第k个聚类中心的初始视差值，W为权重值，设置为0.001-0.015之间；以及

根据每个像素与各个聚类中心之间的上述距离，将每个像素归类到与其距离最小的聚类中心所属的类中。

8.如权利要求7所述的聚类中心选取方法，所述收敛通过计算Davies-Bouldin指数来判断。

9.一种视差计算方法，包括：

采用权利要求1-8之一所述的聚类中心选取方法选取图像的聚类中心并进行聚类；

对每一个类，应用所获得聚类结果以及光流结果进行区域连接，从而优化聚类结果；

对每一个类进行平面拟合，计算视差；

采用所计算的视差来优化初始视差，从而得到稠密的视差图。

10.一种聚类中心选取系统，包括：

接收单元，接收同一照相机拍摄的相邻的第t-1帧和第t帧图像的原始灰度图像；

初始视差计算单元，计算第t帧图像对应的初始视差值；

运动信息计算单元，根据第t-1帧和第t帧的原始灰度图像的灰度值计算第t帧图像中像素点的运动信息；

初步聚类单元，以所述运动信息、第t帧图像的灰度值以及第t帧图像坐标的各自的最大值与最小值形成的两个特征向量作为两个初步聚类中心，对第t帧图像进行初步聚类；

聚类中心更新单元，计算所述聚类所获得的类中所有像素点的运动信息、灰度值以及坐标的平均值来更新对应类的聚类中心；

新增聚类中心单元，针对采用平均值更新的聚类中心，通过遍历第t帧图像中的所有像素点，利用最大最小算法确定新增聚类中心；

再聚类单元，基于初始视差图的视差值，以被更新的聚类中心以及新增聚类中心为聚类中心，对第t帧图像中的所有像素点以其运动信息、灰度值以及坐标为特征执行聚类处理；以及

确定单元，对所聚类结果重复执行步骤e-g直到聚类结果出现收敛为止。