CN108764359A - 无参数的k均值聚类方法 - Google Patents

Abstract

一种无参数的k均值聚类方法，属于数据处理技术领域。本发明的目的是为图像、人体生物特征、汽车驾驶员等对象采集到的多分类数据集，提供一种无参数的k均值聚类方法，其适用于对各种多分类大数据集进行分析。本发明的步骤是：计算待分类数据集中各个数据点的密度；计算分类数据集中各个数据点的离散度；筛选初始类中心和聚类数；用传统k‑mean进行聚类分析并输出结果。本发明适用于对汽车驾驶姿态、驾驶行为、驾驶偏好等信息进行分类识别，便于提前预警疲劳驾驶、异常驾驶，做出相应的驾驶决策、保障车辆安全行驶。

Description

无参数的k均值聚类方法

技术领域

本发明属于数据处理技术领域。

背景技术

K均值算法(k-means clustering method，CM)是一种常用的无监督聚类算法，目前已被广泛应用于图像处理领域进行图像分割；用于生物特征识别领域进行人体的身份验证；用于汽车驾驶姿态、行为的分类识别，便于提前预警疲劳驾驶，保障车辆行驶安全。然而该算法在对各个领域采集到的数据集进行聚类分析时，需要人为预先设定两个参数，一个是代表聚类个数的k参数，另一个是初始聚类中心点。这两个参数的选取，直接影响着聚类结果，使聚类陷入局部最优，导致不准确。目前，改进的一些k-mean算法通常通过拉网式训练来选择最优的参数，这并不高效。为了解决这些问题，本发明提出一种无参数的智能k均值聚类算法(paremeter-free Intelligent k-Mean，IKM)。本发明能对从图像、人体生物特征、汽车驾驶员等对象采集到的多类大数据集进行聚类实验，准确评估出聚类数和聚类初值，从而进行优化聚类。

发明内容

本发明的目的是为图像、人体生物特征、汽车驾驶员等对象采集到的多分类数据集，提供一种无参数的k均值聚类方法，其适用于对各种多分类大数据集进行分析。

本发明的步骤是：

第一步计算待分类数据集中各个数据点的密度；

第二步计算分类数据集中各个数据点的离散度；

第三步筛选初始类中心和聚类数；

第四步是用传统k-mean进行聚类分析并输出结果。

本发明所述的计算待分类数据集中各个数据点的密度：

(1)先计算数据集中每个数据点x_i的邻域密度，具体计算方法如下：

对计算数据点x_i的邻域U(x_i)＝{x_j|x_j∈Xandd_ij≤d_l}(i≠j)，其中d_ij＝d(x_i,x_j)，表示两个数据点i和j之间的欧式距离；距离阈值d_l定义为数据集X中样本之间所有距离的平均值的1/10，可表示为：

(2)数据集X中的任意样本点x_i的密度定义为点x_i的邻域U(x_i)内所包含样本点的欧式距离之和，可表达为：计算每个数据点x_i的密度den_i之后，用以下公式对其进行归一化处理：d1_i＝den_i/max(den_i)。

本发明所述的计算分类数据集中各个数据点的离散度：即数据集X中各个数据点x_i的离散度ρ_i，

密度最大的数据点的离散度ρ_i设定为该点与数据集X中所有点的最大距离，公式表达为：

ρ_i＝max(d_ij) (2)

对其它数据点，若存在比该点密度高的数据点，则选择与其他高密度点之间的最小距离来衡量该点的离散度ρ_i，公式表达为：

ρ_i＝min(d_ij) (3)

计算每个数据点x_i的离散度ρ_i之后，用以下公式对其进行归一化处理：

d2_i＝ρ_i/max(ρ_i) (4)。

本发明所述的筛选初始类中心和聚类数：即初始聚类中心{c₁,c₂,…,c_k}、聚类数k，(1)以归一化后的密度和离散度组成一个向量(d1_i,d2_i)，用来评估数据点x_i是否是候选聚类中心；

(2)计算该点与其最近邻的5个点的距离之和

筛选出那些D_i值大于2倍均方差的点作为初始聚类中心{c₁,c₂,…,c_k}。

本发明所述的聚类分析是对待分类数据集X进行聚类分析，

预估初始聚类中心值{c₁,c₂,…,c_k}，以及初始聚类中心数k，作为k-mean算法的初始输入参数，实现对多类数据集的无参数聚类分析。

本发明所提出的无参数的k均值聚类算法，无需人为确定聚类数和聚类初值，能够有效地弥补传统k均值算法的缺点，聚类性能更优化，适用于对图像处理领域采集到的各类图像进行图像分割；适用于生物特征识别领域采集到的掌纹、手形、声音、指纹、静脉等人体生物特征进行聚类分析，以进行有效的身份验证；适用于对汽车驾驶姿态、驾驶行为、驾驶偏好等信息进行分类识别，便于提前预警疲劳驾驶、异常驾驶，做出相应的驾驶决策、保障车辆安全行驶。

附图说明

图1是的算法流程图；

图2本发明用于验证分类有效性的大数据X在平面上的直观显示；

图3图示本发明所述聚类中心筛选的过程及结果；其中(a)图为聚类中心选择图；(b)图为聚类中心点筛选过程图；(c)图为聚类中心筛选结果图；

图4本发明对多分类数据的聚类效果示意图；

图5本发明在人体手背静脉特征(左手)识别中的应用效果；

图6本发明在人体手背静脉特征(右手)识别中的应用效果。

具体实施方式

本发明的步骤是：

第一步计算待分类数据集中各个数据点的密度；

第二步计算分类数据集中各个数据点的离散度；

第三步筛选初始类中心和聚类数；

第四步是用传统k-mean进行聚类分析并输出结果。

本发明所述的计算待分类数据集中各个数据点的密度：

(1)基于聚类中心点具有密度较高，被一些低密度数据点围绕这一特征，本发明先计算数据集中每个数据点x_i的邻域密度，具体计算方法如下：

对计算数据点x_i的邻域U(x_i)＝{x_j|x_j∈Xandd_ij≤d_l}(i≠j)，其中d_ij＝d(x_i,x_j)，表示两个数据点i和j之间的欧式距离；距离阈值d_l定义为数据集X中样本之间所有距离的平均值的1/10，可表示为：

(2)数据集X中的任意样本点x_i的密度定义为点x_i的邻域U(x_i)内所包含样本点的欧式距离之和，可表达为：计算每个数据点x_i的密度deni之后，用以下公式对其进行归一化处理：d1_i＝den_i/max(den_i)。

本发明所述的计算分类数据集中各个数据点的离散度：即数据集X中各个数据点x_i的离散度ρ_i，一个高密度点，若与其它高密度点的距离都较大，则该点越有可能是一个聚类中心点，在计算了每个数据点x_i的密度den_i之后，需要计算样本点x_i与其它高密度点的距离，以此来衡量数据点x_i与其他高密度点的离散程度，本发明中简称为离散度ρ_i，密度最大的数据点，可以默认为是一个聚类中心，因此该点的离散度ρ_i设定为该点与数据集X中所有点的最大距离，公式表达为：

ρ_i＝max(d_ij) (2)

对其它数据点，若存在比该点密度高的数据点，则选择与其他高密度点之间的最小距离来衡量该点的离散度ρ_i，公式表达为：

ρ_i＝min(d_ij) (3)

计算每个数据点x_i的离散度ρ_i之后，用以下公式对其进行归一化处理：

d2_i＝ρ_i/max(ρ_i) (4)。

本发明所述的筛选初始类中心和聚类数：即初始聚类中心{c₁,c₂,…,c_k}、聚类数k，(1)如果一个数据点x_i归一化后的密度d1_i和离散度d2_i越高，这个数据点x_i就越有可能是一个聚类中心点，本发明以归一化后的密度和离散度组成一个向量(d1_i,d2_i)，用来评估数据点x_i是否是候选聚类中心；

(2)具体评估方法为：计算该点与其最近邻的5个点的距离之和

筛选出那些D_i值大于2倍均方差的点作为初始聚类中心{c₁,c₂,…,c_k}。

本发明所述的聚类分析是对待分类数据集X进行聚类分析，

预估初始聚类中心值{c₁,c₂,…,c_k}，以及初始聚类中心数k，作为k-mean算法的初始输入参数，实现对多类数据集的无参数聚类分析。

下面结合附图对本发明做详细的描述：

本发明是设计算法预估初始聚类中心值，以及初始聚类中心个数k，并作为初始聚类中心值输入k均值算法，实现对多类数据集的无参数聚类分析。本发明所述的无参数的智能k均值聚类算法的流程图如图1所示。主要由四个步骤完成本发明：第一步计算待分类数据集中各个数据点的密度；第二步计算分类数据集中各个数据点的离散度；第三步筛选初始类中心和聚类数；第四步是用传统k-mean进行聚类分析并输出结果。本发明前三步的主要任务是确定最优聚类个数k和最佳初始聚类中心{c₁,c₂,…,c_k}；第四步的主要任务是将前三步确定的参数作为输入参数值对待分类数据集X进行聚类分析。

为了更直观地展现本发明所提算法对多分类大数据的分类性能，我们用matlab软件构建了具有高斯分布的2维数据集X。数据集X由20个类，每个类包含200个数据点，合计4000个数据点组成。数据集可数学表达为X＝{x₁,x₂,…,x_N}，N＝4000，其中每个数据点x_i＝(x_i1,x_i2,…,x_iM)∈R^M，是一个M＝2维的数据点。将数据集X中的所有数据点在x-y坐标轴上画出来，如图2所示。

1)、计算数据集X中的所有数据点x_i的密度den_i

聚类中心点具有密度较高，被一些低密度数据点围绕这一特征。基于此，本发明首先计算数据集中每个点的邻域密度，具体计算方法如下：

对计算数据点x_i的邻域U(x_i)＝{x_j|x_j∈Xandd_ij≤d_l}(i≠j)，其中d_ij＝d(x_i,x_j)，表示两个数据点i和j之间的欧式距离；距离阈值d_l定义为数据集X中样本之间所有距离的平均值的1/10，可表示为：

数据集X中的任意样本点x_i的密度定义为点x_i的邻域U(x_i)内所包含样本点的欧式距离之和，可表达为：

计算每个数据点x_i的密度den_i之后，用以下公式对其进行归一化处理：

d1_i＝den_i/max(den_i)。

2)、计算数据集X中各个数据点x_i的离散度ρ_i

一个高密度点，若与其它高密度点的距离都较大，则该点越有可能是一个聚类中心点。在计算了每个数据点x_i的密度den_i之后，需要计算样本点x_i与其它高密度点的距离，以此来衡量数据点x_i与其他高密度点的离散程度，本发明中简称为离散度ρ_i。密度最大的数据点，可以默认为是一个聚类中心，因此该点的离散度ρ_i设定为该点与数据集X中所有点的最大距离，公式表达为：ρ_i＝max(d_ij)。对其它数据点，若存在比该点密度高的数据点，则选择与其他高密度点之间的最小距离来衡量该点的离散度ρ_i，公式表达为：ρ_i＝min(d_ij)。

计算每个数据点x_i的离散度ρ_i之后，用以下公式对其进行归一化处理：

d2_i＝ρ_i/max(ρ_i)。

3)、选择初始聚类中心{c₁,c₂,…,c_k}及聚类数k

a)、如果一个数据点x_i的密度den_i和离散度ρ_i越高，这个数据点x_i就越有可能是一个聚类中心点。本发明将归一化后的密度和离散度组成一个向量(d1_i,d2_i)，用来评估数据点x_i是否是候选聚类中心，为了更直观地体现选择聚类个数及中心点的过程，本发明以归一化后的密度d1_i为横坐标，归一化后的离散度d2_i为纵坐标，画成一张图，如图3(a)所示，图中那些d1_i和d2_i都高的离散点作为初始聚类中心的概率较大。

b)、具体评估数据点x_i是否是候选聚类中心的方法为：计算该点与其最近邻的5个点的距离之和将D_i值按降序排列，如图3(b)所示，筛选出那些D_i值大于2倍均方差的点，既是图3(b)中D_i值高于虚线线条的那些数据点作为初始聚类中心。

c)、将图3(b)选择的那些初始聚类中心，用彩色标注在图3(a)上，如图3(c)所示，可以直观地看到，对数据集X用本发明所述方法能够自动找到20个初始聚类中心。

4)、对待分类数据集X进行聚类分析

预估初始聚类中心值{c₁,c₂,…,c_k}，以及初始聚类数k，作为k-mean算法的初始输入参数，实现对多类数据集的无参数聚类分析。对数据集X，将其中的每一个样本分配到距离其最近的聚类中。

使误差函数J达到最小。

式中，N为样本数量，k为聚类个数，d(x_i,c_j)代表数据集中第i个样本x_i与第j个聚类中心c_j之间的欧氏距离。其分类结果如图4所示，可见有4000个数据点的数据集X可分为20个类。

5)、实践应用——人体手背静脉识别

为了验证本发明的实用性，我们选择用该发明对人体手背静脉特征进行识别。通过实验室自己搭建的手背静脉采集装置，采集人体手背静脉图像。共采集了150个人，每个人10张图像，分为左手5张，右手5张。合计1500张人体手背静脉图像，其中左手手背静脉图像750张，如图5所示；右手手背静脉图像750张，如图6所示。通过本发明所提方法对其进行聚类分析，其聚类结果如图5、图6所示，图中画圈点标注的图像为本发明中自动筛选出的聚类中心点，由图6可见，对于来自150个人的左手手背静脉图像，应用本发明能够有效预估出148个初始聚类中心，其中第15和第22个人的左手手背静脉图像不能预估出来；对于来自150个人的右手手背静脉图像，应用本发明同样有效预估出148个初始聚类中心，其中第39和第68个人的右手手背静脉图像不能预估出来。

由此可见，本发明能够有效地对手背静脉图像数据的聚类数及初始聚类中心进行预估，从而实现了原始k-mean算法的无参数智能聚类。能对多类大数据进行聚类分析。

Claims (5)

1.一种无参数的k均值聚类方法，其特征在于：

第一步计算待分类数据集中各个数据点的密度；

第二步计算分类数据集中各个数据点的离散度；

第三步筛选初始类中心和聚类数；

第四步是用传统k-mean进行聚类分析并输出结果。

2.根据权利要求1所述的无参数的k均值聚类方法，其特征在于：所述的计算待分类数据集中各个数据点的密度：

(1)先计算数据集中每个数据点x_i的邻域密度，具体计算方法如下：

对计算数据点x_i的邻域U(x_i)＝{x_j|x_j∈X and d_ij≤d_l}(i≠j)，其中d_ij＝d(x_i,x_j)，表示两个数据点i和j之间的欧式距离；距离阈值d_l定义为数据集X中样本之间所有距离的平均值的1/10，可表示为：

(2)数据集X中的任意样本点x_i的密度定义为点x_i的邻域U(x_i)内所包含样本点的欧式距离之和，可表达为：计算每个数据点x_i的密度den_i之后，用以下公式对其进行归一化处理：d1_i＝den_i/max(den_i)。

3.根据权利要求1所述的无参数的k均值聚类方法，其特征在于：所述的计算分类数据集中各个数据点的离散度：即数据集X中各个数据点x_i的离散度ρ_i，

密度最大的数据点的离散度ρ_i设定为该点与数据集X中所有点的最大距离，公式表达为：

ρ_i＝max(d_ij) (2)

对其它数据点，若存在比该点密度高的数据点，则选择与其他高密度点之间的最小距离来衡量该点的离散度ρ_i，公式表达为：

ρ_i＝min(d_ij) (3)

计算每个数据点x_i的离散度ρ_i之后，用以下公式对其进行归一化处理：

d2_i＝ρ_i/max(ρ_i) (4)。

4.根据权利要求1所述的无参数的k均值聚类方法，其特征在于：所述的筛选初始类中心和聚类数：即初始聚类中心{c₁,c₂,…,c_k}、聚类数k，

(1)以归一化后的密度和离散度组成一个向量(d1_i,d2_i)，用来评估数据点x_i是否是候选聚类中心；

(2)计算该点与其最近邻的5个点的距离之和D_i，

筛选出那些D_i值大于2倍均方差的点作为初始聚类中心{c₁,c₂,…,c_k}。

5.根据权利要求1所述的无参数的k均值聚类方法，其特征在于：所述的聚类分析是对待分类数据集X进行聚类分析，

预估初始聚类中心值{c₁,c₂,…,c_k}，以及初始聚类中心数k，作为k-mean算法的初始输入参数，实现对多类数据集的无参数聚类分析。