CN112528025A - 基于密度的文本聚类方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种基于密度的文本聚类方法、装置、设备及存储介质，涉及文本数据分析技术领域。该方法包括：接收目标数据集；确认目标距离公式；生成关于整个所述目标数据集的距离矩阵；计算出每个数据点的局部密度；分别提取出每个数据点与样本点集中各数据点之间距离的最小值，记为最小点距离；根据局部密度和最小点距离建立聚类决策图；确定聚类决策图中类簇的数量和类簇中心；将每个数据点分别划分至所述聚类决策图的类簇中。所述方法使整个聚类过程中只需对样本点之间的距离计算一次，无需迭代计算，便能对非球形数据进行聚类，大幅提高了算法性能，并使用聚类决策图较科学地进行类簇数量选择，避免人工无依据设定类簇数量。

Description

基于密度的文本聚类方法、装置、设备及存储介质

技术领域

本申请涉及文本数据分析技术领域，特别是一种基于密度的文本聚类方法、装置、设备及存储介质。

背景技术

聚类(clustering)是一类典型的无监督学习(unsupervised learning)方法，它通过对无标记训练样本的学习将数据集中的样本划分为若干个通常是不相交的子集(簇/cluster)。聚类分析的目标是基于元素的相似性进行归类，在生物信息学和模式识别等领域有着广泛的应用，常用的聚类算法有：K-means、K-medoids、DBSCAN等。

文本聚类是聚类算法在自然语言处理领域的具体应用，通常的做法是基于tfidf(term frequency–inverse document frequency，词频-逆文本频率指数)、word2vec等方式创建文本特征向量，随后使用各类聚类方法进行文本聚类。但当前的各类文本聚类方法中主要存在：需要迭代计算，收敛慢，对非球形数据聚类效果差等缺陷。

发明内容

本申请实施例所要解决的技术问题是，提供一种基于密度的文本聚类方法、装置、设备及存储介质，减少运算次数，提升对非球形数据的聚类效果。

为了解决上述技术问题，本申请实施例提供一种基于密度的文本聚类方法，采用了如下所述的技术方案：

一种基于密度的文本聚类方法，包括：

接收输入的目标数据集，所述目标数据集中包括对应若干条文本数据的若干个数据点；

识别所述目标数据集的类型，确认目标距离公式；

调用所述目标距离公式，根据所述目标距离公式计算所述目标数据集中每个数据点与其他各个数据点之间的距离，生成关于整个所述目标数据集的距离矩阵；

获取局部密度距离参数，根据所述局部密度距离参数和所述距离矩阵计算出每个数据点的局部密度；

确认在所述目标数据集中每个数据点对应的比该数据点局部密度高的数据点的集合，记为样本点集，并分别提取出每个数据点与该数据点对应的样本点集中各数据点之间距离的最小值，记为最小点距离；其中，具有最高局部密度的数据点的最小点距离为该数据点与所述目标数据集中其他数据点之间距离的最大值；

根据所述局部密度和所述最小点距离建立聚类决策图；

确定所述聚类决策图中类簇的数量和类簇中心；

基于所述类簇中心对所述目标数据集中的数据点进行分类，将每个数据点分别划分至所述聚类决策图的类簇中。

为了解决上述技术问题，本申请实施例还提供一种基于密度的文本聚类装置，采用了如下所述的技术方案：

一种基于密度的文本聚类装置，包括：

数据接收模块，用于接收输入的目标数据集，所述目标数据集中包括对应若干条文本数据的若干个数据点；

距离公式确认模块，用于识别所述目标数据集的类型，确认目标距离公式；

距离矩阵生成模块，用于调用所述目标距离公式，根据所述目标距离公式计算所述目标数据集中每个数据点与其他各个数据点之间的距离，生成关于整个所述目标数据集的距离矩阵；

局部密度计算模块，用于获取局部密度距离参数，根据所述局部密度距离参数和所述距离矩阵计算出每个数据点的局部密度；

最小点距离提取模块，用于确认在所述目标数据集中每个数据点对应的比该数据点局部密度高的数据点的集合，记为样本点集，并分别提取出每个数据点与该数据点对应的样本点集中各数据点之间距离的最小值，记为最小点距离；其中，具有最高局部密度的数据点的最小点距离为该数据点与所述目标数据集中其他数据点之间距离的最大值；

聚类决策图生成模块，用于根据所述局部密度和所述最小点距离建立聚类决策图；

类簇确定模块，用于确定所述聚类决策图中类簇的数量和类簇中心；

数据分类模块，用于基于所述类簇中心对所述目标数据集中的数据点进行分类，将每个数据点分别划分至所述聚类决策图的类簇中。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：

一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项技术方案所述的基于密度的文本聚类方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项技术方案所述的基于密度的文本聚类方法的步骤。

与现有技术相比，本申请实施例主要有以下有益效果：

本申请实施例公开了一种基于密度的文本聚类方法、装置、设备及存储介质，本申请实施例所述的基于密度的文本聚类方法，接收输入的目标数据集后；通过识别所述目标数据集的类型，确认目标距离公式；再调用所述目标距离公式，根据所述目标距离公式计算所述目标数据集中每个数据点与其他各个数据点之间的距离，生成关于整个所述目标数据集的距离矩阵；然后获取局部密度距离参数，根据所述局部密度距离参数和所述距离矩阵计算出每个数据点的局部密度；确认在所述目标数据集中每个数据点对应的比该数据点局部密度高的数据点的集合，记为样本点集，并分别提取出每个数据点与该数据点对应的样本点集中各数据点之间距离的最小值，记为最小点距离；进而根据所述局部密度和所述最小点距离建立聚类决策图；确定所述聚类决策图中类簇的数量和类簇中心后；最终便能基于所述类簇中心对所述目标数据集中的数据点进行分类，将每个数据点分别划分至所述聚类决策图的类簇中。所述方法通过定义的局部密度概念，使整个聚类过程中，只需对样本点之间的距离计算一次，无需迭代计算，便能对非球形数据进行聚类，大幅提高了算法的时间性能，并使用聚类决策图较科学地进行类簇数量选择，避免人工无依据设定类簇数量。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例可以应用于其中的示例性系统架构图；

图2为本申请实施例中所述基于密度的文本聚类方法的一个实施例的流程图；

图3为本申请实施例一具体实施方式中的聚类决策图；

图4为本申请实施例中所述基于密度的文本聚类装置的一个实施例的结构示意图；

图5为本申请实施例中计算机设备的一个实施例的结构示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”、“包含”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。在本申请的权利要求书、说明书以及说明书附图中的术语，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来，而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其他实施例相结合。

为了使本技术领域的人员更好地理解本申请的方案，下面将结合本申请实施例中的相关附图，对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示，系统架构100可以包括第一终端设备101、第二终端设备102、第三终端设备103、网络104和服务器105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用第一终端设备101、第二终端设备102和第三终端设备103通过网络104与服务器105交互，以接收或发送消息等。第一终端设备101、第二终端设备102和第三终端设备103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

第一终端设备101、第二终端设备102和第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对第一终端设备101、第一终端设备102和第三终端设备103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的基于密度的文本聚类方法一般由服务器/终端设备执行，相应地，基于密度的文本聚类装置一般设置于服务器/终端设备中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了本申请实施例中所述基于密度的文本聚类方法的一个实施例的流程图。所述基于密度的文本聚类方法，包括以下步骤：

步骤201：接收输入的目标数据集，所述目标数据集中包括对应若干条文本数据的若干个数据点。

文本聚类方法所针对实施的对象就是文本信息。本申请中，接收的目标数据集中包括若干条文本数据，其中，每条文本数据对应的特征向量可视为一个数据点，而目标数据集中的数据点便作为样本点对其实施文本聚类。

在本申请的一些实施例中，所述基于密度的文本聚类方法还包括：

解析目标数据集，提取所述目标数据集中每条文本数据的特征词；

调用预设的词向量模型，通过所述词向量模型将所述特征词转化为特征向量；

以特征向量作为数据点标识对应的文本数据。

确定待进行文本聚类的目标数据集后，通过解析所述目标数据集，将每条文本数据对应的特征词提取出来后，再通过预设的词向量模型将特征词进行转化，转化后的特征向量便作为携带相应坐标的数据点以标识对应的文本数据，实现对文本数据的量化处理。

在本申请实施例中，所述基于密度的文本聚类方法运行于其上的电子设备(例如图1所示的服务器/终端设备)可以通过有线连接方式或者无线连接方式接收发送至服务器的目标数据集。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。

步骤202：识别所述目标数据集的类型，确认目标距离公式。

针对不同类型的数据集，计算数据集中数据点之间距离的距离计算公式是不一样的，如距离公式包括：欧氏距离、余弦相似度、杰卡德距离、编辑距离等几种。在本申请中，接受数据集后，便首先根据数据集所属的类型确认所需选取的距离公式。

其中，欧式距离也称欧几里得距离，是最常见的距离度量，衡量的是多维空间中两个点之间的绝对距离；余弦相似度用向量空间中两个向量的夹角的余弦值来衡量两个文本间的相似度；杰卡德距离用于计算符号度量或者布尔值度量的两个个体之间的相似度，由于个体的特征属性是用符号或者布尔值度量的；编辑距离主要用来计算两个字符串的相似度。

在一种具体实施方式中，数据集的类型包括数据类型和数据维度，即距离计算公式的选择需综合考虑代入其中进行运算的数据因子对应的数据类型和数据纬度。以文本数据为例，假定在上述实施例通过词向量模型将特征词转化为特征向量的步骤中，首先用TF-IDF(term frequency–inverse document frequency，词频-逆文本频率指数)模型提取出文本数据中的特征词，以构建文本数据的特征向量，文本数据对应的特征向量便作为数据集的数据类型，而特征向量的数据类型为向量数据、数据维度是二维，通常便可以用余弦相似度距离公式进行计算，即距离dist＝cos(A_tfidf,B_tfidf)，A_tfidf表示文本A的特征向量，B_tfidf表示文本B的特征向量。又如数据集中文本数据的数据类型为字符串，该数据集对应的数据维度是一维，则可以采用编辑距离作为目标距离公式。

在一些其他具体实施方式中，数据集的类型除数据类型和数据维度外，还可以包括应用场景等判断因子。

步骤203：调用所述目标距离公式，根据所述目标距离公式计算所述目标数据集中每个数据点与其他各个数据点之间的距离，生成关于整个所述目标数据集的距离矩阵。

该步骤中，通过计算数据集中各个数据点之间的距离，获取关于整个数据集的距离矩阵，该距离矩阵需涵盖数据集中任意两点之间的距离。

具体计算时，依次将目标数据集中的两个数据点共同代入目标距离公式，对两个数据点之间的距离进行计算，而每次代入的数据点的组合都不同，如此计算直至遍历目标数据集中任意两个数据点的组合为止，以便获取到目标数据集中任意两个数据点之间的距离后，根据所获得的距离生成相应的距离矩阵。

以下通过举例进行理解，在一种具体的实施方式中，假设输入数据集为D＝{x₁,x₂,x₃,x₄,x₅,x₆}，目标距离公式对应的计算函数为f，则数据集中任意两点的距离为d_ij＝f(x_i,x_j)，[d_ij]即表示距离矩阵，距离矩阵对应的计算内容和表现形式如下表所示：

i\j

1

2

3

4

5

6

1

f(x<sub>1</sub>,x<sub>1</sub>)

f(x<sub>1</sub>,x<sub>2</sub>)

f(x<sub>1</sub>,x<sub>3</sub>)

f(x<sub>1</sub>,x<sub>4</sub>)

f(x<sub>1</sub>,x<sub>5</sub>)

f(x<sub>1</sub>,x<sub>6</sub>)

2

f(x<sub>2</sub>,x<sub>1</sub>)

f(x<sub>2</sub>,x<sub>2</sub>)

f(x<sub>2</sub>,x<sub>3</sub>)

f(x<sub>2</sub>,x<sub>4</sub>)

f(x<sub>2</sub>,x<sub>5</sub>)

f(x<sub>2</sub>,x<sub>6</sub>)

3

f(x<sub>3</sub>,x<sub>1</sub>)

f(x<sub>3</sub>,x<sub>2</sub>)

f(x<sub>3</sub>,x<sub>3</sub>)

f(x<sub>3</sub>,x<sub>4</sub>)

f(x<sub>3</sub>,x<sub>5</sub>)

f(x<sub>3</sub>,x<sub>6</sub>)

4

f(x<sub>4</sub>,x<sub>1</sub>)

f(x<sub>4</sub>,x<sub>2</sub>)

f(x<sub>4</sub>,x<sub>3</sub>)

f(x<sub>4</sub>,x<sub>4</sub>)

f(x<sub>4</sub>,x<sub>5</sub>)

f(x<sub>4</sub>,x<sub>6</sub>)

5

f(x<sub>5</sub>,x<sub>1</sub>)

f(x<sub>5</sub>,x<sub>2</sub>)

f(x<sub>5</sub>,x<sub>3</sub>)

f(x<sub>5</sub>,x<sub>4</sub>)

f(x<sub>5</sub>,x<sub>5</sub>)

f(x<sub>5</sub>,x<sub>6</sub>)

6

f(x<sub>6</sub>,x<sub>1</sub>)

f(x<sub>6</sub>,x<sub>2</sub>)

f(x<sub>6</sub>,x<sub>3</sub>)

f(x<sub>6</sub>,x<sub>4</sub>)

f(x<sub>6</sub>,x<sub>5</sub>)

f(x<sub>6</sub>,x<sub>6</sub>)

由上表显而可见，其距离矩阵行数和列数均为6，且可知f(x_i,x_j)＝f(x_j,x_i)，因此该距离矩阵为6x6对称矩阵，其主对角线上的元素表示距离矩阵中i＝j时的点距离，明显均为0，因此该距离矩阵只需计算其主对角线上方或下方各个格子中元素的值。

步骤204：获取局部密度距离参数，根据所述局部密度距离参数和所述距离矩阵计算出每个数据点的局部密度。

本申请中，通过定义局部密度的概念，以此作为类簇的选择依据。某个数据点的局部密度理解为，以这个数据点为中心时，与其距离小于局部密度距离参数所表示数值的数据点数量。

计算局部密度时，便利用距离矩阵和局部密度距离参数，根据距离矩阵中表示的各个数据点之间的距离，分别计算出每个数据点的局部密度。

在本申请的一些实施例中，所述步骤204包括：

调用关于数据点x_i的局部密度计算公式σ(x_i)＝∑_jρ(d_ij-d_c)，并获取局部密度距离参数d_c，其中，σ(x_i)表示局部密度，ρ(x)表示离散函数，d_ij表示所述距离矩阵中的元素；

将所述局部密度距离参数输入所述局部密度计算公式，基于所述距离矩阵中各个元素的值分别计算出每个数据点的局部密度σ(x_i)。

在上述实施例的一种优选具体实施方式中，局部密度采用离散值的计算方式，具体的，定义离散函数ρ(x)在x小于0时等于1，否则，等于0。根据上述实施例中的定义可以理解到，x小于0表示两个数据点之间的距离小于局部密度距离参数，两个数据点中的任意一个均可以算入属于另一个数据点的局部密度数值的数据点，反之同理。

d_c为计算局部密度的一个可调参数，其调整需要根据数据量和所用距离计算方法的值域进行考虑，通常可以取值域最大值*10％；对于数据量较大的数据集，这个参数的调整对结果的影响则会相对较小。

步骤205：确认在所述目标数据集中每个数据点对应的比该数据点局部密度高的数据点的集合，记为样本点集，并分别提取出每个数据点与该数据点对应的样本点集中各数据点之间距离的最小值，记为最小点距离；其中，具有最高局部密度的数据点的最小点距离为该数据点与所述目标数据集中其他数据点之间距离的最大值。

数据点x_i同与其相比具有更高局部密度的样本点集之间的最小点距离计算过程为：

先在目标数据集中找出比x_i的局部密度高的数据点的集合，然后本应按照d_ij＝f(x_i,x_j)分别计算x_i与上述数据点集合中各数据点之间的距离，但因为在步骤203中已对整个数据集中任意两点之间的距离进行了计算，因此直接从距离矩阵中获取对应的数据点之间的距离即可，最后从中取最小值，记为关于数据点x_i的最小点距离。

而对于目标数据集中具有最高局部密度的数据点，由于数据集中不存在比其局部密度更高的数据点，因此需要对其进行特殊处理。在本申请中，对于具有最高局部密度的数据点的最小点距离，取其与整个目标数据集中其他数据点之间距离的最大值。

步骤206：根据所述局部密度和所述最小点距离建立聚类决策图。

聚类决策图是用于方便分析出其中类簇中心/聚类中心的图，尤其对于一些数据集，建立的聚类决策图有些通过直接观察便能较明显地确定其中的类簇中心。

本申请中的聚类决策图便基于数据点的局部密度和最小点距离进行生成，通过将计算的每个数据点的局部密度，和该数据点与样本点集中数据点之间的最小点距离，在聚类决策图中展示出来，用于判断类簇的数量和类簇的中心。

在本申请的一些实施例中，步骤206包括：

以所述目标数据集中数据点的所述局部密度为横轴，以所述最小点距离为纵轴建立平面坐标系；

将所述目标数据集中的各个数据点分布至所述平面坐标系中，生成所述聚类决策图。

该部分实施例中，以数据点的局部密度作为横坐标、最小点距离作为纵坐标建立相关的目标坐标系后，将目标数据集的各数据点根据其对应的坐标标示在该平面坐标系中，形成所述聚类决策图。

步骤207：确定所述聚类决策图中类簇的数量和类簇中心。

类簇表示将对象集合进行分组时所划分出的组的数量，同一类簇中的对象相比其他类簇在某一特征下具有更高的相似性；类簇中心则表示一个类簇中依据某种特征规则计算时，具有较中心位置数值的数据点。聚类决策图中类簇的数量与类簇中心的数量相同。

而作为类簇中心的数据点一般具有如下特点：本身的局部密度大，即它被局部密度均不超过它的数据点环绕包围，同时它与其他局部密度更大的数据点之间的距离，相对其类簇范围内数据点之间的距离更大。

对数据点进行聚类前，便需要先确定其中类簇的数量和每个类簇的类簇中心。聚类决策图中的类簇数量和类簇中心，可以根据各数据点的局部密度与最小点距离的值简单判断，二者的乘积越大，越可能为类簇中心。

参考图3所示的聚类决策图，在该具体实施方式中，其目标数据集大概有28个数据点，通过简单观察便容易得出，数据点1和数据点10同时具有较大的局部密度值和最小点距离值，其中的数据点1和10适合作为聚类中心，其中类簇的数量即为2。

而在一些其他具体实施方式中，若难以根据聚类决策图简单判断，便需要通过计算出各数据点的局部密度与最小点距离的乘积后，根据所述乘积值进一步判断。具体地，可以通过对所述乘积值进行降序排序，然后根据上述乘积值变化的平滑程度从前往后截取若干个数据点作为类簇中心即可。一般而言，非类簇中心的所述乘积值变化比较平滑，从类簇中心过渡到非类簇中心时，所述乘积值则有一个明显的下跃。

步骤208：基于所述类簇中心对所述目标数据集中的数据点进行分类，将每个数据点分别划分至所述聚类决策图的类簇中。

确定类簇的数量和每个类簇的类簇中心后，便根据数据点与类簇中心之间的关联性，将数据点归入与其关联性最高的类簇中心所在的类簇中，以实现将目标数据集中的所有数据点，都分别归类至划分出的类簇中进行文本聚类。上述关联性数值的计算规则可以依据不同的场景需求进行调整。

在本申请的一些实施例中，所述步骤208包括：

比较数据点与各个类簇中心之间的距离，以确认每个数据点对应的与其距离最近的目标类簇中心；

将数据点划分至所述目标类簇中心所属的类簇中。

在该部分实施例的具体实施方式中，通过将数据点与各类簇中心之间的距离进行归类，将数据中心划分至距离其本身最近的一个类簇中心所在的类簇中，以此完成对目标数据集的文本聚类。

本申请实施例所述的基于密度的文本聚类方法，通过定义的局部密度概念，使整个聚类过程中，只需对样本点之间的距离计算一次，无需迭代计算，便能对非球形数据进行聚类，大幅提高了算法的时间性能，并使用聚类决策图较科学地进行类簇数量选择，避免人工无依据设定类簇数量。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

进一步参考图4，图4示出了为本申请实施例中所述基于密度的文本聚类装置的一个实施例的结构示意图。作为对上述图2所示方法的实现，本申请提供了一种基于密度的文本聚类装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图4所示，本实施例所述的基于密度的文本聚类装置包括：

数据接收模块301；用于接收输入的目标数据集，所述目标数据集中包括对应若干条文本数据的若干个数据点。

距离公式确认模块302；用于识别所述目标数据集的类型，确认目标距离公式。

距离矩阵生成模块303；用于调用所述目标距离公式，根据所述目标距离公式计算所述目标数据集中每个数据点与其他各个数据点之间的距离，生成关于整个所述目标数据集的距离矩阵。

局部密度计算模块304；用于获取局部密度距离参数，根据所述局部密度距离参数和所述距离矩阵计算出每个数据点的局部密度。

最小点距离提取模块305；用于确认在所述目标数据集中每个数据点对应的比该数据点局部密度高的数据点的集合，记为样本点集，并分别提取出每个数据点与该数据点对应的样本点集中各数据点之间距离的最小值，记为最小点距离；其中，具有最高局部密度的数据点的最小点距离为该数据点与所述目标数据集中其他数据点之间距离的最大值。

聚类决策图生成模块306；用于根据所述局部密度和所述最小点距离建立聚类决策图。

类簇确定模块307；用于确定所述聚类决策图中类簇的数量和类簇中心。

数据分类模块308；用于基于所述类簇中心对所述目标数据集中的数据点进行分类，将每个数据点分别划分至所述聚类决策图的类簇中。

在本申请的一些实施例中，所述基于密度的文本聚类装置还包括：文本数据转换模块。所述文本数据转换模块用于解析目标数据集，提取所述目标数据集中每条文本数据的特征词；调用预设的词向量模型，通过所述词向量模型将所述特征词转化为特征向量；以特征向量作为数据点标识对应的文本数据。

在本申请的一些实施例中，所述局部密度计算模块304用于：调用关于数据点x_i的局部密度计算公式σ(x_i)＝∑_jρ(d_ij-d_c)，并获取局部密度距离参数d_c，其中，σ(x_i)表示局部密度，ρ(x)表示离散函数，d_ij表示所述距离矩阵中的元素；将所述局部密度距离参数输入所述局部密度计算公式，基于所述距离矩阵中各个元素的值分别计算出每个数据点的局部密度σ(x_i)。

在本申请的一些实施例中，所述聚类决策图生成模块306用于：以所述目标数据集中数据点的所述局部密度为横轴，以所述最小点距离为纵轴建立平面坐标系；将所述目标数据集中的各个数据点分布至所述平面坐标系中，生成所述聚类决策图。

在本申请的一些实施例，所述数据分类模块308用于：比较数据点与各个类簇中心之间的距离，以确认每个数据点对应的与其距离最近的目标类簇中心；

将数据点划分至所述目标类簇中心所属的类簇中。

本申请实施例所述的基于密度的文本聚类装置，通过定义的局部密度概念，使整个聚类过程中，只需对样本点之间的距离计算一次，无需迭代计算，便能对非球形数据进行聚类，大幅提高了算法的时间性能，并使用聚类决策图较科学地进行类簇数量选择，避免人工无依据设定类簇数量。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图5，图5为本实施例计算机设备基本结构框图。

所述计算机设备6包括通过系统总线相互通信连接存储器61、处理器62、网络接口63。需要指出的是，图中仅示出了具有组件61-63的计算机设备6，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器61至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器61可以是所述计算机设备6的内部存储单元，例如该计算机设备6的硬盘或内存。在另一些实施例中，所述存储器61也可以是所述计算机设备6的外部存储设备，例如该计算机设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中，所述存储器61通常用于存储安装于所述计算机设备6的操作系统和各类应用软件，例如基于密度的文本聚类方法的程序代码等。此外，所述存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器62在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制所述计算机设备6的总体操作。本实施例中，所述处理器62用于运行所述存储器61中存储的程序代码或者处理数据，例如运行所述基于密度的文本聚类方法的程序代码。

所述网络接口63可包括无线网络接口或有线网络接口，该网络接口63通常用于在所述计算机设备6与其他电子设备之间建立通信连接。

本申请实施例所述的计算机设备，通过处理器执行存储器中存储的计算机程序进行数据推送的功能测试时，无需通过前端操作创建任务，能够实现对大批量基于密度的文本聚类要求，并减少测试时间的消耗，提升功能测试的效率，在进行数据推送测试的过程中还能方便地进行压力测试，在通过日志判断数据的推送结果时还能方便分析测试时出现的问题，以及对测试过程中出现的问题进行定位。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有基于密度的文本聚类程序，所述基于密度的文本聚类程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于密度的文本聚类方法的步骤。

需要强调的是，为进一步保证上述图片数据的私密和安全性，上述图片数据还可以存储于一区块链的节点中。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

在本申请所提供的上述实施例中，应该理解到，所揭露的装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

所述模块或组件可以是或者也可以不是物理上分开的，作为模块或组件显示的部件可以是或者也可以不是物理模块，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块或组件来实现本实施例方案的目的。

本申请不限于上述实施方式，以上所述是本申请的优选实施方式，该实施例仅用于说明本申请而不用于限制本申请的范围，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，其依然可以对前述各具体实施方式所记载的技术方案进行若干改进和修饰，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理应视为包括在本申请的保护范围之内。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，以及凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

Claims (10)

1.一种基于密度的文本聚类方法，其特征在于，包括：

接收输入的目标数据集，所述目标数据集中包括对应若干条文本数据的若干个数据点；

识别所述目标数据集的类型，确认目标距离公式；

调用所述目标距离公式，根据所述目标距离公式计算所述目标数据集中每个数据点与其他各个数据点之间的距离，生成关于整个所述目标数据集的距离矩阵；

获取局部密度距离参数，根据所述局部密度距离参数和所述距离矩阵计算出每个数据点的局部密度；

确认在所述目标数据集中每个数据点对应的比该数据点局部密度高的数据点的集合，记为样本点集，并分别提取出每个数据点与该数据点对应的样本点集中各数据点之间距离的最小值，记为最小点距离；其中，具有最高局部密度的数据点的最小点距离为该数据点与所述目标数据集中其他数据点之间距离的最大值；

根据所述局部密度和所述最小点距离建立聚类决策图；

确定所述聚类决策图中类簇的数量和类簇中心；

基于所述类簇中心对所述目标数据集中的数据点进行分类，将每个数据点分别划分至所述聚类决策图的类簇中。

2.根据权利要求1所述的基于密度的文本聚类方法，其特征在于，所述方法还包括：

解析目标数据集，提取所述目标数据集中每条文本数据的特征词；

调用预设的词向量模型，通过所述词向量模型将所述特征词转化为特征向量；

以特征向量作为数据点标识对应的文本数据。

3.根据权利要求1所述的基于密度的文本聚类方法，其特征在于，所述获取局部密度距离参数，根据所述局部密度距离参数和所述距离矩阵计算出每个数据点的局部密度的步骤包括：

调用关于数据点x_i的局部密度计算公式σ(x_i)＝∑_jρ(d_ij-d_c)，并获取局部密度距离参数d_c，其中，σ(x_i)表示局部密度，ρ(x)表示离散函数，d_ij表示所述距离矩阵中的元素；

将所述局部密度距离参数输入所述局部密度计算公式，基于所述距离矩阵中各个元素的值分别计算出每个数据点的局部密度σ(x_i)。

4.根据权利要求1所述的基于密度的文本聚类方法，其特征在于，所述根据所述局部密度和所述最小点距离建立聚类决策图的步骤包括：

以所述目标数据集中数据点的所述局部密度为横轴，以所述最小点距离为纵轴建立平面坐标系；

将所述目标数据集中的各个数据点分布至所述平面坐标系中，生成所述聚类决策图。

5.根据权利要求1所述的基于密度的文本聚类方法，其特征在于，所述基于所述类簇中心对所述目标数据集中的数据点进行分类，将每个数据点分别划分至所述聚类决策图的类簇中的步骤包括：

比较数据点与各个类簇中心之间的距离，以确认每个数据点对应的与其距离最近的目标类簇中心；

将数据点划分至所述目标类簇中心所属的类簇中。

6.根据权利要求1所述的基于密度的文本聚类方法，其特征在于，在所述根据所述局部密度和所述最小点距离建立聚类决策图的步骤之后，所述方法还包括：

将所述聚类决策图存储至区块链中。

7.一种基于密度的文本聚类装置，其特征在于，包括：

数据接收模块，用于接收输入的目标数据集，所述目标数据集中包括对应若干条文本数据的若干个数据点；

距离公式确认模块，用于识别所述目标数据集的类型，确认目标距离公式；

距离矩阵生成模块，用于调用所述目标距离公式，根据所述目标距离公式计算所述目标数据集中每个数据点与其他各个数据点之间的距离，生成关于整个所述目标数据集的距离矩阵；

局部密度计算模块，用于获取局部密度距离参数，根据所述局部密度距离参数和所述距离矩阵计算出每个数据点的局部密度；

最小点距离提取模块，用于确认在所述目标数据集中每个数据点对应的比该数据点局部密度高的数据点的集合，记为样本点集，并分别提取出每个数据点与该数据点对应的样本点集中各数据点之间距离的最小值，记为最小点距离；其中，具有最高局部密度的数据点的最小点距离为该数据点与所述目标数据集中其他数据点之间距离的最大值；

聚类决策图生成模块，用于根据所述局部密度和所述最小点距离建立聚类决策图；

类簇确定模块，用于确定所述聚类决策图中类簇的数量和类簇中心；

数据分类模块，用于基于所述类簇中心对所述目标数据集中的数据点进行分类，将每个数据点分别划分至所述聚类决策图的类簇中。

8.根据权利要求7所述的基于密度的文本聚类装置，其特征在于，所述装置还包括：文本数据转换模块；所述文本数据转换模块用于：

解析目标数据集，提取所述目标数据集中每条文本数据的特征词；

调用预设的词向量模型，通过所述词向量模型将所述特征词转化为特征向量；

以特征向量作为数据点标识对应的文本数据。

9.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-6中任意一项所述的基于密度的文本聚类方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6中任意一项所述的基于密度的文本聚类方法的步骤。

Images