CN109271424A - 一种基于密度的参数自适应聚类方法 - Google Patents

一种基于密度的参数自适应聚类方法 Download PDF

Info

Publication number
CN109271424A
CN109271424A CN201811152715.3A CN201811152715A CN109271424A CN 109271424 A CN109271424 A CN 109271424A CN 201811152715 A CN201811152715 A CN 201811152715A CN 109271424 A CN109271424 A CN 109271424A
Authority
CN
China
Prior art keywords
data
cluster
training
model
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811152715.3A
Other languages
English (en)
Inventor
黄梦醒
张雨
冯文龙
沈亮亮
鲍琦莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hainan University
Original Assignee
Hainan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hainan University filed Critical Hainan University
Priority to CN201811152715.3A priority Critical patent/CN109271424A/zh
Publication of CN109271424A publication Critical patent/CN109271424A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于密度的参数自适应聚类方法，涉及数据挖掘技术领域。该方法包括以下步骤：S1、数据集的预处理：输入待处理的数据集，利用预设的滑动窗口截取数据流，对截取的单元数据进行预处理以得到训练数据；S2、训练数据的模型训练和优化：对所述训练数据进行聚类，以得到所述训练数据的独立的簇和簇中心；将所有的簇进行模型训练，并将训练后的簇进行优化选择以得到优选参数，再将优优选参数的簇进行训练，以得到模型组；S3、模型匹配：将测试数据与所有的簇中心进行相似度匹配，得到最相似的簇中心对应的簇，以获得与该簇对应的相似模型；S4、预测分析：根据所述相似模型计算所述测试数据，以得到所述测试数据的预测值。

Description

一种基于密度的参数自适应聚类方法
技术领域
本发明涉及数据挖掘技术领域，特别是涉及一种基于密度的参数自适应聚类方法。
背景技术
随着计算机技术的提高和互联网技术的迅猛发展，各行各业的数据量都发生了翻天覆地的变化。由于在这些海量复杂数据的背后隐藏着很多有价值的规律和信息，大数据挖掘方法在大数据领域就显得尤为重要。
数据挖掘主要结合了人工智能、机器学习、模式学习、统计学等知识，广泛应用于银行、电信、电商等商业领域，并成功帮助企业、用户、商家调整市场政策、减少风险、理性面对市场，并做出正确的决策。利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、偏差分析和Web页挖掘等。而聚类在数据挖掘中是一个非常重要的方法，主要针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大，但不同类别之间数据的相似性很小，跨类的数据关联性很低。数据之间的相似度很多是根据数据之间的距离来表示的。这种方法在计算速度上虽然有提高，但是只能发现球状的簇，而对于任意形状的簇，不能得到理想的聚类效果。
由于DBSCAN(Density-Based Spatial Clustering of Applications withNoise，具有噪声的基于密度的聚类方法)算法步骤简单和效果突出，该算法受到了广泛的关注和应用研究。然而该算法对输入参数敏感，且利用的是全局参数，对于未知的数据集很难设置合适的参数来达到理性的效果，这就使得聚类的难度大还容易出现聚类错误。
发明内容
本发明的主要目的在于提供一种基于密度的参数自适应聚类方法，旨在解决传统的数据挖掘聚类方法采用全局参数、聚类不准确的问题，提高数据处理技术在对历史数据进行预测时的精确度，既能够对密度差较大的数据集进行抗噪聚类又能准确回归预测。
为实现上述目的，本发明提供一种基于密度的参数自适应聚类方法，包括以下步骤：
S1、数据集的预处理：输入待处理的数据集，利用预设的滑动窗口截取数据流，对截取的单元数据进行预处理以得到训练数据；
S2、训练数据的模型训练和优化：对所述训练数据进行聚类，以得到所述训练数据的独立的簇和簇中心；将所有的簇进行模型训练，并将训练后的簇进行优化选择以得到优选参数，再将优优选参数的簇进行训练，以得到模型组；
S3、模型匹配：将测试数据与所有的簇中心进行相似度匹配，得到最相似的簇中心对应的簇，以获得与该簇对应的相似模型；
S4、预测分析：根据所述相似模型计算所述测试数据，以得到所述测试数据的预测值。
优选地，所述步骤S2还包括：
通过OVDBSCAN(Optimization Initial Points and Variable-parameterDensity-Based Spatial Clustering of Applications with Noise，初试点优化并变参的具有噪声的基于密度的聚类方法)算法对所述训练数据进行聚类，得到所述训练数据的独立的簇和簇中心。
优选地，所述步骤S2还包括：
将所有的簇进行SVR(Support Vector Regression，支持向量回归)模型的模型训练，并将训练后的簇通过PSO(Particle Swarm Optimization，粒子群优化算法)进行SVR模型优化选择以得到优选参数。
优选地，所述将所有的簇进行SVR模型的模型训练还包括：
SVR模型通过核函数计算所述预处理后的单元数据，并利用径向基核函数对所述所有的簇进行SVR模型的模型训练。
优选地，所述SVR模型的参数包括惩罚系数、不敏感损失系数和宽度系数，其中所述不敏感损失系数为预设常数，所述惩罚系数和所述宽度系数通过PSO优化选择以计算得到。
优选地，所述惩罚系数和所述宽度系数通过PSO优化选择以计算得到还包括：
将经SVR模型训练的簇进行PSO参数优化，以随机产生一组惩罚系数和宽度系数作为初始值，并将当前的惩罚系数和宽度系数进行SVR模型训练，通过交叉验证以得到均方误差；将训练数据分为多份以得到多个训练子集，计算每个所述训练子集的均方误差，计算所有均方误差的平均值，以得到优选的惩罚系数和宽度系数。
优选地，所述步骤S1还包括：将待处理数据集内的数据按照预设比例划分为训练数据和测试数据。
本发明技术方案通过参数自适应的密度聚类预测算法对数据集进行分类，利用分类的结果进行回归预测分析，可有效地实现密度差较大的数据集的聚类，对于噪声和非稳态的数据有很好的抑制作用，提高数据预测分析的精度。
附图说明
图1为本发明基于密度的参数自适应聚类方法的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面结合附图对本发明进一步说明。
一种基于密度的参数自适应聚类方法，如图1所示，包括以下步骤：
S1、数据集的预处理：输入待处理的数据集，利用预设的滑动窗口截取数据流，对截取的单元数据进行预处理以得到训练数据。
具体地，所述步骤S1还包括：将待处理数据集内的数据按照预设比例划分为训练数据和测试数据。在具体实施例中，选择一个有意义的时序数据集作为参数自适应聚类方法的待处理数据集，同时在待处理数据集中按照8:2的比例分为训练数据和测试数据。
在具体实施例中，滑动窗口的宽度是固定的，选取前n-1天的数据作为输入数据，第n天作为输出数据，这样可以对跨度为m年的数据进行挖掘和研究。滑动窗口截取的时序数据的格式如下述等式所示：
其中，I为输入序列，O为输出序列，x为第n天的n-1个输入数据，y为第n天的输出数据。
S2、训练数据的模型训练和优化：对所述训练数据进行聚类，以得到所述训练数据的独立的簇和簇中心；将所有的簇进行模型训练，并将训练后的簇进行优化选择以得到优选参数，再将优优选参数的簇进行训练，以得到模型组。
优选地，所述步骤S2还包括：通过OVDBSCAN算法对所述训练数据进行聚类，得到所述训练数据的独立的簇和簇中心。
在具体实施例中，OVDBSCAN算法包括两个最基本的领域参数，ε描述了某一样本的领域距离阈值，MinPts表示的是半径为ε的领域中样本点的数目。首先选取一点p，求距离点p最近的k个点的距离，并计算其平均值；再计算出距离所有点的k个最近点的平均距离，并存储。将全部点的平均距离数据集经过DBSCAN聚类，得到cps个聚类结果，对cps个聚类结果中每个聚类i求出平均距离点的最大值。然后把点p和距离它的k个最近点之间的距离作为该类点的领域距离阈值εi，将得到的领域距离阈值εi，从小到大对领域距离阈值εi进行排序并聚类，首先选择最小的领域距离阈值εi，MinPts保持不变，对数据集进行DBSCAN聚类；再选择第二小的领域距离阈值εi，直至所有领域距离阈值εi都使用完。聚类结束后将得到n个独立的簇A及其中心点。
优选地，所述步骤S2还包括：将所有的簇进行SVR模型的模型训练，并将训练后的簇通过PSO进行SVR模型优化选择以得到优选参数。
优选地，所述将所有的簇进行SVR模型的模型训练还包括：
SVR模型通过核函数计算所述预处理后的单元数据，并利用径向基核函数对所述所有的簇进行SVR模型的模型训练。
在具体实施例中，径向基核函数的表达式为：其中XC为核函数中心，σ为函数的宽度参数。
优选地，所述SVR模型的参数包括惩罚系数、不敏感损失系数和宽度系数，其中所述不敏感损失系数为预设常数，所述惩罚系数和所述宽度系数通过PSO优化选择以计算得到。
优选地，所述惩罚系数和所述宽度系数通过PSO优化选择以计算得到还包括：
将经SVR模型训练的簇进行PSO参数优化，以随机产生一组惩罚系数和宽度系数作为初始值，并将当前的惩罚系数和宽度系数进行SVR模型训练，通过交叉验证以得到均方误差；将训练数据分为多份以得到多个训练子集，计算每个所述训练子集的均方误差，计算所有均方误差的平均值，以得到优选的惩罚系数和宽度系数。
S3、模型匹配：将测试数据与所有的簇中心进行相似度匹配，得到最相似的簇中心对应的簇，以获得与该簇对应的相似模型。
S4、预测分析：根据所述相似模型计算所述测试数据，以得到所述测试数据的预测值。
在实际的应用中，例如在金融背景下，金融市场的多样化致使股票数量、股民的数量日益增多，每天都会产生大量的数据，并且难以预测。时序数据的维度越来越高，随机性也越来越强，而现有的技术在处理噪声、随机性、非线性的金融时间序列时并不能取得满意的结果。我们把这种时序数据的挖掘分析问题转化为基于密度的参数自适应聚类算法的问题。
本发明是在传统的基于密度的聚类算法DBSCAN上进行优化，解决了DBSCAN参数敏感以及全局参数对不同密度聚类的限制问题。可以很好地对密度不均匀和密度变化的数据进行良好的聚类。其次，本发明结合了SVR模型，并对SVR模型进行了参数优化，依据群体中个体和个体之间的协作以及信息的共享来找到最优解，提高了回归预测的精度。
在具体实施例中，将来自上海证券交易所的民生银行和中国联通的上市股票数据作为待处理数据集，截取的时间段是从2013年1月4日到2014年12月31日。并将数据的前80％作为训练集，其余的作为测试集。数据划分如表1所示：
数据来源 训练数据 测试数据
民生银行 2013.1.4-2014.08.15 2014.08.16-2014.12.31
中国联通 2013.1.4-2014.08.15 2014.08.16-2014.12.31
表1待处理数据集
从上海证券交易所下载的股票数据的格式为股票代码、交易时间、开盘价、最高额、最低额、收盘价、涨跌幅，表转述为：Si＝(codei dateiopeni highi lowi closeichangei)；其具体数据如表2所示：
表2股票数据
通过线性归一化方法将股票数据进行转换，使之在[0,1]之间，转换方式如下等式：
其中x是原始数据，xmax表示的是数据集中最大值，xmin是最小值，x’是x归一化后的数据。
通过估计量与被估计量之间差异程度的度量--均方误差和平均绝对百分比来做评价指标进行评价；均方误差的计算方式为：平均绝对百分比的计算方式为：其中Ai表示的是第i个数据点的实际值，Fi是第i个数据点的预测值，n表示数据点的总个数。由于上述两个指标是反应差异程度的，因此其值越小，说明预测的精确度越高。
根据上述两个评价指标，用本发明的方法在民生银行、中国联通股票数据的作用效果如表3、表4所示：
待处理数据集 SVR-GA SVR-CFA MIXED-OS
民生银行 0.00193276 0.00116526 0.0005627
中国联通 0.00107256 0.00093718 0.0006271
表3民生银行和中国联通的均方误差
待处理数据集 SVR-GA SVR-CFA MIXED-OS
民生银行 5.92 4.73 3.84
中国联通 4.68 4.39 3.65
表4民生银行和中国联通的平均绝对百分比
表中Mixed-OS表示OVDBSCAN和SVR的混合算法，SVR-GA和SVR-CFA为现有技术中的计算方法。经过对两个公司的股票价格的回归分析与预测可以发现，本发明的方法对数据的预测误差小，其效果比SVR-GA和SVR-CFA有更好的预测精度。
应当理解的是，以上仅为本发明的优选实施例，不能因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种基于密度的参数自适应聚类方法，其特征在于，包括以下步骤：
S1、数据集的预处理：输入待处理的数据集，利用预设的滑动窗口截取数据流，对截取的单元数据进行预处理以得到训练数据；
S2、训练数据的模型训练和优化：对所述训练数据进行聚类，以得到所述训练数据的独立的簇和簇中心；将所有的簇进行模型训练，并将训练后的簇进行优化选择以得到优选参数，再将优优选参数的簇进行训练，以得到模型组；
S3、模型匹配：将测试数据与所有的簇中心进行相似度匹配，得到最相似的簇中心对应的簇，以获得与该簇对应的相似模型；
S4、预测分析：根据所述相似模型计算所述测试数据，以得到所述测试数据的预测值。
2.根据权利要求1所述的基于密度的参数自适应聚类方法，其特征在于，所述步骤S2还包括：
通过OVDBSCAN算法对所述训练数据进行聚类，得到所述训练数据的独立的簇和簇中心。
3.根据权利要求2所述的基于密度的参数自适应聚类方法，其特征在于，所述步骤S2还包括：
将所有的簇进行SVR模型的模型训练，并将训练后的簇通过PSO进行SVR模型优化选择以得到优选参数。
4.根据权利要求3所述的基于密度的参数自适应聚类方法，其特征在于，所述将所有的簇进行SVR模型的模型训练还包括：
SVR模型通过核函数计算所述预处理后的单元数据，并利用径向基核函数对所述所有的簇进行SVR模型的模型训练。
5.根据权利要求4所述的基于密度的参数自适应聚类方法，其特征在于，所述SVR模型的参数包括惩罚系数、不敏感损失系数和宽度系数，其中所述不敏感损失系数为预设常数，所述惩罚系数和所述宽度系数通过PSO优化选择以计算得到。
6.根据权利要求5所述的基于密度的参数自适应聚类方法，其特征在于，所述惩罚系数和所述宽度系数通过PSO优化选择以计算得到还包括：
将经SVR模型训练的簇进行PSO参数优化，以随机产生一组惩罚系数和宽度系数作为初始值，并将当前的惩罚系数和宽度系数进行SVR模型训练，通过交叉验证以得到均方误差；将训练数据分为多份以得到多个训练子集，计算每个所述训练子集的均方误差，计算所有均方误差的平均值，以得到优选的惩罚系数和宽度系数。
7.根据权利要求1所述的基于密度的参数自适应聚类方法，其特征在于，所述步骤S1还包括：
将待处理数据集内的数据按照预设比例划分为训练数据和测试数据。
CN201811152715.3A 2018-09-29 2018-09-29 一种基于密度的参数自适应聚类方法 Pending CN109271424A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811152715.3A CN109271424A (zh) 2018-09-29 2018-09-29 一种基于密度的参数自适应聚类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811152715.3A CN109271424A (zh) 2018-09-29 2018-09-29 一种基于密度的参数自适应聚类方法

Publications (1)

Publication Number Publication Date
CN109271424A true CN109271424A (zh) 2019-01-25

Family

ID=65196137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811152715.3A Pending CN109271424A (zh) 2018-09-29 2018-09-29 一种基于密度的参数自适应聚类方法

Country Status (1)

Country Link
CN (1) CN109271424A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135740A (zh) * 2019-05-20 2019-08-16 济南大学 面向燃煤锅炉流程对象的实时知识发现方法及系统
CN112187550A (zh) * 2020-10-16 2021-01-05 温州职业技术学院 基于密度峰值多属性聚类的网络日志分析方法
CN113780691A (zh) * 2020-06-09 2021-12-10 富泰华工业（深圳）有限公司 数据测试方法、装置、电子设备及存储介质
CN116955963A (zh) * 2023-09-19 2023-10-27 北京英沣特能源技术有限公司 基于历史数据分析的暖通节能阶梯寻优控制方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135740A (zh) * 2019-05-20 2019-08-16 济南大学 面向燃煤锅炉流程对象的实时知识发现方法及系统
CN113780691A (zh) * 2020-06-09 2021-12-10 富泰华工业（深圳）有限公司 数据测试方法、装置、电子设备及存储介质
CN113780691B (zh) * 2020-06-09 2023-09-29 富泰华工业（深圳）有限公司 数据测试方法、装置、电子设备及存储介质
CN112187550A (zh) * 2020-10-16 2021-01-05 温州职业技术学院 基于密度峰值多属性聚类的网络日志分析方法
CN116955963A (zh) * 2023-09-19 2023-10-27 北京英沣特能源技术有限公司 基于历史数据分析的暖通节能阶梯寻优控制方法
CN116955963B (zh) * 2023-09-19 2023-12-08 北京英沣特能源技术有限公司 基于历史数据分析的暖通节能阶梯寻优控制方法

Similar Documents

Publication Publication Date Title
Cai et al. Predicting the energy consumption of residential buildings for regional electricity supply-side and demand-side management
CN109271424A (zh) 一种基于密度的参数自适应聚类方法
CN108764460A (zh) 一种基于时间卷积和lstm的时间序列预测方法
Nivetha et al. Developing a prediction model for stock analysis
Zhang et al. A novel agricultural commodity price forecasting model based on fuzzy information granulation and MEA-SVM model
Wang et al. Forecasting monthly tourism demand using enhanced backpropagation neural network
Li et al. A novel combined prediction model for monthly mean precipitation with error correction strategy
CN111460001B (zh) 一种配电网理论线损率评估方法及系统
CN106778838A (zh) 一种预测空气质量的方法
Xu et al. A novel mobile personalized recommended method based on money flow model for stock exchange
Liu et al. Financial data forecasting using optimized echo state network
Vo et al. Time series trend analysis based on k-means and support vector machine
Birant et al. Stock market forecasting using machine learning models
Chen et al. A fundamental analysis-based method for stock market forecasting
Wang et al. Predictions models of Taiwan dollar to US dollar and RMB exchange rate based on modified PSO and GRNN
Nurcahyono et al. Price prediction of chili in bandung regency using support vector machine (SVM) optimized with an adaptive neuro-fuzzy inference system (ANFIS)
CN108446771A (zh) 一种防止销售预测模型过拟合的方法
CN111028086A (zh) 基于聚类与lstm网络的增强指数跟踪方法
Mao et al. Naive Bayesian algorithm classification model with local attribute weighted based on KNN
Kadam et al. Data mining in finance
Yan et al. Water demand forecast model of least squares support vector machine based on particle swarm optimization
Liu et al. Exchange rate forecasting method based on particle swarm optimization and probabilistic neural network model
Chen et al. Building comprehensible customer churn prediction models: a multiple kernel support vector machines approach
Zhou et al. Bank Customer Classification Algorithm Based on Improved Decision Tree
Ali et al. Industrial financial forecasting using long short-term memory recurrent neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190125

RJ01 Rejection of invention patent application after publication