CN108427753A - 一种新的数据挖掘方法 - Google Patents

一种新的数据挖掘方法 Download PDF

Info

Publication number
CN108427753A
CN108427753A CN201810205935.1A CN201810205935A CN108427753A CN 108427753 A CN108427753 A CN 108427753A CN 201810205935 A CN201810205935 A CN 201810205935A CN 108427753 A CN108427753 A CN 108427753A
Authority
CN
China
Prior art keywords
data
feature vector
sample
target object
regression model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810205935.1A
Other languages
English (en)
Inventor
史宇清
朱跃龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201810205935.1A priority Critical patent/CN108427753A/zh
Publication of CN108427753A publication Critical patent/CN108427753A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种新的数据挖掘方法，所述方法包括下列步骤：步骤1：根据目标数据集中的记录统计每个目标对象的特征向量以构成粗糙数据集，每个特征向量包括其所对应的目标对象的至少一个属性数据的值；步骤2：从粗糙数据集中筛选出所有已知的第一类目标对象所对应的特征向量，对筛选出的特性向量执行数据筛选，最后获得特征向量的样本；步骤3：对数据迭代处理；步骤4：基于所述样本构建回归模型，并随之使用所构建的回归模型确定所有已知的第二类目标对象中的每个是否潜在地属于第一类目标对象。本发明通过优化数据处理流程，显著提高对数据挖掘的处理速度；能够根据目标对象的综合特征来挖掘和分类目标对象，显著地提高判定操作的效率和准确性。

Description

一种新的数据挖掘方法
技术领域
本发明涉及一种新的数据挖掘方法，属于数据挖掘技术领域。
背景技术
数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的但又是潜在有用的信息和知识的过程。数据挖掘的任务是从数据集中发现模式，可以发现的模式有很多种，按功能可以分为两大类：预测性(Predictive)模式和描述(Descriptive)模式。在应用中往往根据模式的实际作用细分为以下几种：分类，估值，预测，相关性分析，序列，时间序列，描述和可视化等。数据挖掘涉及的学科领域和技术很多，有多种分类法。根据挖掘任务分，可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等等；根据挖掘对象分，有关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web；根据挖掘方法分，可粗分为：机器学习方法、统计方法、神经网络方法和数据库方法。机器学习中，可细分为：归纳学习方法(决策树、规则归纳等)、基于范例学习、遗传算法等。统计方法中，可细分为：回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等)等。神经网络方法中，可细分为：前向神经网络(BP算法等)、自组织神经网络(自组织特征映射、竞争学习等)等。数据库方法主要是多维数据分析或OLAP方法，另外还有面向属性的归纳方法等等。
目前，随着计算机和网络应用的日益广泛以及不同领域的业务种类的日益丰富，从与特定的对象相关的海量数据记录中有效地挖掘出不同类别的对象以便针对不同类别的对象实施不同的处理方案变的越来越重要。在现有的技术方案中，通常根据与目标对象相关联的一个或多个属性数据来对目标对象进行分类，即基于每个目标对象的某个或某些特定的属性数据的值对目标对象进行分类。然而，现有的技术方案存在如下问题：由于仅仅基于单一或数个属性数据对目标对象进行分类，故分类结果的精确度较低，并且由于需要对每个目标对象的属性数据进行相同的评估操作，故数据挖掘的效率较低。因此，需要设计一种新的方案给予解决。
发明内容
本发明正是针对现有技术存在的不足，提供一种新的数据挖掘方法，以解决现有技术存在的不足，满足水利领域和图书档案管理等领域的实际使用要求。
为解决上述问题，本发明所采取的技术方案如下：
一种新的数据挖掘方法，所述数据挖掘方法包括下列步骤：
步骤1：根据目标数据集中的记录统计每个目标对象的特征向量以构成粗糙数据集，每个所述特征向量包括其所对应的目标对象的至少一个属性数据的值；
步骤2：从所述粗糙数据集中筛选出所有已知的第一类目标对象所对应的特征向量，并对筛选出的特性向量执行数据筛选(确定特征向量中各个元素的权重值，设权重值为L，元素即特征向量的组成部分对数据挖掘的重要性参数为b，则L＝b2，对特征向量进行修正)，最后获得特征向量的样本；
步骤3：对数据迭代处理，迭代的目的是为了得到一个满足标准的特征向量集合，根据目标集合的格式设置迭代矩阵，随机选择符合要求的迭代矩阵，通过循环迭代进行修正，逐步靠近目标；将数据集合与迭代矩阵相乘，然后与修正后的特征向量相乘，得到第一中间数据集合，求出第一中间数据集合与数据集合的第一偏移率；使用第一中间数据集合与迭代矩阵相乘，然后与修正后的特征向量相乘，得到第二中间数据集合，求出第二中间数据集合与第一中间数据集合的第二偏移率，当第二偏移率小于第一偏移率时，继续上述迭代过程，直至第N偏移率小于设定的阈值，得到目标数据集合，当第二偏移率大于第一偏移率时，修订迭代矩阵，重新进行迭代；
步骤4：基于所述样本构建回归模型，并随之使用所构建的回归模型确定所有已知的第二类目标对象中的每个是否潜在地属于第一类目标对象。
作为上述技术方案的改进，所述回归模型所包含的特征向量包括所有第一类目标对象共有的属性特征数据的值。
作为上述技术方案的改进，所述数据筛选包括根据预定的标准从筛选出的特性向量中过滤掉噪点。
作为上述技术方案的改进，所述步骤4进一步包括抽取所述样本中第一部分作为训练样本以构建所述回归模型；抽取所述样本中的第二部分作为测试样本以测试已构建的回归模型；抽取所述样本中的第三部分作为应用样本以测试已构建的回归模型稳定性。
作为上述技术方案的改进，所述步骤4进一步包括在构建回归模型之前对每个样本中的每个字段执行规范化操作，其包括：(1)处理缺失值；(2)处理奇异值；(3)对离散型的字符型字段进行重新编码；(4)对每个样本中的每个字段以z-score方式进行规范化，以消除量纲不一致的影响。
作为上述技术方案的改进，所述步骤4进一步包括在所述规范化操作执行完成之后进一步对每个样本中的每个字段执行离散化操作，其包括：(1)对连续型的数据以划分区间的方式进行离散化，其中区间之间的划分点是导致目标变量出现明显转折的点；(2)根据WOE值曲线的趋势来判断区间划分结果的优劣，其中如果WOE值曲线是递增、递减或者只有一个转折点的趋势，则确定划分结果是优良的并随之终止离散化操作，否则返回步骤(1)以继续在该区间内进行划分。
作为上述技术方案的改进，以如下方式使用所构建的回归模型确定所有已知的第二类目标对象中的每个是否潜在地属于第一类目标对象：基于回归模型针对已知的第二类目标对象所对应的特征向量计算该已知的第二类目标对象属于第一类目标对象的概率，且如果计算出的概率大于预定的分类阈值，则判定该已知的第二类目标对象潜在地属于第一类目标对象。
本发明与现有技术相比较，本发明的实施效果如下：
本发明所述通过优化数据处理流程，显著提高了对数据挖掘的处理速度；能够根据目标对象的综合特征来挖掘和分类目标对象，并且由于使用回归模型进行判定，故复用性较高并且能够显著地提高判定操作的效率和准确性。
附图说明
图1为本发明数据挖掘流程示意图。
具体实施方式
下面将结合具体的实施例来说明本发明的内容。
如图1所示，为本发明所述的一种新的数据挖掘方法流程示意图。
本发明所述一种新的数据挖掘方法，所述数据挖掘方法包括下列步骤：
步骤1：根据目标数据集中的记录统计每个目标对象的特征向量以构成粗糙数据集，每个所述特征向量包括其所对应的目标对象的至少一个属性数据的值；
步骤2：从所述粗糙数据集中筛选出所有已知的第一类目标对象所对应的特征向量，并对筛选出的特性向量执行数据筛选(确定特征向量中各个元素的权重值，设权重值为L，元素即特征向量的组成部分对数据挖掘的重要性参数为b，则L＝b2，对特征向量进行修正)，最后获得特征向量的样本；
步骤3：对数据迭代处理，迭代的目的是为了得到一个满足标准的特征向量集合，根据目标集合的格式设置迭代矩阵，随机选择符合要求的迭代矩阵，通过循环迭代进行修正，逐步靠近目标；将数据集合与迭代矩阵相乘，然后与修正后的特征向量相乘，得到第一中间数据集合，求出第一中间数据集合与数据集合的第一偏移率；使用第一中间数据集合与迭代矩阵相乘，然后与修正后的特征向量相乘，得到第二中间数据集合，求出第二中间数据集合与第一中间数据集合的第二偏移率，当第二偏移率小于第一偏移率时，继续上述迭代过程，直至第N偏移率小于设定的阈值，得到目标数据集合，当第二偏移率大于第一偏移率时，修订迭代矩阵，重新进行迭代；
步骤4：基于所述样本构建回归模型，并随之使用所构建的回归模型确定所有已知的第二类目标对象中的每个是否潜在地属于第一类目标对象。
本发明所述通过优化数据处理流程，显著提高了对数据挖掘的处理速度；能够根据目标对象的综合特征来挖掘和分类目标对象，并且由于使用回归模型进行判定，故复用性较高并且能够显著地提高判定操作的效率和准确性。
其中，所述回归模型所包含的特征向量包括所有第一类目标对象共有的属性特征数据的值；所述数据筛选包括根据预定的标准从筛选出的特性向量中过滤掉噪点。
进一步改进地，所述步骤4进一步包括抽取所述样本中第一部分作为训练样本以构建所述回归模型；抽取所述样本中的第二部分作为测试样本以测试已构建的回归模型；抽取所述样本中的第三部分作为应用样本以测试已构建的回归模型稳定性。
进一步改进地，所述步骤4进一步包括在构建回归模型之前对每个样本中的每个字段执行规范化操作，其包括：(1)处理缺失值；(2)处理奇异值；(3)对离散型的字符型字段进行重新编码；(4)对每个样本中的每个字段以z-score方式进行规范化，以消除量纲不一致的影响。
进一步改进地，所述步骤4进一步包括在所述规范化操作执行完成之后进一步对每个样本中的每个字段执行离散化操作，其包括：(1)对连续型的数据以划分区间的方式进行离散化，其中区间之间的划分点是导致目标变量出现明显转折的点；(2)根据WOE值曲线的趋势来判断区间划分结果的优劣，其中如果WOE值曲线是递增、递减或者只有一个转折点的趋势，则确定划分结果是优良的并随之终止离散化操作，否则返回步骤(1)以继续在该区间内进行划分。
具体地，以如下方式使用所构建的回归模型确定所有已知的第二类目标对象中的每个是否潜在地属于第一类目标对象：基于回归模型针对已知的第二类目标对象所对应的特征向量计算该已知的第二类目标对象属于第一类目标对象的概率，且如果计算出的概率大于预定的分类阈值，则判定该已知的第二类目标对象潜在地属于第一类目标对象。
以上内容是结合具体的实施例对本发明所作的详细说明，不能认定本发明具体实施仅限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明保护的范围。

Claims (7)

1.一种新的数据挖掘方法，其特征在于：所述数据挖掘方法包括下列步骤：
步骤1：根据目标数据集中的记录统计每个目标对象的特征向量以构成粗糙数据集，每个所述特征向量包括其所对应的目标对象的至少一个属性数据的值；
步骤2：从所述粗糙数据集中筛选出所有已知的第一类目标对象所对应的特征向量，并对筛选出的特性向量执行数据筛选(确定特征向量中各个元素的权重值，设权重值为L，元素即特征向量的组成部分对数据挖掘的重要性参数为b，则L＝b2，对特征向量进行修正)，最后获得特征向量的样本；
步骤3：对数据迭代处理，迭代的目的是为了得到一个满足标准的特征向量集合，根据目标集合的格式设置迭代矩阵，随机选择符合要求的迭代矩阵，通过循环迭代进行修正，逐步靠近目标；将数据集合与迭代矩阵相乘，然后与修正后的特征向量相乘，得到第一中间数据集合，求出第一中间数据集合与数据集合的第一偏移率；使用第一中间数据集合与迭代矩阵相乘，然后与修正后的特征向量相乘，得到第二中间数据集合，求出第二中间数据集合与第一中间数据集合的第二偏移率，当第二偏移率小于第一偏移率时，继续上述迭代过程，直至第N偏移率小于设定的阈值，得到目标数据集合，当第二偏移率大于第一偏移率时，修订迭代矩阵，重新进行迭代；
步骤4：基于所述样本构建回归模型，并随之使用所构建的回归模型确定所有已知的第二类目标对象中的每个是否潜在地属于第一类目标对象。
2.根据权利要求1所述新的数据挖掘方法，其特征在于：所述回归模型所包含的特征向量包括所有第一类目标对象共有的属性特征数据的值。
3.根据权利要求2所述新的数据挖掘方法，其特征在于：所述数据筛选包括根据预定的标准从筛选出的特性向量中过滤掉噪点。
4.根据权利要求3所述新的数据挖掘方法，其特征在于：所述步骤4进一步包括抽取所述样本中第一部分作为训练样本以构建所述回归模型；抽取所述样本中的第二部分作为测试样本以测试已构建的回归模型；抽取所述样本中的第三部分作为应用样本以测试已构建的回归模型稳定性。
5.根据权利要求4所述新的数据挖掘方法，其特征在于：所述步骤4进一步包括在构建所述回归模型之前对每个样本中的每个字段执行规范化操作，其包括：(1)处理缺失值；(2)处理奇异值；(3)对离散型的字符型字段进行重新编码；(4)对每个样本中的每个字段以z-score方式进行规范化，以消除量纲不一致的影响。
6.根据权利要求5所述新的数据挖掘方法，其特征在于：所述步骤4进一步包括在所述规范化操作执行完成之后进一步对每个样本中的每个字段执行离散化操作，其包括：(1)对连续型的数据以划分区间的方式进行离散化，其中区间之间的划分点是导致目标变量出现明显转折的点；(2)根据WOE值曲线的趋势来判断区间划分结果的优劣，其中如果WOE值曲线是递增、递减或者只有一个转折点的趋势，则确定划分结果是优良的并随之终止离散化操作，否则返回步骤(1)以继续在该区间内进行划分。
7.根据权利要求6所述新的数据挖掘方法，其特征在于：以如下方式使用所构建的回归模型确定所有已知的第二类目标对象中的每个是否潜在地属于第一类目标对象：基于所述回归模型针对已知的第二类目标对象所对应的特征向量计算该已知的第二类目标对象属于第一类目标对象的概率，并且如果计算出的概率大于预定的分类阈值，则判定该已知的第二类目标对象潜在地属于第一类目标对象。
CN201810205935.1A 2018-03-13 2018-03-13 一种新的数据挖掘方法 Pending CN108427753A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810205935.1A CN108427753A (zh) 2018-03-13 2018-03-13 一种新的数据挖掘方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810205935.1A CN108427753A (zh) 2018-03-13 2018-03-13 一种新的数据挖掘方法

Publications (1)

Publication Number Publication Date
CN108427753A true CN108427753A (zh) 2018-08-21

Family

ID=63157949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810205935.1A Pending CN108427753A (zh) 2018-03-13 2018-03-13 一种新的数据挖掘方法

Country Status (1)

Country Link
CN (1) CN108427753A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910231A (zh) * 2019-11-06 2020-03-24 上海百事通信息技术股份有限公司 一种债务清收管理平台
CN111310275A (zh) * 2020-03-31 2020-06-19 南京智行信息科技有限公司 一种桥梁病害大数据分析方法
CN111382329A (zh) * 2020-02-17 2020-07-07 山东外事职业大学 一种用于大数据分析的数据挖掘方法及系统
CN111984707A (zh) * 2020-08-21 2020-11-24 重庆大数据研究院有限公司 一种营运车辆多模式跨界大数据的多层次深度融合挖掘方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103995873A (zh) * 2014-05-22 2014-08-20 长春工业大学 一种数据挖掘方法及数据挖掘系统
CN104699717A (zh) * 2013-12-10 2015-06-10 中国银联股份有限公司 数据挖掘方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699717A (zh) * 2013-12-10 2015-06-10 中国银联股份有限公司 数据挖掘方法
CN103995873A (zh) * 2014-05-22 2014-08-20 长春工业大学 一种数据挖掘方法及数据挖掘系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910231A (zh) * 2019-11-06 2020-03-24 上海百事通信息技术股份有限公司 一种债务清收管理平台
CN111382329A (zh) * 2020-02-17 2020-07-07 山东外事职业大学 一种用于大数据分析的数据挖掘方法及系统
CN111310275A (zh) * 2020-03-31 2020-06-19 南京智行信息科技有限公司 一种桥梁病害大数据分析方法
CN111310275B (zh) * 2020-03-31 2023-03-31 南京智行信息科技有限公司 一种桥梁病害大数据分析方法
CN111984707A (zh) * 2020-08-21 2020-11-24 重庆大数据研究院有限公司 一种营运车辆多模式跨界大数据的多层次深度融合挖掘方法

Similar Documents

Publication Publication Date Title
Leung et al. Unsupervised anomaly detection in network intrusion detection using clusters
CN108427753A (zh) 一种新的数据挖掘方法
CN103207879B (zh) 图像索引的生成方法及设备
Ouyang et al. Similarity search and pattern discovery in hydrological time series data mining
CN112987666B (zh) 电厂机组运行优化调控方法及系统
CN109218223B (zh) 一种基于主动学习的鲁棒性网络流量分类方法及系统
CN114048870A (zh) 一种基于日志特征智能挖掘的电力系统异常监测方法
CN115794803B (zh) 一种基于大数据ai技术的工程审计问题监测方法与系统
Warnars Attribute Oriented Induction High Level Emerging Pattern (AOI-HEP) future research
Rahman et al. An efficient approach for selecting initial centroid and outlier detection of data clustering
CN112306730B (zh) 基于历史项目伪标签生成的缺陷报告严重程度预测方法
CN112991093B (zh) 一种基于边缘计算的窃电检测方法及系统
CN112199287B (zh) 基于强化混合专家模型的跨项目软件缺陷预测方法
CN111125082B (zh) 基于关联规则挖掘的水泥工艺参数数据分析方法
CN113919415A (zh) 一种基于无监督算法的异常群组检测方法
Jiang et al. A hybrid clustering algorithm
CN112070171A (zh) 一种基于实例选择和特征选择的优化数据集的方法
Cao et al. Study on inferring interwell connectivity of injection-production system based on decision tree
CN109685158B (zh) 一种基于强项集的聚类结果语义特征提取与可视化方法
CN103067300A (zh) 网络流量自动化特征挖掘方法
Zhang Reliability Optimization Analysis of Financial Management System Based on Decision Tree Algorithm
Zhao et al. Image Preprocessing Algorithm Based on K-Means
Mulyani et al. Clustering Area Covid-19 Indonesia With K-Means (Case study: Kaggle Dataset)
Patil et al. Optimal Number of Cluster Identification using Robust K-means for Sequences in Categorical Sequences
Zhang et al. The application in basketball technical actions analysis by data mining

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180821

RJ01 Rejection of invention patent application after publication