CN104765852A

CN104765852A - 大数据背景下基于模糊算法的数据挖掘方法

Info

Publication number: CN104765852A
Application number: CN201510189397.8A
Authority: CN
Inventors: 杨立波
Original assignee: Chengdu Bo Yuan Epoch Softcom Ltd
Current assignee: Shanghai Pengjing Digital Marketing Planning Co., Ltd.
Priority date: 2015-04-21
Filing date: 2015-04-21
Publication date: 2015-07-08
Anticipated expiration: 2035-04-21
Also published as: CN104765852B

Abstract

本发明总体涉及电数据数字处理技术领域，更具体而言涉及一种在大数据背景下对数据挖掘的方法。本发明提供了一种在大数据背景下基于模糊算法的数据挖掘方法，其特征在于包括以下步骤：1)对数据进行准备，从大数据中准备将被挖掘的数据,对其进行预先处理操作；2)对数据进行挖掘，根据挖掘的目的和需求，选择模糊聚类算法来挖掘数据规律；3)对挖掘结果的评价和分析，对挖掘的结果进行解释、分析并提取想要的或感兴趣的规律，并将其复原为人类所能理解的数据语言；4)对挖掘的评价结果在现实决策中运用。本申请提出的方法可以解决在大数据信息处理时准确和高效地进行数据挖掘的技术问题。

Description

大数据背景下基于模糊算法的数据挖掘方法

技术领域

本发明总体涉及电数据数字处理技术领域，更具体而言，涉及一种在大数据背景下对数据挖掘的方法。

背景技术

随着社会工业化、信息化水平的不断提高，如今数据已取代计算成为信息计算的中心，云计算、大数据正在成为一种趋势和潮流，包括存储容量、可用性、I/O性能、数据安全性、可扩展性等诸多方面。大数据是规模非常巨大和复杂的数据集。大数据有4V：Volume(大量)，数据量持续快速增加；Velocity(高速)，数据I/O速度更快；Variety(多样)，数据类型和来源多样化；Value(价值)，其存在各方面的可用价值。如何从海量的数据中提取、获得想要的知识或感兴趣的信息，这是利用好大数据，进而更好地服务于社会发展的要求。数据挖掘是作为一门学科诞生于20世纪80年代，从技术的角度看就是从大量复杂的、不规则的、随机的、模糊的数据中获取隐含的、人们事先没有发觉的、有潜在价值的信息和知识的过程.从商业角度来说，数据挖掘就是从庞大的数据库中抽取、转换、分析一些潜在规律和价值，从中获取辅助商业决策的关键信息和有用知识。分析方法是数据挖掘的核心工作，通过科学可靠的算法才能实现数据的挖掘，找出数据中潜在的规律。通过不同的分析方法解决不同类型的问题，在现实中针对不同的分析目标，找出相对应的方法.目前常用的分析方法主要有聚类分析、分类和预测、关联分析等。因此，数据挖掘分析方法的发展，决定了对大数据利用效率的提高。

关于聚类分析技术，现有技术中公开了一些相关的方案，例如在申请号201210296436.0的专利申请中，公开了一种聚类框架的稀疏模糊聚类方法；使用R语言实现，基于Witten的稀疏聚类框架。将FCM目标函数写成若干函数项和的形式，每一项只跟一个属性有关，再给数据的每一个属性赋予一个权重，权重大的表示重要性高，通过对权重的L1和L2正则化约束得到稀疏权重解，不断迭代优化目标函数得到聚类结果和稀疏权重解。得到稀疏权重过程是特征选择过程，非零权重对应属性是对聚类有用属性，权重为0的属性是丢掉的无用属性。与传统的FCM算法相比，该技术提高了聚类能力，比FCM更适合高维数据的聚类，可方便应用于数据挖掘、机器学习、生物信息学等领域。然而，尽管其提高了聚类能力，但其效率依然不够高，不能够极好地满足大数据背景下数据挖掘的要求。

有鉴于此，本发明提出一种在大数据背景下基于模糊算法的数据挖掘方法，其满足在大数据信息挖掘处理时的准确和效率要求。

发明内容

本发明为解决上述技术问题而采取的技术方案为：一种在大数据背景下基于模糊算法的数据挖掘方法，其特征在于包括以下步骤：1)对数据进行准备，从大数据中准备将被挖掘的数据，因为将被挖掘的原始数据不是直接适合于被数据挖掘，因此需要对其进行预先处理操作；2)对数据进行挖掘，根据挖掘的目的和需求，选择模糊聚类算法来挖掘数据规律；3)对挖掘结果的评价和分析，该步骤需要对挖掘的结果进行解释、分析并提取想要的或感兴趣的规律，并将其复原为人类所能理解的数据语言；4)对挖掘的评价结果在现实决策中运用，实现数据挖掘的最终目的并体现其价值。

根据本发明的另一个方面，其中对挖掘的评价结果在现实决策中运用包括：通过提取和挖掘对象的数据和信息特点，可有效地分析对象的行为和关注点，进而为大数据环境下的各个挖掘主体带来潜在的有效情报、信息和/或效益。

根据本发明的一个方面，其中对数据进行挖掘的步骤进一步包括：a)生成由P个单元组成的族，其中对于m个项来说，每个单元是一组最小支持数和关系函数，其中P、m是正整数；b)基于每个集合的属性参数，通过模糊聚类方法而将集合分为k个集群，计算每个集合的满足程度和适合数，其中k是正整数；c)在族上执行交迭、交换操作；d)选择合适的单元；e)如果不满足标准，返回到步骤b)；f)发现具有最高适合数的族，并获得其中包括的该组最小支持数和关系函数；g)从给定的大数据中使用该组最小支持数和关系函数来挖掘模糊关联。

根据本发明的另一个方面，对数据进行挖掘的步骤进一步包括：a)生成由P个单元组成的族，其中对于m个项来说，每个单元是一组最小支持数和关系函数，其中P、m是正整数；b)基于每个集合的属性参数，通过模糊聚类方法而将集合分为k个集群，计算每个集合的满足程度和适合数，其中k是正整数；c)在族上执行交迭、交换操作；d)选择合适的单元；e)如果不满足标准，返回到步骤b)；f)发现具有最高适合数的族，并获得其中包括的该组最小支持数和关系函数；g)从给定的大数据中使用该组最小支持数和关系函数来挖掘模糊关联。

根据本发明的另一个方面，其中该方法可极好地应用于大数据时代的数据挖掘的各个应用领域，至少包括以下领域：市场领域、科学技术研究领域、工业设计制造领域、通信金融领域、互联网领域、信息安全和国防领域。

本申请提出的方法可以解决在大数据信息处理时的准确和高效地进行数据挖掘的技术问题。

附图说明

在附图中通过实例的方式而不是通过限制的方式来示出本发明的实施例，其中相同的附图标记表示相同的元件，其中：

根据本发明的实施例，图1图示了一种在大数据背景下基于模糊算法的数据挖掘方法。

根据本发明的实施例，图2图示了本发明提出的方法和现有技术的比较。

具体实施方式

在下面的说明中，参考附图并以图示的方式示出几个具体的实施例。将理解的是：可设想并且可做出其他实施例而不脱离本申请的范围或精神。因此，下面的详细描述不应被认为具有限制意义。

根据本发明的实施例，图1图示了一种在大数据背景下基于模糊算法的数据挖掘方法，包括以下步骤：1)对数据进行准备，从大数据中准备将被挖掘的数据，因为将被挖掘的原始数据不是直接适合于被数据挖掘，因此需要对其进行预先处理操作，该预先处理操作包括但不限于数据的选择、清理、推测、转变操作，该步骤是最基础的操作，因为其成果的质量直接决定了后续进一步对数据进行挖掘的准确性、质量和效率。2)对数据进行挖掘，根据挖掘的目的和需求，选择模糊聚类算法来挖掘数据规律。3)对挖掘结果的评价和分析，该步骤需要对挖掘的结果进行解释、分析并提取想要的或感兴趣的规律，并将其复原为人类所能理解的数据语言。4)对挖掘的评价结果在现实决策中运用，实现数据挖掘的最终目的并体现其价值。

根据本发明的实施例，对数据进行挖掘的步骤进一步包括：a)生成由P个单元组成的族，其中对于m个项来说，每个单元是一组最小支持数和关系函数，其中P、m是正整数；b)基于每个集合的属性参数，通过模糊聚类方法而将集合分为k个集群，计算每个集合的满足程度和适合数，其中k是正整数；c)在族上执行交迭、交换操作；d)选择合适的单元；e)如果不满足标准，返回到步骤b；f)发现具有最高适合数的族，并获得其中包括的该组最小支持数和关系函数；g)从给定的大数据中使用该组最小支持数和关系函数来挖掘模糊关联。

根据本发明的实施例，在所述单元中，最小支持数是通过表示某个项的实数来编码的，例如，如果用实数a_i表示项I_i，则整个组被连接为a₁，a₂，a₃……a_j，其中j表示项的总数。关系函数也采用实数来表示，其中R_ik表示I_i的第k个语言术语的关系函数，其中k是正整数。

根据本发明的实施例，所述每个集合的属性参数包括但不限于以下参数：参数A、参数B、参数C。其中参数A表示对于项I_i的关系函数的覆盖程度，其可以采用以下方法获得：MAX(I_i)/CR(R_i1,……R_il)，其中MAX(I_i)表示I_i的最大数量，而CR(R_i1,……R_il)表示关系函数的覆盖范围，其中l是对于项I_i的关系的数量，且i，l都是正整数。参数B表示在一个族中的项I_i的关系的重叠覆盖程度，其可以采用以下方法获得：其中O(R_jk,R_ji)表示R_jk和R_ji的重叠覆盖长度，而min(W_jk,W_ji)表示W_jk和W_ji中的最小值，而W_jk表示R_jk在数量轴上扩展范围的一半，其中i、j、k均为正整数。其中参数C表示用于对于项I_i的关系函数的覆盖程度，其可以采用以下方法获得：其中a_i的含义如前所述，m表示项的总数，i、m都是正整数。

根据本发明的实施例，所述计算每个集合的满足程度和适合数进一步包括：对于每个数据D_i，其中i是1至正整数n范围内的任意整数。并且对于每个项I_j，j是1至正整数m范围内的任意整数。使用由集合表示相应的关系函数，将数值转换为模糊集：其中是R_jk中的模糊关系值，而l(＝|I_j|)是对于项I_j的语义术语的数量，i、j、k、l都是正整数。

根据本发明的实施例，所述计算每个集合的满足程度和适合数进一步包括：对于每个R_jk，1≤j≤m，根据计算基数。并且对于每个1≤j≤m和1≤k≤l，检查是否大于或等于在集合中表示的最小支持的值；设置每个集合的满足程度。

根据本发明的实施例，所述计算每个集合的满足程度和适合数进一步包括：通过集合的满足程度和其与集群的关系数值，计算其他集合的估计的满足程度：其中G是集群g的集合，而u_qg是属于集群g的集合的关系数值，其中函数其中j、m、q为正整数，R(c_qj)表示导出的语义的接近程度，其可以采用以下方法获得：当导出的项的数量不大于所需的项数量时，R(c_qj)为前者除以后者；当导出的项的数量大于所需的项数量时，R(c_qj)为前者的倒数乘以后者。

下面通过实例来验证本发明对于效率的改进，假设存在四个数据库A/B/C/D，单位数量为10，生成10个单位，其中前四个是最小支持，而其他的是关系函数的属性参数：表1示出了编号和相应的内容。

编号	内容	编号	内容
				1	(D,6)；(B,4)；(C,7)；(A,7)	6	(D,6)；(A,6)
2	(D,7)；(B,7)；(C,12)	7	(D,10)；(C,6)
				3	(B,8)；(C,12)；(A,6)	8	(D,11)；(B,11)
4	(D,2)；(B,3)	9	(B,11)

5

(D,3)；(B,8)

10

(B,10)

表1

对于每个集合，参数A、参数B、参数C的值如表2所示

集合	(参数A、参数B、参数C)	集合	(参数A、参数B、参数C)
				1	(6、3、16)	6	(4、5、13)
2	(5、3、11)	7	(5、6、15)
				3	(4、5、22)	8	(4、4、13)
4	(5、5、14)	9	(5、2、14)
				5	(5、4、15)	10	(5、3、18)

表2

对于每个集合，适合数的值如表3所示

集合	适合数	集合	适合数
				1	0.5	6	0.4
2	0.6	7	0.3
				3	0.4	8	0.5
4	0.4	9	0.7
				5	0.5	10	0.5

表3

当族的大小为50时，依照本发明的方法的集群数量可被设置为5、10、15、20，交迭程度为80％，而交换程度为0.1％。表4表示使用本发明所提出的方法相对于现有技术的执行时间和加速程度以及平均的支持数的表格，其中各数值及以上各数值取整：

方法	执行时间(最小)	加速程度	支持数值
				本发明集群数＝5	19	13	27
本发明集群数＝10	26	10	24
				本发明集群数＝15	34	7	24

本发明集群数＝20	40	6	22
				现有技术	250	1	21

表4

根据本发明的实施例，图2图示本发明提出的方法和现有技术的比较。从表4和图2中可以看出，当k设置为10-20时，本发明所提出的方法能够取得较好的结果，执行时间减小到原来的速度明显加快，效率极大地得到提高。

根据本发明的一个实施例，所述的关系函数为本领域中已知的各种关系函数，在本发明中并不局限于某一具体类型，因为无论各种关系函数均可用于本发明的方法，解决所述的技术问题并获得所述的技术效果。

根据本发明的一个实施例，在大数据背景下基于模糊算法的数据挖掘方法可极好地应用于大数据时代的数据挖掘的各个应用领域，包括但不限于市场领域、科学技术研究领域、工业设计制造领域、通信金融领域、互联网领域、信息安全和国防领域。通过提取和挖掘对象的数据和信息特点，可有效地分析对象的行为和关注点，进而为大数据环境下的各个挖掘主体带来潜在的有效情报、信息和/或经济效益。

综上，通过采用本发明所提出的方法，可以解决在大数据信息处理时的准确和高效地进行数据挖掘的技术问题。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应包涵在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.一种在大数据背景下基于模糊算法的数据挖掘方法，其特征在于包括以下步骤：1)对数据进行准备，从大数据中准备将被挖掘的数据，因为将被挖掘的原始数据不是直接适合于被数据挖掘，因此需要对其进行预先处理操作；2)对数据进行挖掘，根据挖掘的目的和需求，选择模糊聚类算法来挖掘数据规律；3)对挖掘结果的评价和分析，该步骤需要对挖掘的结果进行解释、分析并提取想要的或感兴趣的规律，并将其复原为人类所能理解的数据语言；4)对挖掘的评价结果在现实决策中运用，实现数据挖掘的最终目的并体现其价值。

2.如权利要求1所述的在大数据背景下基于模糊算法的数据挖掘方法，其中预先处理操作至少包括数据的选择、清理、推测、转变操作。

3.如之前任一权利要求所述的在大数据背景下基于模糊算法的数据挖掘方法，其中对挖掘的评价结果在现实决策中运用包括：通过提取和挖掘对象的数据和信息特点，可有效地分析对象的行为和关注点，进而为大数据环境下的各个挖掘主体带来潜在的有效情报、信息和/或效益。

4.如之前任一权利要求所述的在大数据背景下基于模糊算法的数据挖掘方法，其中对数据进行挖掘的步骤进一步包括：a)生成由P个单元组成的族，其中对于m个项来说，每个单元是一组最小支持数和关系函数，其中P、m是正整数；b)基于每个集合的属性参数，通过模糊聚类方法而将集合分为k个集群，计算每个集合的满足程度和适合数，其中k是正整数；c)在族上执行交迭、交换操作；d)选择合适的单元；e)如果不满足标准，返回到步骤b)；f)发现具有最高适合数的族，并获得其中包括的该组最小支持数和关系函数；g)从给定的大数据中使用该组最小支持数和关系函数来挖掘模糊关联。

5.如之前任一权利要求所述的在大数据背景下基于模糊算法的数据挖掘方法，其中在所述单元中，最小支持数是通过表示某个项的实数来编码的，例如，如果用实数a_i表示项I_i，则整个组被连接为a₁，a₂，a₃……a_j，其中j表示项的总数。关系函数也采用实数来表示，其中R_ik表示I_i的第k个语言术语的关系函数，其中k是正整数。

6.如之前任一权利要求所述的在大数据背景下基于模糊算法的数据挖掘方法，其中所述每个集合的属性参数包括但不限于以下参数：参数A、参数B、参数C。其中参数A表示对于项I_i的关系函数的覆盖程度，其可以采用以下方法获得：MAX(I_i)/CR(R_i1,……R_il)，其中MAX(I_i)表示I_i的最大数量，而CR(R_i1,……R_il)表示关系函数的覆盖范围，其中l是对于项I_i的关系的数量，且i，l都是正整数。参数B表示在一个族中的项I_i的关系的重叠覆盖程度，其可以采用以下方法获得：其中O(R_jk,R_ji)表示R_jk和R_ji的重叠覆盖长度，而min(W_jk,W_ji)表示W_jk和W_ji中的最小值，而W_jk表示R_jk在数量轴上扩展范围的一半，其中i、j、k均为正整数。其中参数C表示用于对于项I_i的关系函数的覆盖程度，其可以采用以下方法获得：其中a_i的含义如前所述，m表示项的总数，i、m都是正整数。

7.如之前任一权利要求所述的在大数据背景下基于模糊算法的数据挖掘方法，其中所述计算每个集合的满足程度和适合数进一步包括：对于每个数据D_i，其中i是1至正整数n范围内的任意整数。并且对于每个项I_j，j是1至正整数m范围内的任意整数。使用由集合表示相应的关系函数，将数值转换为模糊集：其中是R_jk中的模糊关系值，而l(＝|I_j|)是对于项I_j的语言术语的数量，i、j、k、l都是正整数。

8.如之前任一权利要求所述的在大数据背景下基于模糊算法的数据挖掘方法，其中所述计算每个集合的满足程度和适合数进一步包括：对于每个R_jk，1≤j≤m，根据计算基数。并且对于每个1≤j≤m和1≤k≤l，检查是否大于或等于在集合中表示的最小支持的值；设置每个集合的满足程度。

9.如之前任一权利要求所述的在大数据背景下基于模糊算法的数据挖掘方法，其中所述计算每个集合的满足程度和适合数进一步包括：通过集合的满足程度和其与集群的关系数值，计算其他集合的估计的满足程度：其中G是集群g的集合，而u_qg是属于集群g的集合的关系数值，其中函数其中j、m、q为正整数，R(c_qj)表示导出的语义的接近程度，其可以采用以下方法获得：当导出的项的数量不大于所需的项数量时，R(c_qj)为前者除以后者；当导出的项的数量大于所需的项数量时，R(c_qj)为前者的倒数乘以后者。

10.如之前任一权利要求所述的在大数据背景下基于模糊算法的数据挖掘方法，其中该方法可极好地应用于大数据时代的数据挖掘的各个应用领域，至少包括以下领域：市场领域、科学技术研究领域、工业设计制造领域、通信金融领域、互联网领域、信息安全和国防领域。