CN101110089A - 一种数据挖掘和建模的方法及系统 - Google Patents

Abstract

本发明公开了一种数据挖掘方法，A.预先设置数据抽取规则，根据所述数据抽取规则，从数据源中抽取建模数据和评分数据；B.选择算法，对所述建模数据进行建模；C.利用所述建立的模型，对所述评分数据进行评分；D.输出评分结果。本发明还公开了一种建模方法、建模系统及数据挖掘系统。使用本发明通过设置和执行数据抽取规则，设置和执行数据建模流程，实现动态变化数据的建模。

Description

一种数据挖掘和建模的方法及系统

技术领域

本发明涉及数据挖掘技术，具体涉及一种数据挖掘和建模的方法及系统。

背景技术

数据库知识发现(KDD，Knowledge Discovery In Database)是人工智能、机器学习与数据库技术等多种学科相结合的产物，是从大量数据中提取出可信、新颖、有用并能被人理解的模式的高级处理过程。这里的模式就是知识，或者说是隐藏在数据背后的规律、关系或规则。

图1所示为现有技术KDD处理过程，如图1所示，KDD处理过程主要包括数据选择、数据预处理、数据转换、数据挖掘和模式解释/知识评价五个步骤。数据挖掘(DM，Data Mining)是KDD中的一个重要步骤，用于发现转换后的数据中存在的关系和规则，下文用数据挖掘来指代KDD的整个分析过程。

图2为现有技术中基于操作的数据挖掘方法流程图。如图2所示，该方法包括以下步骤：

步骤210：建模数据处理，手工使用挖掘工具，建立数据挖掘模型。

本步骤包括：搜集与整理与建模目标相关的历史数据，从中选择确定不变的目标数据表，例如选择一个数据库的数据表作为建模数据，并转换为数据挖掘需要的格式；选择某种挖掘算法，对确定的建模数据进行建模，获得模型；重复选择算法的操作，对相同的建模数据进行建模，获得另外一个模型

步骤220：评估数据处理。该步骤可与步骤210并列执行，或在步骤210之前或之后执行。

本步骤包括：搜集与预测问题相关的历史数据，从中选择评估数据，并转换为数据挖掘需要的格式。

步骤221及步骤211：手工使用挖掘工具进行模型评估，得到评估报告，根据评估报告确定最优模型。

本步骤包括：利用步骤220准备好的评估数据，对步骤210建立的多个模型进行评估，即利用建立好的模型对历史数据进行预测，将预测的结果与历史数据中对应的结果最接近的模型，确定为最优模型。

步骤230：评分数据处理。该步骤可与步骤210、步骤220及步骤221并列，或在步骤210、步骤220及步骤221之前或之后执行。

本步骤包括：搜集与预测问题相关的数据，转换为数据挖掘需要的格式。

步骤231：手工使用挖掘工具，进行评分处理。

本步骤包括：手工使用挖掘工具，利用步骤211建立好的模型，对步骤230准备好的评分数据进行处理，得到预测结果，如数据的未来发展趋势。

例如，在客户流失模型中，评分结果反映的是客户流失可能性的大小，一般用0～1之间的一个数值表示，此值越接近1说明客户流失的可能性越大。如本步骤评分处理后得到某些或某个客户的预测结果是0.8，可以理解为该批客户或该客户的流失可能性为80％。

步骤232：手工使用挖掘工具导出预测结果。

本步骤包括：将步骤231计算出的预测结果从数据挖掘工具导入到数据库中。

步骤233：在数据库中对预测结果进行分析，以便对不同特征的数据采取不同的措施。

例如，在客户流失模型中得到某些客户流失的可能性为80％，即客户流失的可能性比较大，则运营商可以针对该批客户采取一些挽留的措施，以保证该批客户继续为运营商带来利润。

如果需要对多个数据源进行数据挖掘，则重复以上描述的步骤。

由上述描述可知，现有技术中无法实现动态变化数据的建模，每一次建模只能从确定的一个数据源中获取确定的数据。当建模的数据源或数据源中的数据表有所变化时，每次建模都需要手工进行重新选择需要的已经确定的数据。

发明内容

有鉴于此，本发明实施例提供一种数据挖掘方法，实现动态变化数据的建模及数据挖掘。该方法包括：

A、预先设置数据抽取规则；根据所述数据抽取规则，从数据源中抽取建模数据和评分数据；B、选择算法，对所述建模数据进行建模；C、利用所述建立的模型，对所述评分数据进行评分；D、输出评分结果。

本发明实施例还提供一种建模方法，实现动态变化数据的建模。该方法包括：根据预设的数据抽取规则，从数据源中抽取建模数据；选择算法，对所述建模数据进行建模。

本发明实施例还提供一种数据挖掘系统，实现了动态变化数据的建模及数据挖掘。该系统包括数据获取模块、建模模块、结果应用模块及展现模块，

所述数据获取模块，用于保存设置的数据抽取规则，根据所述数据抽取规则从数据源抽取建模数据和评分数据；

所述建模模块，用于选择算法，对所述数据获取模块获取的建模数据建立模型；

所述结果应用模块，用于利用所述模型，对所述评分数据进行评分；

所述展现模块，用于输出评分结果。

本发明实施例还提供一种建模系统，实现了动态变化数据的建模。该系统包括数据获取模块和建模模块，所述数据获取模块，用于保存设置的数据抽取规则，根据所述规则从数据源抽取建模数据；所述建模模块，用于选择算法，对所述数据获取模块获取的建模数据进行建模。

与现有技术相比，本发明实施例所提供的技术方案，通过执行预先设置的数据抽取规则，从数据源中抽取建模数据和评分数据，然后根据选择的算法对抽取的建模数据进行建模；利用建立的模型对抽取的评分数据进行评分，从而可以通过灵活设置数据抽取规则，实现动态变化数据的建模。

附图说明

图1为现有技术中KDD处理过程；

图2为现有技术中基于操作的数据挖掘方法流程图；

图3为本发明实施例中用于数据挖掘的工作流示意图；

图4为本发明实施例中数据建模方法流程图；

图5为本发明实施例中数据建模结果应用方法流程图；

图6为本发明实施例中数据挖掘系统结构图。

具体实施方式

下面结合附图及具体实施例对本发明进行详细说明。

本发明实施例中的数据挖掘方法，预先设置数据抽取规则，根据所述数据抽取规则，从数据源中抽取建模数据和评分数据；选择算法，对所述建模数据进行建模；利用所述建立的模型，对所述评分数据进行评分；输出评分结果。从而可以通过设置数据抽取规则从数据源中抽取符合条件的数据，从而使得建模数据抽取不受数据源或数据源中的数据表变化的影响，实现动态变化数据的建模。

该方法进一步通过设置工作流和控制工作流实现数据挖掘的自动进行。

工作流即自动运作的业务流程的部分或整体，表现为各业务流程对文件、信息或任务控制规程采取行动，并令其在各业务流程之间传递。

图3为本发明实施例中的用于数据挖掘的工作流示意图。如图3所示，本发明实施例中设置的用于数据挖掘的工作流包括数据获取流程、建模流程、结果应用流程及展现流程。

其中，数据获取流程通过预先设置的数据抽取规则，从数据源抽取建模数据和评分数据，还可以对目标数据进行分析、预处理等操作。建模流程选择算法，对建模数据进行建模。结果应用流程利用建模流程建立的模型，对数据获取流程获取的评分数据进行评分。展现流程输出评分结果。

如果只需进行建模，则本发明实施例设置的用于建模的工作流只包括数据获取流程和建模流程。

通过使用工作流进行数据挖掘，在数据获取的过程中，通过设置工作流的数据抽取规则，也可以设置多次抽取数据或一次抽取多个数据源，解决了动态变化数据的建模问题；同时，本发明实施例在工作流设置完成后，通过启动工作流可以实现自动建模，不需要人工干预，从而加快了每次建模的反应速度，提高了建模效率，实现了数据挖掘的自动化运行。

以下对本发明实施例中数据挖掘方法进行详细说明。

图4为本发明实施例中数据建模方法流程图。如图4所示，该方法包括以下步骤：

数据获取流程包括步骤400和步骤401。

步骤400：根据预先设置的数据抽取规则获取建模数据。

本发明实施例中，通过规则引擎设置的数据抽取规则，从数据源获取建模数据。

规则引擎是指嵌入到应用程序中的组件，其任务是将当前提交给引擎的数据对象与加载在引擎中的业务规则进行测试和比对，激活那些符合当前数据状态下的业务规则，根据业务规则声明的执行逻辑，触发应用程序中对应的操作，例如抽取数据的执行逻辑。

本步骤中设置数据抽取规则可包括：设置数据抽取的条件，例如年龄在20～30岁之间用户的话费；还可以进一步包括设置从单个或多个数据源中抽取数据。例如从数据库1中抽取满足一定条件的数据，或从多个数据源中抽取满足一定条件的数据。还可以包括设置多次抽取数据，例如设置抽取3次数据，第一次从数据库1中抽取数据，第二次数据库2中抽取数据，等等。

本流程中，通过规则引擎设置的数据抽取规则包括建模数据的获取规则和评分数据的获取规则，通过执行建模数据的获取规则获取建模数据，通过执行评分数据的获取规则获取评分数据；也可以通过数据抽取规则抽取数据后，将抽取的数据标示为建模数据或评分数据，也可以进一步在建模数据和评分数据之间设置对应规则，通过对应规则将建模数据和评分数据对应起来。

步骤401：数据预处理。

本步骤中，对通过规则引擎获取的数据进行预处理，包括对数据进行分析，异常值的处理，空值的处理，数据的抽取及数据的转换等，从而将数据处理为能够进行建模的数据。例如：将超过一定范围的数据删除、将空值补入符合条件的值、从所有数据中抽取一定字段的数据、并将数据转换为可以建模的格式或归一化等处理。

建模流程包括步骤402～步骤405，其中步骤404和步骤405为模型输出流程。

步骤402：选择建模算法并建立模型。

本步骤中，工作流的数据获取流程将获取的数据传输到工作流的建模流程，由工作流的建模流程根据预先设置的算法获取规则，选择算法。算法获取规则是根据建模目的设置的，如预测性的模型，则可以设置选择决策树算法、逻辑回归算法，神经网络算法；关联分析模型则需要设置选择关联算法，而不能选择逻辑回归算法。最后，根据选择的算法，对获取的并进一步经过预处理的建模数据进行建模。

步骤403：模型评估。

本步骤可以根据所选择的算法，特别设置评估指标，如F值，z值，均方误差等指标，根据这些设置的评估指标设置评估规则，执行评估规则来评估模型的好坏，以确定最优模型。

本步骤中，设置评估指标，例如命中率，即根据已经存在的数据，利用模型计算出来的结果，与已经存在的结果相比较，计算得到的结果正确的比率；根据该评估指标对模型效果进行评估，即根据设置的指标，比较多个模型间的优劣，从而判断出最优模型。

步骤404：输出评估报告。

步骤405：输出最优规则。

选择最优的模型分析报告作为建模过程结束的输出。

至此，工作流设置结束，实现了动态数据的建模；同时对于多组数据的建模，只需要启动工作流即可，实现了数据建模的自动进行。

图5为本发明实施例中数据建模结果应用方法流程图。如图5所示，该方法包括以下步骤：

数据获取包括步骤500和步骤501。

步骤500：获取评分数据。

本步骤中，通过规则引擎设置获取符合设置规则的评分数据。通过设置规则引擎，可以从动态变化的数据源获取数据或从多个数据源获取数据。

步骤501：对评分数据进行数据预处理。

本步骤，对评分数据进行数据预处理，包括数据分析、异常值处理、空值的处理、数据的抽取及数据的转换等，从而将数据转换为能够直接评分的数据。

应用流程包括步骤502～步骤503。

步骤502：评分并得到评分结果。

本步骤中，利用建模过程选择的最优模型，对相应的评分数据进行评分，得到评分数据的评分结果。

具体来说，本步骤包括：设置模型的评分规则，使最优模型与建模数据及评分数据相对应，执行评分规则，利用最优模型对评分数据进行评分，得到评分数据的评分结果，作为指标存在评分数据中。

步骤503：根据应用的需求，设置评分结果输出内容，包括评分结果分析，或者部分评分结果的输出。

本步骤根据模型的使用需求，例如：对年龄在20-30岁之间，价值为高，且流失率在0.8以上的用户进行挽留，则在模型的展现设置部分设置年龄20-30且流失率＞0.8且价值为高的规则，展现结果为符合规则的用户。如果评分结果表中仅有用户基本信息和流失率信息，则需要设置规则，通过用户基本信息与另外一个有用户基本信息，同时还有用户年龄信息和价值信息的表进行关联，输出符合规则要求的信息。还可以输出其它内容，例如输出建模过程中各种设置、模型评估报告以及建模结果。

如果需要则执行步骤504：输出得到模型评估报告。

如果需要对多个数据源进行评分，则只要启动按照上述流程设置的工作流，对多个数据源进行评分，就可以通过设置的工作流实现数据的自动评分。

由以上所述可知，通过设置数据抽取规则从数据源中获取建模数据，从而实现了动态变化数据的建模；进一步由于预先设置了数据挖掘的工作流，从而只要启动设置好的工作流即可实现多个数据源的自动建模以及自动评分，不需要人力介入，从而降低了数据挖掘的使用门槛，同时实现了数据挖掘的自动进行，加快了数据挖掘的反应速度。

以下以实际的应用示例对本发明实施例中的建模方法进行详细说明。

设某省有18个地市，对客户流失率最高的前5个地市分别建模，其它城市一起建立模型，预测各地市在3个月后可能流失的客户，包括以下步骤：

首先，根据预测各地市在3个月后可能流失的客户的项目目标，确定项目需要的指标及数据；该部分在数据库里处理，不在挖掘工具中进行，处理过的数据作为数据获取的来源；

在工作流中设置建模数据获取流程：通过规则引擎设置数据抽取规则，抽取流失率最高的5个地市数据(A，B，C，D，G共5个)，并单独建模，分别得到各地市建模数据和评分数据；该5个地市之外的其它地市作为一个x地市统一看待；把x地的数据中流失(lose)字段设置为评分的目标字段；

在工作流中设置数据预处理的规则：对获取的建模数据，抽取5％的数据随机抽样进行建模，通过把数据里面的空值去掉，异常值(取5％的置信限)，0-1标准化进行数据预处理；得到能够直接建模的优质数据。

设置工作流的建模流程：对预处理后的数据，选择逻辑回归算法或决策树算法，设置算法的参数(例如，采用默认值)；根据设置的算法对处理后的建模数据进行建模，得到流失的规律规则；

在工作流的建模流程中设置模型评估：设置模型的对比评估指标(例如，命中率)；对模型的执行结果根据设置的评估指标选择最优模型，例如，如果模型结果的命中率最高，则将该模型确定为最优的模型；并把该命中率最高的模型确定为数据的规律性规则；

在工作流中设置结果应用流程：利用对不同地市的建模结果，对对应地市的评分数据评分；例如，利用A地市建立的最优模型预测该地市三个月后的客户流失率；利用x地市建立的最优模型，对x地市三个月后客户流失率进行预测。

在工作流中设置展现流程：例如，生成A地市的建模报告，通过建模报告查看A地市建模的全过程以及模型结果的评估效果。根据应用需要，设置模型输出内容，包括模型评估报告，模型评分结果分析，模型应用数据输出字段等。例如，输出预测的客户流失率在0.5以上，账单费在50元以上的用户ID。

最后，控制工作流对其它地市进行自动建模；对其它地市的用户自动评分，预测流失结果，输出符合设置条件的用户ID。

图6为本发明实施例中的数据挖掘系统结构图。如图6所示，该系统在工作流中包括数据获取模块、建模模块、结果应用模块及展现模块。

其中，数据获取模块，用于保存设置的数据抽取规则，根据该规则从数据源抽取建模数据和评分数据。建模模块，用于选择算法，对数据获取模块获取的建模数据建立模型。结果应用模块，用于利用建立的模型，对数据获取模块获取的评分数据进行评分。展现模块，用于输出评分结果。

如果只需要建立模型，则本发明实施例中建模系统包括数据获取模块和建模模块。

具体来说，数据获取模块包括规则引擎模块、抽取模块及抽取规则设置模块。

其中，规则引擎模块，用于设置数据抽取规则。抽取模块，用于根据规则引擎设置的数据抽取规则，从数据源中抽取建模数据和评分数据。抽取规则设置模块，用于设置数据抽取的条件，以及设置多次抽取数据，或从单个或多个数据源中抽取数据。

数据获取模块还可进一步包括预处理模块，用于对抽取模块抽取的数据进行预处理。

建模模块包括算法选择模块、模型建立模块及评估模块，其中，算法选择模块，用于选择算法。模型建立模块，用于根据算法选择模块选择的算法，对数据获取模块的数据进行建模。评估模块，用于保存预先设置的模型评估规则，根据模型评估规则对建立的模型进行评估，确定最优的模型。

由以上所述可以看出，本发明实施例所提供的技术方案，通过执行预先设置的数据抽取规则，从数据源中抽取建模数据和评分数据，然后根据选择的算法对抽取的建模数据进行建模；利用建立的模型对抽取的评分数据进行评分，从而可以通过灵活设置数据抽取规则，实现动态变化数据的建模。

本发明实施例的技术方案进一步在工作流中设置数据获取流程、建模流程、结果应用流程及展现流程，对获取的建模数据进行建模，对获取的评分数据进行评分，并通过控制设置好的工作流对多组数据进行建模及评分，从而实现了数据的自动建模及评分，提高了建模的反应速度，实现了建模及数据挖掘的自动进行。

同时，由于通过控制工作流进行数据挖掘，只需有能力启动工作流的人员即可以实现数据挖掘，因此，不需要为数据挖掘专门进行人员的培训，节省了成本。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种数据挖掘方法，其特征在于，该方法包括：

A、预先设置数据抽取规则；根据所述数据抽取规则，从数据源中抽取建模数据和评分数据；

B、选择算法，对所述建模数据进行建模；

C、利用所述建立的模型，对所述评分数据进行评分；

D、输出评分结果。

2.如权利要求1所述的数据挖掘方法，其特征在于，该方法进一步包括：

预先设置包括数据获取流程、建模流程、结果应用流程及展现流程的工作流；

所述步骤A在所述数据获取流程中执行；所述步骤B在所述建模流程中执行；所述步骤C在所述结果应用流程中执行；所述步骤D在所述展现流程中执行。

3.如权利要求1或2所述的数据挖掘方法，其特征在于，所述步骤A进一步包括：对所述建模数据和评分数据进行预处理。

4.如权利要求1或2所述的数据挖掘方法，其特征在于，所述步骤B进一步包括：根据预先设置的模型评估规则，对建立的模型进行评估，确定最优的模型。

5.如权利要求1或2所述的数据挖掘方法，其特征在于，所述设置数据抽取规则包括：设置数据抽取的条件，以及设置多次抽取数据，或从单个或多个数据源中抽取多个数据。

6.一种建模方法，其特征在于，该方法包括：

根据预设的数据抽取规则，从数据源中抽取建模数据；

选择算法，对所述建模数据进行建模。

7.如权利要求6所述的建模方法，其特征在于，该方法进一步包括：

预先设置包括数据获取流程和建模流程的工作流；

所述步骤A在所述数据获取流程中执行；所述步骤B在所述建模流程中执行。

8.如权利要求6或7所述的建模方法，其特征在于，所述步骤A进一步包括：对所述抽取的建模数据进行预处理。

9.如权利要求6或7所述的建模方法，其特征在于，所述方法进一步包括：根据预先设置的模型评估规则，对建立的模型进行评估，确定最优的模型。

10.如权利要求6或7所述的建模方法，其特征在于，所述设置数据抽取规则包括：设置数据抽取的条件，以及设置多次抽取数据，或者从单个或多个数据源中抽取多个数据。

11.一种数据挖掘系统，其特征在于，该系统包括数据获取模块、建模模块、结果应用模块及展现模块，

所述数据获取模块，用于保存设置的数据抽取规则，根据所述数据抽取规则从数据源抽取建模数据和评分数据；

所述建模模块，用于选择算法，对所述数据获取模块获取的建模数据建立模型；

所述结果应用模块，用于利用所述模型，对所述评分数据进行评分；

所述展现模块，用于输出评分结果。

12.如权利要求11所述的数据挖掘系统，其特征在于，所述数据获取模块包括：

规则引擎模块，用于设置数据抽取规则；

抽取模块，用于根据所述规则引擎模块的数据抽取规则，从数据源中抽取建模数据和评分数据；

及抽取规则设置模块，用于设置数据抽取的条件，以及设置多次抽取数据，或者从单个或多个数据源中抽取数据。

13.如权利要求11或12所述的数据挖掘系统，其特征在于，所述数据获取模块进一步包括：预处理模块，用于对所述建模数据进行预处理。

14.如权利要求11所述的数据挖掘系统，其特征在于，所述建模模块包括：

算法选择模块，用于选择算法；

模型建立模块，用于根据所述选择的算法，对所述数据获取模块的数据进行建模；

评估模块，用于保存预先设置的模型评估规则，根据所述模型评估规则对建立的模型进行评估，确定最优的模型。

15.一种建模系统，其特征在于，该系统包括数据获取模块和建模模块，

所述数据获取模块，用于保存设置的数据抽取规则，根据所述规则从数据源抽取建模数据；

所述建模模块，用于选择算法，对所述数据获取模块获取的建模数据进行建模。

16.如权利要求15所述的建模系统，其特征在于，所述数据获取模块包括：

规则引擎模块，用于设置数据抽取规则；

抽取模块，用于根据所述数据抽取规则，从数据源中抽取建模数据；

及抽取规则设置模块，用于设置数据抽取的条件，以及设备多次抽取数据，或从单个或多个数据源中抽取数据。

17.如权利要求16所述的建模系统，其特征在于，所述数据获取模块进一步包括：预处理模块，用于对所述抽取模块抽取的建模数据进行预处理。

18.如权利要求15所述的建模系统，其特征在于，所述建模模块包括：

算法选择模块，用于选择算法；

模型建立模块，用于根据所述选择的算法，对所述数据获取模块的数据进行建模；

评估模块，用于保存预先设置的模型评估规则，根据所述模型评估规则对建立的模型进行评估，确定最优的模型。

Images