CN106503039A - 一种可视化实时数据挖掘系统及方法 - Google Patents

Abstract

本发明公开了一种可视化实时数据挖掘系统及方法，系统包括：数据处理模块，包括数据预处理单元、挖掘计划生成单元及挖掘执行单元；数据管理模块，包括数据整合单元及数据存储单元，其中数据整合单元用于将挖掘结果进行整合；所述数据存储单元，用于存储整合后的挖掘结果；数据检测模块，包括适应器单元、上下文管理单元、配置文件管理单元、资源监视单元；可视化模块，用于显示挖掘结果。本发明可以在数据挖掘过程中对实时更新的数据进行挖掘，保证挖掘结果的实时性，以及提高数据挖掘过程对移动数据的效率，并可视化地呈现，实现高效率、高实时性的实时数据挖掘。

Description

一种可视化实时数据挖掘系统及方法

技术领域

本发明涉及一种可视化实时数据挖掘系统及方法，属于数据挖掘的技术领域。

背景技术

随着互联网以及移动互联网、物联网的飞速发展，人类社会的数据种类和规模正以前所未有的速度增长。许多组织已经也已经有超大型数据库，并且这些数据库在不断变化和增长。移动设备也越来越被人们认可和使用，移动数据的数据量也越来越大。大量的数据是没有有用的，它是一个巨大的计算和财务负担，但其真正的价值不是在存储的数据，而是在于提取有用的信息，并找到有效的发展趋势和相关性的能力。数据挖掘就是为了顺应这种需要应用而生发展起来的数据处理技术。数据挖掘是从存贮在数据库、数据仓库或其它信息仓库中的，大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖据技术近几年在国内的发展趋近成熟，然而在数据挖掘过程中还面临各种挑战，包括对移动设备实时数据挖掘的低效率以及对随时更新数据挖掘的实时性很低。因此，在数据挖据过程中有效的为移动用户提供高效率、高实时性的服务显得尤为重要。

如在文献《一种基于Web的数据挖据系统及其控制方法》，申请号：200610022668.1的文中，提供了一种基于Web的数据挖据系统及其控制方法，实现了针对不同数据和不同数据挖掘任务的各种数据挖掘算法，Web层提供一个和用户交互的界面，接受用户的输入、提供挖掘过程的人机交互界面和展示挖掘分析的结果。该系统能够提供在线的、基于Internet的数据挖掘及结果分析服务。但其不足之处在于，针对基于Web的数据挖掘系统及方法，其数据挖掘对移动数据的挖掘效率比较低，客户的满意度低。

而在文献《数据挖掘方法及系统》，申请号：201110406892.1的文件中，提供了一种数据挖掘的方法及系统，系统获取对应不同的数据挖掘子过程的多个程序脚本，按照数据挖掘子程序的执行顺序，确定对应的多个程序脚本的调用顺序，按照其调用顺序依次调用多个程序脚本。但其不足之处在于，现在的数据实时更新的比较快，无论是互联网还是物联网，对于实时数据挖掘要求处理快速。此系统对实时更新的数据不能有效的挖掘，这样导致其挖掘的实时性很低，对此客户满意度将会大大的降低。

因此，在现有的技术中，数据挖据的效率不佳，并且实时性的数据处理不够及时，无法实现对设备的实时数据挖掘的高效率以及对随时更新数据挖掘的高实时性。

发明内容

本发明所要解决的技术问题在于克服现有技术的不足，提供一种可视化实时数据挖掘系统及方法，解决现有技术中数据挖掘的效率不佳，并且实时性的数据处理不够及时，无法实现对随时更新数据挖掘的高实时性的问题。

本发明具体采用以下技术方案解决上述技术问题：

一种可视化实时数据挖掘系统，包括：

数据处理模块，包括数据预处理单元、挖掘计划生成单元及挖掘执行单元，其中数据预处理单元用于对输入的实时数据预处理；所述挖掘计划生成单元，用于根据挖掘目的生成挖掘计划；所述挖掘执行单元，用于根据挖掘计划对预处理后的实时数据进行挖掘，或根据接收的更新数据对数据进行重新挖掘获得挖掘结果；

数据管理模块，包括数据整合单元及数据存储单元，其中数据整合单元用于将挖掘结果进行整合；所述数据存储单元，用于存储整合后的挖掘结果；

数据检测模块，包括适应器单元、上下文管理单元、配置文件管理单元、资源监视单元，其中所述适应器单元用于接收所述整合后的挖掘结果；所述上下文管理单元，用于从适应器单元所接收的整合后挖掘结果中获取设备信息；所述配置文件管理单元，用于从适应器单元所接收的整合后挖掘结果中获取配置文件信息；所述资源监视单元，用于从适应器单元所接收的整合后挖掘结果中监视获取本地资源信息；所述适应器单元还用于将采集的上下文管理单元所得设备信息、配置文件管理单元所得配置文件信息及资源监视单元所得本地资源信息作为更新数据发送至挖掘执行单元重新挖掘；

可视化模块，用于显示挖掘结果。

进一步地，作为本发明的一种优选技术方案：所述数据预处理单元包括对输入的实时数据进行降维、降噪及处理数据流中丢失的值处理。

进一步地，作为本发明的一种优选技术方案：所述挖掘计划生成单元中挖掘目的由数据结构和语义价值形成。

本发明还提出了一种可视化实时数据挖掘方法，包括以下步骤：

步骤1、对输入的实时数据预处理；

步骤2、根据挖掘目的生成挖掘计划，及根据挖掘计划对预处理后的实时数据进行挖掘，获得挖掘结果；

步骤3、将挖掘结果进行整合，且存储和显示整合后的挖掘结果；

步骤4、根据接收的所述整合后的挖掘结果，从整合后的挖掘结果中获取设备信息、配置文件信息，以及监视获得本地资源信息；将可用资源信息、采集的设备信息、配置文件信息及本地资源信息作为更新数据发送；

步骤5、对接收的更新数据重新挖掘，获得挖掘结果；

步骤6、将步骤5所得挖掘结果可视化显示。

进一步地，作为本发明的一种优选技术方案：所述步骤1中预处理包括对输入的实时数据进行降维、降噪及处理数据流中丢失的值。

本发明采用上述技术方案，能产生如下技术效果：

本发明所提供一种可视化实时数据挖掘系统及方法，首先将数据源的实时数据输入数据预处理。数据在数据预处理后，根据数据挖掘目的形成数据挖掘计划。按照生成的挖掘计划对数据进行挖掘，并将挖掘的结果进行整合，存储并且通过可视化的模块，把结果更好的呈现给客户，及数据挖掘过程中对实时更新的数据进行挖掘，保证挖掘结果的实时性，以及提高数据挖掘过程对移动数据的效率，实现高效率、高实时性的实时数据挖掘。可以使得数据挖掘效率更高，挖掘的数据更准确，系统结构简单，成本低，可以更好地用于移动设备或互联网的数据挖掘中，高效地实现对随时更新数据挖掘的高实时性的问题。

附图说明

图1为本发明的可视化实时数据挖掘系统的模块示意图。

具体实施方式

下面结合说明书附图对本发明的实施方式进行描述。

如图1所示，本发明设计来了一种可视化实时数据挖掘系统，具体地，系统包括数据处理模块、数据管理模块、数据检测模块、可视化模块，以实现数据挖掘过程中对实时更新的数据进行挖掘，保证挖掘结果的实时性作用。

具体地，所示数据处理模块，包括数据预处理单元、挖掘计划生成单元及挖掘执行单元，其中数据预处理单元用于对输入的实时数据预处理；所述挖掘计划生成单元，用于根据挖掘目的生成挖掘计划；所述挖掘执行单元，用于根据挖掘计划对预处理后的实时数据进行挖掘，或根据接收的更新数据对数据进行重新挖掘获得挖掘结果。

所述数据管理模块，包括数据整合单元及数据存储单元，其中数据整合单元用于将挖掘结果进行整合；所述数据存储单元，用于存储整合后的挖掘结果。

所述数据检测模块，包括适应器单元、上下文管理单元、配置文件管理单元、资源监视单元，其中所述适应器单元用于接收所述整合后的挖掘结果；所述上下文管理单元，用于从适应器单元所接收的整合后挖掘结果中获取设备信息；所述配置文件管理单元，用于从适应器单元所接收的整合后挖掘结果中获取配置文件信息；所述资源监视单元，用于从适应器单元所接收的整合后挖掘结果中监视获取本地资源信息；所述适应器单元还用于将采集的上下文管理单元所得设备信息、配置文件管理单元所得配置文件信息及资源监视单元所得本地资源信息作为更新数据发送至挖掘执行单元重新挖掘。

可视化模块，用于显示挖掘结果。

所述系统的原理是，首先将数据源的实时数据输入数据预处理。数据在数据预处理后，根据数据挖掘目的形成数据挖掘计划。由挖掘执行单元按照生成的挖掘计划对数据进行挖掘，并由数据整合单元将挖掘的结果进行整合，由数据存储单元存储并且通过可视化的模块，把结果更好的呈现。及数据挖掘过程中，数据检测模块对实时更新的数据进行检测和传输至挖掘执行单元重新挖掘，适应器单元可接收所述整合后的挖掘结果中的数据，并可传输至上下文管理单元、配置文件管理单元获取和更新可用资源信息，且还采集来自上下文管理单元和配置文件管理单元的信息、资源监视单元获取的本地资源信息，一并作为更新数据发送至挖掘执行单元重新执行挖掘，可以保证挖掘结果的实时性，以及提高数据挖掘过程对移动数据的效率。该系统可用于移动设备和互联网中的数据挖掘过程，使得其可以对实时数据有效更新和挖掘。

进一步地，所述数据预处理单元包括对输入的实时数据进行降维、降噪及处理数据流中丢失的值处理，使得处理后的数据精度更好，便于数据挖掘。

并且，所述挖掘计划生成单元中挖掘目的由数据结构和语义价值形成。可以根据数据结构和语义价值形成符合用户需要的挖掘计划，由此可以使得挖掘过程更符合要求，达到更好的挖掘准确性。

在此系统基础上，本发明还提出一种可视化实时数据挖掘方法，该方法可以用于上述系统中，具体地，所述方法具体包括以下步骤：

步骤1、对输入的实时数据预处理。

步骤2、根据挖掘目的生成挖掘计划，及根据挖掘计划对预处理后的实时数据进行挖掘，获得挖掘结果。

步骤3、将挖掘结果进行整合，且存储和显示整合后的挖掘结果。

步骤4、接收所述整合后的挖掘结果中，并从整合后的挖掘结果中获取设备信息、配置文件信息，以及监视获得本地资源信息；将可用资源信息、采集的设备信息、配置文件信息、本地资源信息作为更新数据上传发送。

步骤5、对发送的更新数据重复步骤2中的数据挖掘过程，实现重新挖掘，获得挖掘结果。

步骤6、将步骤5所得挖掘结果可视化显示。

优选地，所述步骤1中预处理包括对输入的实时数据进行降维、降噪及处理数据流中丢失的值。以及，所述输入的实时数据可以为移动设备数据，或互联网的数据，使得本方法可以适用于不同类型的数据挖掘过程中。

由此，在数据挖掘过程中对实时更新的数据进行挖掘，保证挖掘结果的实时性，以及提高数据挖掘过程对移动数据的效率，实现高效率、高实时性的实时数据挖掘。

综上，本发明所提供一种可视化实时数据挖掘系统及方法，可以在数据挖掘过程中对实时更新的数据进行挖掘，保证挖掘结果的实时性，以及提高数据挖掘过程对移动数据的效率，并可视化地呈现，实现高效率、高实时性的实时数据挖掘。可以使得数据挖掘效率更高，挖掘的数据更准确。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (5)

1.一种可视化实时数据挖掘系统，其特征在于，包括：

数据处理模块，包括数据预处理单元、挖掘计划生成单元及挖掘执行单元，其中数据预处理单元用于对输入的实时数据预处理；所述挖掘计划生成单元，用于根据挖掘目的生成挖掘计划；所述挖掘执行单元，用于根据挖掘计划对预处理后的实时数据进行挖掘或根据接收的更新数据对数据进行重新挖掘，获得挖掘结果；

数据管理模块，包括数据整合单元及数据存储单元，其中数据整合单元用于将挖掘结果进行整合；所述数据存储单元，用于存储整合后的挖掘结果；

数据检测模块，包括适应器单元、上下文管理单元、配置文件管理单元、资源监视单元，其中所述适应器单元用于接收所述整合后的挖掘结果；所述上下文管理单元，用于从适应器单元所接收的整合后挖掘结果中获取设备信息；所述配置文件管理单元，用于从适应器单元所接收的整合后挖掘结果中获取配置文件信息；所述资源监视单元，用于从适应器单元所接收的整合后挖掘结果中监视获取本地资源信息；所述适应器单元还用于将采集的上下文管理单元所得设备信息、配置文件管理单元所得配置文件信息及资源监视单元所得本地资源信息作为更新数据发送至挖掘执行单元重新挖掘；

可视化模块，用于显示挖掘结果。

2.根据权利要求1所述可视化实时数据挖掘系统，其特征在于：所述数据预处理单元包括对输入的实时数据进行降维、降噪及处理数据流中丢失的值处理。

3.根据权利要求1所述可视化实时数据挖掘系统，其特征在于：所述挖掘计划生成单元中挖掘目的由数据的结构和数据的语义形成。

4.一种可视化实时数据挖掘方法，其特征在于，包括以下步骤：

步骤1、对输入的实时数据预处理；

步骤2、根据挖掘目的生成挖掘计划，及根据挖掘计划对预处理后的实时数据进行挖掘，获得挖掘结果；

步骤3、将挖掘结果进行整合，且存储和显示整合后的挖掘结果；

步骤4、接收所述整合后的挖掘结果，并从整合后的挖掘结果中获取设备信息、配置文件信息，以及监视获得本地资源信息；将可用资源信息、采集的设备信息、配置文件信息及本地资源信息作为更新数据发送；

步骤5、根据接收的更新数据重新挖掘，获得挖掘结果；

步骤6、将步骤5所得挖掘结果可视化显示。

5.根据权利要求4所述可视化实时数据挖掘方法，其特征在于：所述步骤1中预处理包括对输入的实时数据进行降维、降噪及处理数据流中丢失的值。