CN106503039A - 一种可视化实时数据挖掘系统及方法 - Google Patents
一种可视化实时数据挖掘系统及方法 Download PDFInfo
- Publication number
- CN106503039A CN106503039A CN201610831723.5A CN201610831723A CN106503039A CN 106503039 A CN106503039 A CN 106503039A CN 201610831723 A CN201610831723 A CN 201610831723A CN 106503039 A CN106503039 A CN 106503039A
- Authority
- CN
- China
- Prior art keywords
- data
- unit
- mining
- result
- real time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012800 visualization Methods 0.000 title claims abstract description 7
- 238000007726 management method Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 230000010354 integration Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000012544 monitoring process Methods 0.000 claims abstract description 13
- 238000013500 data storage Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims abstract description 6
- 238000013523 data management Methods 0.000 claims abstract description 5
- 238000009412 basement excavation Methods 0.000 claims 9
- 230000006978 adaptation Effects 0.000 claims 3
- 210000000352 storage cell Anatomy 0.000 claims 2
- 230000005540 biological transmission Effects 0.000 claims 1
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000005065 mining Methods 0.000 abstract description 94
- 238000007418 data mining Methods 0.000 abstract description 59
- 230000000007 visual effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种可视化实时数据挖掘系统及方法，系统包括：数据处理模块，包括数据预处理单元、挖掘计划生成单元及挖掘执行单元；数据管理模块，包括数据整合单元及数据存储单元，其中数据整合单元用于将挖掘结果进行整合；所述数据存储单元，用于存储整合后的挖掘结果；数据检测模块，包括适应器单元、上下文管理单元、配置文件管理单元、资源监视单元；可视化模块，用于显示挖掘结果。本发明可以在数据挖掘过程中对实时更新的数据进行挖掘，保证挖掘结果的实时性，以及提高数据挖掘过程对移动数据的效率，并可视化地呈现，实现高效率、高实时性的实时数据挖掘。
Description
技术领域
本发明涉及一种可视化实时数据挖掘系统及方法，属于数据挖掘的技术领域。
背景技术
随着互联网以及移动互联网、物联网的飞速发展，人类社会的数据种类和规模正以前所未有的速度增长。许多组织已经也已经有超大型数据库，并且这些数据库在不断变化和增长。移动设备也越来越被人们认可和使用，移动数据的数据量也越来越大。大量的数据是没有有用的，它是一个巨大的计算和财务负担，但其真正的价值不是在存储的数据，而是在于提取有用的信息，并找到有效的发展趋势和相关性的能力。数据挖掘就是为了顺应这种需要应用而生发展起来的数据处理技术。数据挖掘是从存贮在数据库、数据仓库或其它信息仓库中的，大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖据技术近几年在国内的发展趋近成熟，然而在数据挖掘过程中还面临各种挑战，包括对移动设备实时数据挖掘的低效率以及对随时更新数据挖掘的实时性很低。因此，在数据挖据过程中有效的为移动用户提供高效率、高实时性的服务显得尤为重要。
如在文献《一种基于Web的数据挖据系统及其控制方法》，申请号：200610022668.1的文中，提供了一种基于Web的数据挖据系统及其控制方法，实现了针对不同数据和不同数据挖掘任务的各种数据挖掘算法，Web层提供一个和用户交互的界面，接受用户的输入、提供挖掘过程的人机交互界面和展示挖掘分析的结果。该系统能够提供在线的、基于Internet的数据挖掘及结果分析服务。但其不足之处在于，针对基于Web的数据挖掘系统及方法，其数据挖掘对移动数据的挖掘效率比较低，客户的满意度低。
而在文献《数据挖掘方法及系统》，申请号：201110406892.1的文件中，提供了一种数据挖掘的方法及系统，系统获取对应不同的数据挖掘子过程的多个程序脚本，按照数据挖掘子程序的执行顺序，确定对应的多个程序脚本的调用顺序，按照其调用顺序依次调用多个程序脚本。但其不足之处在于，现在的数据实时更新的比较快，无论是互联网还是物联网，对于实时数据挖掘要求处理快速。此系统对实时更新的数据不能有效的挖掘，这样导致其挖掘的实时性很低，对此客户满意度将会大大的降低。
因此，在现有的技术中，数据挖据的效率不佳，并且实时性的数据处理不够及时，无法实现对设备的实时数据挖掘的高效率以及对随时更新数据挖掘的高实时性。
发明内容
本发明所要解决的技术问题在于克服现有技术的不足，提供一种可视化实时数据挖掘系统及方法，解决现有技术中数据挖掘的效率不佳，并且实时性的数据处理不够及时，无法实现对随时更新数据挖掘的高实时性的问题。
本发明具体采用以下技术方案解决上述技术问题：
一种可视化实时数据挖掘系统，包括：
数据处理模块，包括数据预处理单元、挖掘计划生成单元及挖掘执行单元，其中数据预处理单元用于对输入的实时数据预处理；所述挖掘计划生成单元，用于根据挖掘目的生成挖掘计划；所述挖掘执行单元，用于根据挖掘计划对预处理后的实时数据进行挖掘，或根据接收的更新数据对数据进行重新挖掘获得挖掘结果；
数据管理模块，包括数据整合单元及数据存储单元，其中数据整合单元用于将挖掘结果进行整合；所述数据存储单元，用于存储整合后的挖掘结果；
数据检测模块，包括适应器单元、上下文管理单元、配置文件管理单元、资源监视单元，其中所述适应器单元用于接收所述整合后的挖掘结果；所述上下文管理单元，用于从适应器单元所接收的整合后挖掘结果中获取设备信息；所述配置文件管理单元，用于从适应器单元所接收的整合后挖掘结果中获取配置文件信息；所述资源监视单元，用于从适应器单元所接收的整合后挖掘结果中监视获取本地资源信息；所述适应器单元还用于将采集的上下文管理单元所得设备信息、配置文件管理单元所得配置文件信息及资源监视单元所得本地资源信息作为更新数据发送至挖掘执行单元重新挖掘；
可视化模块，用于显示挖掘结果。
进一步地，作为本发明的一种优选技术方案：所述数据预处理单元包括对输入的实时数据进行降维、降噪及处理数据流中丢失的值处理。
进一步地，作为本发明的一种优选技术方案：所述挖掘计划生成单元中挖掘目的由数据结构和语义价值形成。
本发明还提出了一种可视化实时数据挖掘方法，包括以下步骤：
步骤1、对输入的实时数据预处理；
步骤2、根据挖掘目的生成挖掘计划，及根据挖掘计划对预处理后的实时数据进行挖掘，获得挖掘结果；
步骤3、将挖掘结果进行整合，且存储和显示整合后的挖掘结果；
步骤4、根据接收的所述整合后的挖掘结果，从整合后的挖掘结果中获取设备信息、配置文件信息，以及监视获得本地资源信息；将可用资源信息、采集的设备信息、配置文件信息及本地资源信息作为更新数据发送；
步骤5、对接收的更新数据重新挖掘，获得挖掘结果；
步骤6、将步骤5所得挖掘结果可视化显示。
进一步地，作为本发明的一种优选技术方案：所述步骤1中预处理包括对输入的实时数据进行降维、降噪及处理数据流中丢失的值。
本发明采用上述技术方案，能产生如下技术效果：
本发明所提供一种可视化实时数据挖掘系统及方法，首先将数据源的实时数据输入数据预处理。数据在数据预处理后，根据数据挖掘目的形成数据挖掘计划。按照生成的挖掘计划对数据进行挖掘，并将挖掘的结果进行整合，存储并且通过可视化的模块，把结果更好的呈现给客户，及数据挖掘过程中对实时更新的数据进行挖掘，保证挖掘结果的实时性，以及提高数据挖掘过程对移动数据的效率，实现高效率、高实时性的实时数据挖掘。可以使得数据挖掘效率更高，挖掘的数据更准确，系统结构简单，成本低，可以更好地用于移动设备或互联网的数据挖掘中，高效地实现对随时更新数据挖掘的高实时性的问题。
附图说明
图1为本发明的可视化实时数据挖掘系统的模块示意图。
具体实施方式
下面结合说明书附图对本发明的实施方式进行描述。
如图1所示，本发明设计来了一种可视化实时数据挖掘系统，具体地，系统包括数据处理模块、数据管理模块、数据检测模块、可视化模块，以实现数据挖掘过程中对实时更新的数据进行挖掘，保证挖掘结果的实时性作用。
具体地，所示数据处理模块，包括数据预处理单元、挖掘计划生成单元及挖掘执行单元，其中数据预处理单元用于对输入的实时数据预处理；所述挖掘计划生成单元，用于根据挖掘目的生成挖掘计划；所述挖掘执行单元，用于根据挖掘计划对预处理后的实时数据进行挖掘，或根据接收的更新数据对数据进行重新挖掘获得挖掘结果。
所述数据管理模块，包括数据整合单元及数据存储单元，其中数据整合单元用于将挖掘结果进行整合；所述数据存储单元，用于存储整合后的挖掘结果。
所述数据检测模块，包括适应器单元、上下文管理单元、配置文件管理单元、资源监视单元，其中所述适应器单元用于接收所述整合后的挖掘结果；所述上下文管理单元，用于从适应器单元所接收的整合后挖掘结果中获取设备信息；所述配置文件管理单元，用于从适应器单元所接收的整合后挖掘结果中获取配置文件信息；所述资源监视单元，用于从适应器单元所接收的整合后挖掘结果中监视获取本地资源信息；所述适应器单元还用于将采集的上下文管理单元所得设备信息、配置文件管理单元所得配置文件信息及资源监视单元所得本地资源信息作为更新数据发送至挖掘执行单元重新挖掘。
可视化模块，用于显示挖掘结果。
所述系统的原理是，首先将数据源的实时数据输入数据预处理。数据在数据预处理后，根据数据挖掘目的形成数据挖掘计划。由挖掘执行单元按照生成的挖掘计划对数据进行挖掘，并由数据整合单元将挖掘的结果进行整合，由数据存储单元存储并且通过可视化的模块，把结果更好的呈现。及数据挖掘过程中，数据检测模块对实时更新的数据进行检测和传输至挖掘执行单元重新挖掘，适应器单元可接收所述整合后的挖掘结果中的数据，并可传输至上下文管理单元、配置文件管理单元获取和更新可用资源信息，且还采集来自上下文管理单元和配置文件管理单元的信息、资源监视单元获取的本地资源信息，一并作为更新数据发送至挖掘执行单元重新执行挖掘，可以保证挖掘结果的实时性，以及提高数据挖掘过程对移动数据的效率。该系统可用于移动设备和互联网中的数据挖掘过程，使得其可以对实时数据有效更新和挖掘。
进一步地，所述数据预处理单元包括对输入的实时数据进行降维、降噪及处理数据流中丢失的值处理，使得处理后的数据精度更好，便于数据挖掘。
并且，所述挖掘计划生成单元中挖掘目的由数据结构和语义价值形成。可以根据数据结构和语义价值形成符合用户需要的挖掘计划，由此可以使得挖掘过程更符合要求，达到更好的挖掘准确性。
在此系统基础上，本发明还提出一种可视化实时数据挖掘方法，该方法可以用于上述系统中，具体地，所述方法具体包括以下步骤：
步骤1、对输入的实时数据预处理。
步骤2、根据挖掘目的生成挖掘计划，及根据挖掘计划对预处理后的实时数据进行挖掘，获得挖掘结果。
步骤3、将挖掘结果进行整合，且存储和显示整合后的挖掘结果。
步骤4、接收所述整合后的挖掘结果中，并从整合后的挖掘结果中获取设备信息、配置文件信息，以及监视获得本地资源信息；将可用资源信息、采集的设备信息、配置文件信息、本地资源信息作为更新数据上传发送。
步骤5、对发送的更新数据重复步骤2中的数据挖掘过程，实现重新挖掘，获得挖掘结果。
步骤6、将步骤5所得挖掘结果可视化显示。
优选地，所述步骤1中预处理包括对输入的实时数据进行降维、降噪及处理数据流中丢失的值。以及，所述输入的实时数据可以为移动设备数据，或互联网的数据，使得本方法可以适用于不同类型的数据挖掘过程中。
由此，在数据挖掘过程中对实时更新的数据进行挖掘，保证挖掘结果的实时性，以及提高数据挖掘过程对移动数据的效率，实现高效率、高实时性的实时数据挖掘。
综上，本发明所提供一种可视化实时数据挖掘系统及方法，可以在数据挖掘过程中对实时更新的数据进行挖掘，保证挖掘结果的实时性，以及提高数据挖掘过程对移动数据的效率，并可视化地呈现，实现高效率、高实时性的实时数据挖掘。可以使得数据挖掘效率更高，挖掘的数据更准确。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (5)
1.一种可视化实时数据挖掘系统，其特征在于，包括：
数据处理模块，包括数据预处理单元、挖掘计划生成单元及挖掘执行单元，其中数据预处理单元用于对输入的实时数据预处理；所述挖掘计划生成单元，用于根据挖掘目的生成挖掘计划；所述挖掘执行单元，用于根据挖掘计划对预处理后的实时数据进行挖掘或根据接收的更新数据对数据进行重新挖掘，获得挖掘结果；
数据管理模块，包括数据整合单元及数据存储单元，其中数据整合单元用于将挖掘结果进行整合；所述数据存储单元，用于存储整合后的挖掘结果；
数据检测模块，包括适应器单元、上下文管理单元、配置文件管理单元、资源监视单元，其中所述适应器单元用于接收所述整合后的挖掘结果；所述上下文管理单元，用于从适应器单元所接收的整合后挖掘结果中获取设备信息；所述配置文件管理单元，用于从适应器单元所接收的整合后挖掘结果中获取配置文件信息；所述资源监视单元，用于从适应器单元所接收的整合后挖掘结果中监视获取本地资源信息；所述适应器单元还用于将采集的上下文管理单元所得设备信息、配置文件管理单元所得配置文件信息及资源监视单元所得本地资源信息作为更新数据发送至挖掘执行单元重新挖掘；
可视化模块，用于显示挖掘结果。
2.根据权利要求1所述可视化实时数据挖掘系统，其特征在于：所述数据预处理单元包括对输入的实时数据进行降维、降噪及处理数据流中丢失的值处理。
3.根据权利要求1所述可视化实时数据挖掘系统，其特征在于：所述挖掘计划生成单元中挖掘目的由数据的结构和数据的语义形成。
4.一种可视化实时数据挖掘方法，其特征在于，包括以下步骤：
步骤1、对输入的实时数据预处理；
步骤2、根据挖掘目的生成挖掘计划，及根据挖掘计划对预处理后的实时数据进行挖掘，获得挖掘结果；
步骤3、将挖掘结果进行整合，且存储和显示整合后的挖掘结果；
步骤4、接收所述整合后的挖掘结果，并从整合后的挖掘结果中获取设备信息、配置文件信息，以及监视获得本地资源信息；将可用资源信息、采集的设备信息、配置文件信息及本地资源信息作为更新数据发送；
步骤5、根据接收的更新数据重新挖掘，获得挖掘结果；
步骤6、将步骤5所得挖掘结果可视化显示。
5.根据权利要求4所述可视化实时数据挖掘方法，其特征在于：所述步骤1中预处理包括对输入的实时数据进行降维、降噪及处理数据流中丢失的值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610831723.5A CN106503039A (zh) | 2016-09-20 | 2016-09-20 | 一种可视化实时数据挖掘系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610831723.5A CN106503039A (zh) | 2016-09-20 | 2016-09-20 | 一种可视化实时数据挖掘系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106503039A true CN106503039A (zh) | 2017-03-15 |
Family
ID=58290549
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610831723.5A Pending CN106503039A (zh) | 2016-09-20 | 2016-09-20 | 一种可视化实时数据挖掘系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106503039A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107357818A (zh) * | 2017-06-12 | 2017-11-17 | 安徽中控仪表有限公司 | 能源监控优化管理系统的大数据挖掘架构 |
| CN111260969A (zh) * | 2020-03-06 | 2020-06-09 | 华南农业大学 | 数据挖掘课程教学实践系统和基于系统的教学实践方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1975720A (zh) * | 2006-12-27 | 2007-06-06 | 章毅 | 一种基于Web的数据挖掘系统及其控制方法 |
| CN104537001A (zh) * | 2014-12-15 | 2015-04-22 | 中国石油天然气股份有限公司 | 一种油气信息数据挖掘平台及方法 |
| CN105787064A (zh) * | 2016-03-01 | 2016-07-20 | 广州铭诚计算机科技有限公司 | 一种基于大数据的挖掘平台构建方法 |
-
2016
- 2016-09-20 CN CN201610831723.5A patent/CN106503039A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1975720A (zh) * | 2006-12-27 | 2007-06-06 | 章毅 | 一种基于Web的数据挖掘系统及其控制方法 |
| CN104537001A (zh) * | 2014-12-15 | 2015-04-22 | 中国石油天然气股份有限公司 | 一种油气信息数据挖掘平台及方法 |
| CN105787064A (zh) * | 2016-03-01 | 2016-07-20 | 广州铭诚计算机科技有限公司 | 一种基于大数据的挖掘平台构建方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107357818A (zh) * | 2017-06-12 | 2017-11-17 | 安徽中控仪表有限公司 | 能源监控优化管理系统的大数据挖掘架构 |
| CN111260969A (zh) * | 2020-03-06 | 2020-06-09 | 华南农业大学 | 数据挖掘课程教学实践系统和基于系统的教学实践方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11080906B2 (en) | Method for creating period profile for time-series data with recurrent patterns | |
| US11232133B2 (en) | System for detecting and characterizing seasons | |
| CN106202192A (zh) | 一种基于工作流的大数据分析方法 | |
| US20170249563A1 (en) | Unsupervised method for classifying seasonal patterns | |
| WO2007053457A3 (en) | Group sorted consolidation of data in an intrusion management system | |
| JP2017504121A (ja) | 端末デバイスにおけるユーザインタフェースを用いたユーザ行動および関与の計測機 | |
| CN112509690A (zh) | 用于控制质量的方法、装置、设备和存储介质 | |
| CN103853821A (zh) | 一种面向多用户协作的数据挖掘平台的构建方法 | |
| CN207976762U (zh) | 广域网分布式实时数据采集与管理系统 | |
| CN104820697A (zh) | 一种医疗数据挖掘方法及系统 | |
| CN103632226A (zh) | 基于svg图形化建模实现信息资源监控定位的方法 | |
| CN103501372B (zh) | 智能手机电流与事件信息的同步监测方法 | |
| CN112269885A (zh) | 用于处理数据的方法、装置、设备以及存储介质 | |
| US20210334278A1 (en) | Method and apparatus for mining competition relationship pois | |
| CN106503039A (zh) | 一种可视化实时数据挖掘系统及方法 | |
| CN110275962A (zh) | 用于输出信息的方法和装置 | |
| Terbuch et al. | Detecting anomalous multivariate time-series via hybrid machine learning | |
| AU2016278958B2 (en) | System and method for event detection using streaming signals | |
| CN102375912B (zh) | 一种不同工程软件系统间的数据集成装置及方法 | |
| KR100835905B1 (ko) | 웹사이트 방문자의 웹페이지 내부 클릭분포를 시각화하는장치 및 그를 이용하여 시각화하는 방법 | |
| Su et al. | Applying Cloud Computing and Internet of Things Technologies to Develop a Hydrological and Subsidence Monitoring Platform. | |
| CN114741171A (zh) | 一种数据挖掘方法、装置、电子设备、介质及计算机产品 | |
| CN105610604A (zh) | Tcp传输数据的图形化分析方法和系统 | |
| Charalampidou et al. | Integrating traceability within the IDE to prevent requirements documentation debt | |
| CN108182178A (zh) | 基于事件文本数据挖掘的地下水水位分析方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170315 |