CN108874818A - 一种数据智能可视化系统及方法 - Google Patents

一种数据智能可视化系统及方法 Download PDF

Info

Publication number
CN108874818A
CN108874818A CN201710329372.2A CN201710329372A CN108874818A CN 108874818 A CN108874818 A CN 108874818A CN 201710329372 A CN201710329372 A CN 201710329372A CN 108874818 A CN108874818 A CN 108874818A
Authority
CN
China
Prior art keywords
data
module
analysis
management module
data source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710329372.2A
Other languages
English (en)
Inventor
周松
杨远生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Macro Time Data System Co Ltd
Original Assignee
Shanghai Macro Time Data System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Macro Time Data System Co Ltd filed Critical Shanghai Macro Time Data System Co Ltd
Priority to CN201710329372.2A priority Critical patent/CN108874818A/zh
Publication of CN108874818A publication Critical patent/CN108874818A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种数据智能可视化系统及方法，包括数据源配置管理模块，用于对数据源进行包括添加、删除和编辑的操作；数据格式化管理模块，用于实现对数据源中的表、字段中数据的抽取、转换和清洗并保存到系统后台的数据库中；数据分析处理模块，接收经数据格式化管理模块格式化处理后的数据并进行包括数据计算、分析、统计的操作，同时将分析处理后的数据再次存数据库；可视化配置管理模块，用于实现数据动态的可视化展现，同时提供包括数据查询、挖掘、分析的功能，本申请提供一种数据智能可视化系统及方法，提升海量数据的处理速度，管理人员可以通过丰富的视觉展现来获取和掌握当前IT系统的健康状况，直观高效。

Description

一种数据智能可视化系统及方法
技术领域
本发明涉及数据可视化技术领域，具体涉及一种数据智能可视化系统及方法。
背景技术
近些年来，随着IT技术的高速发展，企业机房内的IT设备无论从类型还是数量上来说，都呈现出爆发式的增长，为了管理好这些IT设备，管理人员势必要收集这些设备的性能和可用性数据来做分析和维护，那么怎样利用好这些数据，成为了当前企业IT运维工作中异常重要的一个环节，数据可视化软件就在这种大环境下应运而生。现有的可视化软件平台由于利用的是较早的技术和算法，这些软件平台更多的只是在做传统数据统计、数据分析和展现的工作，那么在信息爆炸的今天，企业IT设备和业务系统的数据量正在以TB级别的量级迅猛增长，传统的可视化软件平台已经无法满足现有企业对数据的智能分析和展现需求，无法适应当前信息技术的发展和企业的需求，主要的不足有以下几点：
1、技术水平落后、操作使用复杂；2、展现界面单一、灵活度低、控件丰富度不够；3、只能满足单维度的数据查询、分析和展现；4、可扩展性弱，无法支持多数据源；5、数据处理性能较弱；6、无法支持移动端的查询和展现。
发明内容
针对现有技术的不足，本公司提供一种数据智能可视化系统，提升海量数据的处理速度，管理人员可以通过丰富的视觉展现来获取和掌握当前IT系统的健康状况，直观高效，同时也提供对应该系统的可视化方法，其技术方案如下：
一种数据智能可视化系统，包括：
数据源配置管理模块，包括数据源添加模块、数据源删除模块和数据源编辑模块，用于对数据源进行包括添加、删除和编辑的操作；
数据格式化管理模块，用于实现对数据源中的表、字段中数据的抽取、转换和清洗并保存到系统后台的数据库中；
数据分析处理模块，接收经数据格式化管理模块格式化处理后的数据并进行包括数据计算、分析、统计的操作，同时将分析处理后的数据再次存数据库；
可视化配置管理模块，包括可视化展现模块、数据查询模块、数据挖掘模块和数据分析模块，用于实现数据动态的可视化展现，同时提供包括数据查询、挖掘、分析的功能。
进一步地，所述数据格式化管理模块包括数据抽取模块、数据转换模块、数据清洗模块和数据保存模块，分别对应地用于对表、字段中数据进行抽取、转换和清洗操作。
进一步地，所述数据分析处理模块包括数据计算模块、数据分析模块、数据统计模块和数据保存模块，分别对应地用于对经数据格式化管理模块格式化处理后的数据进行数据计算、分析、统计和保存操作。
一种数据智能可视化方法，包括以下步骤：
S1、配置数据源：管理人员将IT系统和业务系统的数据库中的数据作为分析和展现对象，配置好对应的数据源；
S2、配置展现表和字段：根据已配置的数据源，筛选需要用的表和字段，同时定义好表与表、字段与字段之间的关联关系；
S3、数据关联分析处理：将已经筛选好的数据利用系统内部的智能分析算法，自动计算和分析来实现动态基线、智能预测，并将处理完的数据保存到系统后台的数据库中；
S4、定制可视化展现:利用可视化展现模块中的数据展现控件，管理人员通过拖拉拽控件的方式，结合已经处理的数据定制出丰富的可视化展现，同时根据IT系统和业务系统实际的情况进行动态的更新、预测。
进一步地，步骤S1中支持的数据源包括文本、表格、JSON数据、关系型数据库。
研究表明，人类对外获取的信息80%以上是通过视觉方式获得的，为了帮助企业IT运维人员更有效的使用设备的数据，本公司结合前端展现技术和大数据技术，开发出本套智能可视化软件平台，提升了海量数据的处理速度，使得每天产生的数据都能够得到充分的利用，可以方便管理人员快速高效的管理和展现各类IT数据。
附图说明
下面通过具体实施方式结合附图对本发明作进一步详细说明。
图1为本发明的功能模块图；
图2为本发明的工作流程图。
其中，1、数据源配置管理模块；11、数据源添加模块；12、数据源编辑模块；13、数据源删除模块；2、数据格式化管理模块；21、数据抽取模块；22、数据转化模块；23、数据清洗模块；24、数据保存模块；3、数据分析处理模块；31、数据计算模块；32、数据分析模块；33、数据统计模块；34、数据保存模块；4、可视化配置管理模块；41、可视化展现模块；42、数据查询模块；43、数据挖掘模块；44、数据分析模块。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。
如图2所示，一种数据智能可视化方法，包括以下步骤：
S1、配置数据源：管理人员将IT系统和业务系统的数据库中的数据作为分析和展现对象，配置好对应的数据源；作为智能可视化软件平台，数据源是整个平台的根本，本申请可以支持多种类型的数据源，包括文本、表格、JSON数据、关系型数据库等，管理人员可以将IT系统和业务系统的数据库中的数据作为分析和展现的对象，在使用本申请产品前，必须要配置好对应的数据源。
S2、配置展现表和字段：根据已配置的数据源，筛选需要用的表和字段，同时定义好表与表、字段与字段之间的关联关系；根据已配置的数据源，筛选需要用的表和字段，同时定义好表与表、字段与字段之间的关联关系，方便后续进行计算和处理。
S3、数据关联分析处理：将已经筛选好的数据利用系统内部的智能分析算法，自动计算和分析来实现动态基线、智能预测，并将处理完的数据保存到系统后台的数据库中；
S4、定制可视化展现:利用可视化展现模块41中的数据展现控件，管理人员通过拖拉拽控件的方式，结合已经处理的数据定制出丰富的可视化展现，同时根据IT系统和业务系统实际的情况进行动态的更新、预测。本申请产品的可视化定制具有高度的灵活性，管理人员可以通过拖拉拽数据展现控件的方式，结合已经处理的数据定制出丰富的可视化展现，同时这些可视化的展现页面均可以根据IT系统和业务系统实际的情况动态地进行更新、预测。
步骤S1中支持的数据源包括文本、表格、JSON数据、关系型数据库。
如图1所示，本发明的数据智能可视化系统由以下四个功能模块构成，包括：
数据源配置管理模块1，包括数据源添加模块11、数据源删除模块13和数据源编辑模块12，用于对数据源进行包括添加、删除和编辑的操作；数据源配置管理模块1用于实现对数据源添加、删除和编辑等功能，通过该功能模块，管理人员可以快速简洁的配置相应的IT系统和业务系统的数据库作为可视化系统的数据源，利于后续的数据处理和展现。
数据格式化管理模块2，用于实现对数据源中的表、字段中数据的抽取、转换和清洗并保存到系统后台的数据库中；数据格式化管理模块2是实现对表、字段中数据的抽取、转换、清洗和保存，通过该功能模块，管理人员可以配置数据表、字段，同时将有效数据进行格式化处理，统一数据的格式并保存到系统后台的数据库。
数据分析处理模块3，接收经数据格式化管理模块2格式化处理后的数据并进行包括数据计算、分析、统计的操作，同时将分析处理后的数据再次存数据库；
可视化配置管理模块4，包括可视化展现模块41、数据查询模块42、数据挖掘模块43和数据分析模块44，用于实现数据动态的可视化展现，同时提供包括数据查询、挖掘、分析的功能。可视化配置管理模块4是通过拖拉拽的方式将数据展现控件配置到Dashboard中，实现数据动态智能的可视化展现，同时提供数据查询、数据挖掘、数据分析、性能预测查询、决策查询等功能。
其中，所述数据格式化管理模块2包括数据抽取模块21、数据转换模块22、数据清洗模块23和数据保存模块24，分别对应地用于对表、字段中数据进行抽取、转换、清洗和保存操作。
其中，所述数据分析处理模块3包括数据计算模块31、数据分析模块32、数据统计模块33和数据保存模块34，分别对应地用于对经数据格式化管理模块2格式化处理后的数据进行数据计算、分析、统计和保存操作。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (5)

1.一种数据智能可视化系统，其特征在于，包括：
数据源配置管理模块，包括数据源添加模块、数据源删除模块和数据源编辑模块，用于对数据源进行包括添加、删除和编辑的操作；
数据格式化管理模块，用于实现对数据源中的表、字段中数据的抽取、转换和清洗并保存到系统后台的数据库中；
数据分析处理模块，接收经数据格式化管理模块格式化处理后的数据并进行包括数据计算、分析、统计的操作，同时将分析处理后的数据再次存数据库；
可视化配置管理模块，包括可视化展现模块、数据查询模块、数据挖掘模块和数据分析模块，用于实现数据动态的可视化展现，同时提供包括数据查询、挖掘、分析的功能。
2.如权利要求1所述的一种数据智能可视化系统，其特征在于，所述数据格式化管理模块包括数据抽取模块、数据转换模块、数据清洗模块和数据保存模块，分别对应地用于对表、字段中数据进行抽取、转换和清洗操作。
3.如权利要求1所述的一种数据智能可视化系统，其特征在于，所述数据分析处理模块包括数据计算模块、数据分析模块、数据统计模块和数据保存模块，分别对应地用于对经数据格式化管理模块格式化处理后的数据进行数据计算、分析、统计和保存操作。
4.基于权利要求1至3中任一项所述的一种数据智能可视化系统的可视化方法，其特征在于，包括以下步骤：
S1、配置数据源：管理人员将IT系统和业务系统的数据库中的数据作为分析和展现对象，配置好对应的数据源；
S2、配置展现表和字段：根据已配置的数据源，筛选需要用的表和字段，同时定义好表与表、字段与字段之间的关联关系；
S3、数据关联分析处理：将已经筛选好的数据利用系统内部的智能分析算法，自动计算和分析来实现动态基线、智能预测，并将处理完的数据保存到系统后台的数据库中；
S4、定制可视化展现:利用可视化展现模块中的数据展现控件，管理人员通过拖拉拽控件的方式，结合已经处理的数据定制出丰富的可视化展现，同时根据IT系统和业务系统实际的情况进行动态的更新、预测。
5.如权利要求4所述的一种数据智能可视化方法，其特征在于，步骤S1中支持的数据源包括文本、表格、JSON数据、关系型数据库。
CN201710329372.2A 2017-05-11 2017-05-11 一种数据智能可视化系统及方法 Pending CN108874818A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710329372.2A CN108874818A (zh) 2017-05-11 2017-05-11 一种数据智能可视化系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710329372.2A CN108874818A (zh) 2017-05-11 2017-05-11 一种数据智能可视化系统及方法

Publications (1)

Publication Number Publication Date
CN108874818A true CN108874818A (zh) 2018-11-23

Family

ID=64319475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710329372.2A Pending CN108874818A (zh) 2017-05-11 2017-05-11 一种数据智能可视化系统及方法

Country Status (1)

Country Link
CN (1) CN108874818A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110362013A (zh) * 2019-07-19 2019-10-22 北京优密数码科技有限公司 基于动态基线的系统状态获取方法和装置
CN111178688A (zh) * 2019-12-11 2020-05-19 佰聆数据股份有限公司 电力技术监督数据的自助化分析方法、系统、存储介质及计算机设备
WO2022152027A1 (zh) * 2021-01-14 2022-07-21 华为技术有限公司 一种数据分析装置的管控方法与通信装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930393A (zh) * 2012-10-25 2013-02-13 海南电网公司 一种电网信息综合展示可视化系统
CN104899258A (zh) * 2015-05-19 2015-09-09 重庆大学 面向海量文献信息可交互可视化分析系统架构
US20160335345A1 (en) * 2015-05-11 2016-11-17 Stratifyd, Inc. Unstructured data analytics systems and methods
CN106295983A (zh) * 2016-08-08 2017-01-04 烟台海颐软件股份有限公司 电力营销数据可视化统计分析方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930393A (zh) * 2012-10-25 2013-02-13 海南电网公司 一种电网信息综合展示可视化系统
US20160335345A1 (en) * 2015-05-11 2016-11-17 Stratifyd, Inc. Unstructured data analytics systems and methods
CN104899258A (zh) * 2015-05-19 2015-09-09 重庆大学 面向海量文献信息可交互可视化分析系统架构
CN106295983A (zh) * 2016-08-08 2017-01-04 烟台海颐软件股份有限公司 电力营销数据可视化统计分析方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110362013A (zh) * 2019-07-19 2019-10-22 北京优密数码科技有限公司 基于动态基线的系统状态获取方法和装置
CN110362013B (zh) * 2019-07-19 2020-07-24 北京优密数码科技有限公司 基于动态基线的系统状态获取方法和装置
CN111178688A (zh) * 2019-12-11 2020-05-19 佰聆数据股份有限公司 电力技术监督数据的自助化分析方法、系统、存储介质及计算机设备
WO2022152027A1 (zh) * 2021-01-14 2022-07-21 华为技术有限公司 一种数据分析装置的管控方法与通信装置

Similar Documents

Publication Publication Date Title
CN107145586B (zh) 一种基于电力营销数据的标签产出方法和装置
CN104820670B (zh) 一种电力信息大数据的采集和存储方法
CN102902752B (zh) 一种日志监控方法及系统
CN109254901B (zh) 一种指标监测方法及系统
CN110351150A (zh) 故障根源确定方法及装置、电子设备和可读存储介质
CN106651633A (zh) 一种基于大数据技术的用电信息采集系统及其采集方法
CN108763669B (zh) 一种电网潮流分层分区立体可视化展示方法
CN112182077B (zh) 一种基于数据中台技术的智能运维系统
CN106874482A (zh) 一种基于大数据技术的图形化的数据预处理的装置及方法
CN111159165B (zh) 基于云平台的电力井下低功耗边缘计算系统及其方法
CN103365971A (zh) 基于云计算的海量数据访问处理系统
CN109889358B (zh) 一种3d可视化it监控管理系统
CN108874818A (zh) 一种数据智能可视化系统及方法
CN104881477B (zh) 一种应用数据空间使用估算方法
US20230394408A1 (en) Road network operation management method and device, storage medium, and terminal
CN101719146B (zh) 地理信息应用分析模型的动态图形化方法和装置
CN113505048A (zh) 基于应用系统画像的统一监控平台及实现方法
CN109977125A (zh) 一种基于网络安全的大数据安全分析平台系统
CN111159152B (zh) 基于大数据处理技术的二次运维数据融合方法
CN106407072A (zh) 一种大数据平台的监控系统
CN118227861A (zh) 一种多源异构数据呈现方法、系统、终端及存储介质
CN106817262A (zh) 一种日志分析装置
CN103235753A (zh) 一种信息服务器监测方法及装置
CN113487192A (zh) 工单处理系统、方法、电子设备及计算机可读存储介质
CN117171244A (zh) 基于数据中台构建的企业数据管理系统及其数据分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181123

RJ01 Rejection of invention patent application after publication