CN109446389A - 一种数据可视化处理方法和系统 - Google Patents
一种数据可视化处理方法和系统 Download PDFInfo
- Publication number
- CN109446389A CN109446389A CN201811099739.7A CN201811099739A CN109446389A CN 109446389 A CN109446389 A CN 109446389A CN 201811099739 A CN201811099739 A CN 201811099739A CN 109446389 A CN109446389 A CN 109446389A
- Authority
- CN
- China
- Prior art keywords
- data
- critical
- processing
- data set
- processing model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据可视化处理方法和系统，包括步骤：S1、根据来源赋予数据集一个属性标记；S2、根据属性标记选择对应的数据处理模型，根据所述数据处理模型处理所述数据集以提取关键数据；S3、标准化处理所述关键数据；S4、根据预设的报表处理算法处理所述关键数据以获取图形化的报表。系统用于执行对应方法。本发明根据来源赋予数据集一个属性标记；根据属性标记选择对应的数据处理模型，根据数据处理模型处理数据集以提取关键数据；标准化处理关键数据；根据预设的报表处理算法处理关键数据以获取图形化的报表，能够通过属性标记和数据处理模型降低数据处理复杂度，提高效率，通过数据的报表化以实现数据的可视化，便于信息的吸收。
Description
技术领域
本发明涉及数据处理领域，尤其是一种数据可视化处理方法和系统。
背景技术
数据对于事务的判读是非常重要的，同时数据的庞大和复杂也会影响到做出判断的人的思考能力，视觉方式是比较合理和有效的信息获取方式，因此，将大量数据从单纯的数字转换成图形化的信息会更有利于信息的吸收。
而现代信息社会中，数据的种类、关联性、有效性等是非常复杂的，需要一个合适的处理方法处理，然后在转换成有效数据的图形化的信息。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的是提供一种数据可视化处理方法和系统。
本发明所采用的技术方案是：一种数据可视化处理方法，包括步骤：S1、根据来源赋予数据集一个属性标记；S2、根据属性标记选择对应的数据处理模型，根据所述数据处理模型处理所述数据集以提取关键数据；S3、标准化处理所述关键数据；S4、根据预设的报表处理算法处理所述关键数据以获取图形化的报表。
优选地，所述数据处理模型根据数据特征匹配的方式遍历所述数据集并提取符合特征的数据，标记所述符合特征的数据为关键数据。
优选地，步骤S1还包括根据正则匹配处理所述数据集以过滤数据。
优选地，所述数据处理模型基于Grok处理所述数据集以提取关键数据。
优选地，所述数据处理模型根据预设的正则表达式遍历所述数据集并提取符合特征的数据。
本发明所采用的另一技术方案是：一种数据可视化处理系统，包括：标记模块，用于根据来源赋予数据集一个属性标记；预处理模块，用于根据属性标记选择对应的数据处理模型，根据所述数据处理模型处理所述数据集以提取关键数据；标准化模块，用于标准化处理所述关键数据；图形化处理模块，用于根据预设的报表处理算法处理所述关键数据以获取图形化的报表。
优选地，所述数据处理模型根据数据特征匹配的方式遍历所述数据集并提取符合特征的数据，标记所述符合特征的数据为关键数据。
优选地，所述标记模块根据正则匹配处理所述数据集以过滤数据。
优选地，所述数据处理模型基于Grok处理所述数据集以提取关键数据。
优选地，所述数据处理模型根据预设的正则表达式遍历所述数据集并提取符合特征的数据。
本发明的有益效果是：
本发明根据来源赋予数据集一个属性标记；根据属性标记选择对应的数据处理模型，根据数据处理模型处理数据集以提取关键数据；标准化处理关键数据；根据预设的报表处理算法处理关键数据以获取图形化的报表，能够通过属性标记和数据处理模型降低数据处理复杂度，提高效率，通过数据的报表化以实现数据的可视化，便于信息的吸收。
附图说明
图1是本发明的一种数据可视化处理方法的示意图；
图2是本发明的一种数据可视化处理框架。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例1
本实施例的目的在于解释现有技术的问题和本发明的解决思路。
人们对数据的需求由粗糙变精确、展现形式由一维到多维、数据类型由简单变复杂。不同的数据规模、类型以及来源是影响数据可视化形式的主要因素，在现有技术方案中，多采用定制化开发，针对不同的数据采用不同的接入、解析过程，以达到可视化效果；然而这种方式的扩展性差，每种报表需要根据不同的数据源类型单独开发采集通道；不同的报表数据格式差异较大需要根据业务单独实现数据匹配；成本高，定制化开发耗费大量的人力、物力成本，且研发周期较长，维度阶段的投入不可量化。
本实施例提供如图1所示的一种数据可视化处理方法，包括步骤：S1、根据来源赋予数据集一个属性标记；S2、根据属性标记选择对应的数据处理模型，根据所述数据处理模型处理所述数据集以提取关键数据；S3、标准化处理所述关键数据；S4、根据预设的报表处理算法处理所述关键数据以获取图形化的报表。
其中，数据的来源是多种多样的，根据实际的需要，可能会从多个不同的系统获取数据，而不同的系统，其输出的数据的形态和类型也区别很大，而同一系统的数据大体上也符合一定的规律，则根据不同的数据来源确定不同的数据处理模型，可以提高数据处理速度；
数据处理模型的实质是处理算法的集合，通过训练以获取合理的处理顺序和适用的处理算法；
同时，出于便于存储和处理的目的，将不同的数据进行标准化的处理，能够提高整体的处理速度和效率；
根据数据形成报表是现有惯用技术，例如使用Excel的自动报表生成，因此本实施例不进行进一步的说明。
例如，来自FTP服务器的数据：
数据源名称：139服务器FTP数据，IP地址：10.12.12.139，端口：21，用户：Admin，密码：Admin，文件目录：/opt/aspire/product/log/*.log，文件编码：UTF-8。
根据特征匹配可以很容易的匹配到诸如“名称”“IP地址”等关键字，而对应的参数(如10.12.12.139、21、Admin等)也是符合一定的数据规格的，因此，可以在匹配到关键字之后，确定参数的位置并提取这些参数以形成关键数据。
出于快速处理数据的目的，可以根据正则表达式(又称规则表达式。(英语：RegularExpression，在代码中常简写为regex、regexp或RE)，计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本)处理数据集以排除一些不需要的参数/信息。
同样的，采用Grok方式解析关键数据可以处理数据集以获得关键数据(如上述FTP服务器的例子，关键数据则为各种参数)。
实施例2
本实施例提供如图2所示一种数据可视化处理框架，包括接入配置单元11、采集配置单元12、数据过滤单元21、数据处理单元22、报表定义单元31、报表配置单元32和报表清单单元41和数据展示单元42。
其中，接入配置单元11对数据来源进行分类属性定义(即赋予属性标记)，采集配置单元12根据接入配置单元11配置好的来源分类设置具体的来源属性采集数据，数据过滤单元21对采集的数据(即数据集)做第一步过滤处理(基于正则过滤数据，具体过滤内容可以根据实际需求设置)，数据处理单元22对过滤后的数据进行格式化处理(即标准化数据集)，处理完成后做保存处理；报表配置单元31配置可选取的报表类型，内置的报表支持折线图、柱状图、散点图、饼图、K线图、热力图、地图等，根据内置的报表属性配置不同展示不同风格的报表，如配置折线图；表配置单元32根据数据的种类配置报表类型，报表配置的最终目的是关联数据与报表；报表清单单元41根据配置单元32配置的报表列出报表清单，统一管理；数据展示单元42展示配置的报表。
通过不同的属性定义，能够降低数据处理复杂度，提高处理效率；通过对数据集的过滤能够排除不需要的数据，降低数据处理量；通过数据的标准化处理，能够降低数据存储的要求，提高数据存储能力；根据不同的(由使用者)配置采用不同的报表处理对应的数据，能够提高显示效果，也能增加报表显示的自由度；输出报表的清单，有助于同一管理报表。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种数据可视化处理方法，其特征在于，包括步骤：
S1、根据来源赋予数据集一个属性标记；
S2、根据属性标记选择对应的数据处理模型，根据所述数据处理模型处理所述数据集以提取关键数据；
S3、标准化处理所述关键数据；
S4、根据预设的报表处理算法处理所述关键数据以获取图形化的报表。
2.根据权利要求1所述的一种数据可视化处理方法，其特征在于，所述数据处理模型根据数据特征匹配的方式遍历所述数据集并提取符合特征的数据，标记所述符合特征的数据为关键数据。
3.根据权利要求1所述的一种数据可视化处理方法，其特征在于，步骤S1还包括根据正则匹配处理所述数据集以过滤数据。
4.根据权利要求1所述的一种数据可视化处理方法，其特征在于，所述数据处理模型基于Grok处理所述数据集以提取关键数据。
5.根据权利要求2所述的一种数据可视化处理方法，其特征在于，所述数据处理模型根据预设的正则表达式遍历所述数据集并提取符合特征的数据。
6.一种数据可视化处理系统，其特征在于，包括：
标记模块，用于根据来源赋予数据集一个属性标记；
预处理模块，用于根据属性标记选择对应的数据处理模型，根据所述数据处理模型处理所述数据集以提取关键数据；
标准化模块，用于标准化处理所述关键数据；
图形化处理模块，用于根据预设的报表处理算法处理所述关键数据以获取图形化的报表。
7.根据权利要求6所述的一种数据可视化处理系统，其特征在于，所述数据处理模型根据数据特征匹配的方式遍历所述数据集并提取符合特征的数据，标记所述符合特征的数据为关键数据。
8.根据权利要求6所述的一种数据可视化处理系统，其特征在于，所述标记模块根据正则匹配处理所述数据集以过滤数据。
9.根据权利要求6所述的一种数据可视化处理系统，其特征在于，所述数据处理模型基于Grok处理所述数据集以提取关键数据。
10.根据权利要求7所述的一种数据可视化处理系统，其特征在于，所述数据处理模型根据预设的正则表达式遍历所述数据集并提取符合特征的数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811099739.7A CN109446389A (zh) | 2018-09-20 | 2018-09-20 | 一种数据可视化处理方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811099739.7A CN109446389A (zh) | 2018-09-20 | 2018-09-20 | 一种数据可视化处理方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109446389A true CN109446389A (zh) | 2019-03-08 |
Family
ID=65532776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811099739.7A Pending CN109446389A (zh) | 2018-09-20 | 2018-09-20 | 一种数据可视化处理方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109446389A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113127555A (zh) * | 2019-12-30 | 2021-07-16 | 北京阿博茨科技有限公司 | 一种数据可视化画法匹配装置及方法 |
| CN116128166A (zh) * | 2023-04-17 | 2023-05-16 | 广州云硕科技发展有限公司 | 一种用于智能交通的数据可视化处理方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104866599A (zh) * | 2015-06-01 | 2015-08-26 | 北京京东尚科信息技术有限公司 | 可视化报表的生产方法和系统 |
| CN105868311A (zh) * | 2016-03-25 | 2016-08-17 | 浪潮通信信息系统有限公司 | 一种数据解析的方法和装置 |
| CN106055585A (zh) * | 2016-05-20 | 2016-10-26 | 北京神州绿盟信息安全科技股份有限公司 | 一种日志解析方法及装置 |
| CN106598827A (zh) * | 2016-12-19 | 2017-04-26 | 东软集团股份有限公司 | 提取日志数据的方法及装置 |
| CN107729526A (zh) * | 2017-10-30 | 2018-02-23 | 清华大学 | 一种文本结构化的方法 |
-
2018
- 2018-09-20 CN CN201811099739.7A patent/CN109446389A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104866599A (zh) * | 2015-06-01 | 2015-08-26 | 北京京东尚科信息技术有限公司 | 可视化报表的生产方法和系统 |
| CN105868311A (zh) * | 2016-03-25 | 2016-08-17 | 浪潮通信信息系统有限公司 | 一种数据解析的方法和装置 |
| CN106055585A (zh) * | 2016-05-20 | 2016-10-26 | 北京神州绿盟信息安全科技股份有限公司 | 一种日志解析方法及装置 |
| CN106598827A (zh) * | 2016-12-19 | 2017-04-26 | 东软集团股份有限公司 | 提取日志数据的方法及装置 |
| CN107729526A (zh) * | 2017-10-30 | 2018-02-23 | 清华大学 | 一种文本结构化的方法 |
Non-Patent Citations (1)
| Title |
|---|
| （西）维克托•法西克: "《微服务运维实战》", 30 June 2018, 华中科技大学出版社, pages: 354 - 355 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113127555A (zh) * | 2019-12-30 | 2021-07-16 | 北京阿博茨科技有限公司 | 一种数据可视化画法匹配装置及方法 |
| CN116128166A (zh) * | 2023-04-17 | 2023-05-16 | 广州云硕科技发展有限公司 | 一种用于智能交通的数据可视化处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111753099B (zh) | 一种基于知识图谱增强档案实体关联度的方法及系统 | |
| CN105320679B (zh) | 一种数据表索引集合生成方法及装置 | |
| CN108509658A (zh) | 一种xml文件的解析方法和装置 | |
| CN105718585B (zh) | 文档与标签词语义关联方法及其装置 | |
| CN108121739B (zh) | 数据收集方法和数据收集系统 | |
| CN111708774B (zh) | 一种基于大数据的产业分析系统 | |
| CN105912594A (zh) | Sql语句处理方法和系统 | |
| CN105389344A (zh) | 一种自助式查新方法及系统 | |
| US20060036451A1 (en) | Patent mapping | |
| CN111950921A (zh) | 一种基于离线组网环境的多人协同评审方法 | |
| CN106933845A (zh) | 使用sql实现mdx查询效果的方法和装置 | |
| CN102819600B (zh) | 面向电力生产管理系统关系数据库的关键词搜索方法 | |
| US20060026174A1 (en) | Patent mapping | |
| CN109710826A (zh) | 一种互联网信息人工智能采集方法及其系统 | |
| CN105095436A (zh) | 数据源数据自动建模方法 | |
| CN114218472A (zh) | 基于知识图谱的智能搜索系统 | |
| CN109446389A (zh) | 一种数据可视化处理方法和系统 | |
| CN112634004B (zh) | 征信数据的血缘图谱分析方法与系统 | |
| CN103198078A (zh) | 一种互联网新闻事件报道趋势分析方法及系统 | |
| CN111460173B (zh) | 一种甲状腺癌的疾病本体模型的构建方法 | |
| KR102345410B1 (ko) | 빅데이터 지능형 수집 방법 및 장치 | |
| Ritze | Web-scale web table to knowledge base matching | |
| CN115510289B (zh) | 一种数据立方体配置方法、装置、电子设备及存储介质 | |
| CN104462613B (zh) | 热点聚合方法及装置 | |
| KR20200000208A (ko) | 소셜 데이터 수집 분석 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190308 |
|
| RJ01 | Rejection of invention patent application after publication |