CN106021378B - 基于数据抽取、数据可视化的查询分析方法及系统 - Google Patents

基于数据抽取、数据可视化的查询分析方法及系统 Download PDF

Info

Publication number
CN106021378B
CN106021378B CN201610311208.4A CN201610311208A CN106021378B CN 106021378 B CN106021378 B CN 106021378B CN 201610311208 A CN201610311208 A CN 201610311208A CN 106021378 B CN106021378 B CN 106021378B
Authority
CN
China
Prior art keywords
data
equipment
query
analysis
instrument board
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610311208.4A
Other languages
English (en)
Other versions
CN106021378A (zh
Inventor
吕骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN NASH BIG DATA TECHNOLOGY Co.,Ltd.
Original Assignee
吕骏
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 吕骏 filed Critical 吕骏
Priority to CN201610311208.4A priority Critical patent/CN106021378B/zh
Publication of CN106021378A publication Critical patent/CN106021378A/zh
Application granted granted Critical
Publication of CN106021378B publication Critical patent/CN106021378B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于数据抽取、数据可视化的查询分析方法及系统，在查询分析方法中包括如下步骤：数据抽取步骤，抽取源端服务器的数据传输至数据分析设备；处理步骤，数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件，并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上。本发明的有益效果是：本发明采用直连或者网络连接的方式，连接本地和网络中的数据，经过标准格式转化，将数据转化成可视化的标准模式后进行数据分析、查询与数据挖掘，将非标准化格式的数据转换成统一规范的数据，能够轻松简单的解决大数据环境下的异构数据分析、查询以及挖掘的难题。

Description

基于数据抽取、数据可视化的查询分析方法及系统
技术领域
本发明涉及数据处理技术领域，尤其涉及基于数据抽取、数据可视化的查询分析方法及系统。
背景技术
传统的分析与查询不能简单快捷的进行分析，不能有效的整合异构数据。
在大数据和云计算的模式下，传统的分析系统，无法跨异构数据来进行分析，无法将数据的价值更有效的释放出来，虽然某些特别的软件或者工具在部分特定情况下可以完成这项分析工作，但是其带来的工作是繁琐复杂的，并且工作量巨大，同时人员的精力与时间的消耗也是相当巨大的。
目前的查询系统对于异构数据库无法进行查询分析以及挖掘。这种方式只能针对一种数据库进行分析查询与挖掘，不能够对异构的数据库进行分析。同时，只能在字段来罗列数据。想要得到想要的数据结论，可能需要大费周章的去梳理与整合数据。
发明内容
本发明提供了一种基于数据抽取、数据可视化的查询分析方法，包括如下步骤：
数据抽取步骤，抽取源端服务器的数据传输至数据分析设备；
处理步骤，数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件，并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上；
数据分析设备内置基于ODBC的融合数据库VizQL。
作为本发明的进一步改进，在所述处理步骤中，通过数据清洗步骤、数据集成步骤、数据归约步骤、数据变换步骤对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件；
在所述数据清洗步骤中，采用数据滤波的方式对数据进行去噪、去无关数据；
在所述数据集成步骤中，采用数据关联的方式，将多个数据源中的数据结合到一个一致的数据存储中；
在所述数据归约步骤中，在原有庞大数据集中获得一个精简的数据集合，并使这一精简数据集保持原有数据集的完整性；
在所述数据变换步骤中，利用数据统一标准的方式将原始数据转变成系统可识别的数据。
作为本发明的进一步改进，在所述数据抽取步骤中，数据分析设备从源端服务器抽取的数据不加密、不压缩，通过加密通道将抽取的数据传输至数据分析设备。
作为本发明的进一步改进，在所述处理步骤中，数据可视化设备从数据分析设备的缓存中读取图形数据文件，并添加仪表盘索引后写入数据可视化设备的缓存中，然后将数据可视化设备的缓存中的数据写入数据可视化设备的存储中。
作为本发明的进一步改进，查询设备通过数据可视化设备或者公共资源设备进行查询分析；
当通过数据可视化设备进行数据查询分析时，数据可视化设备接收到查询设备的查询请求时，根据所要查询的内容，来判断仪表盘的位置，如果仪表盘在数据可视化设备的存储中，发送请求，从数据可视化设备中的存储中获取数据，将数据可视化设备的存储中的数据处理过后反馈给查询设备；
当通过公共资源设备进行数据查询分析时，数据分析设备发布仪表盘信息到公共资源设备，通过数据索引管理器，形成新的索引，公共资源设备接收到查询设备的查询请求时，利用搜索引擎，对索引进行筛选，通过筛选索引，检查公共资源设备的缓存，来过滤是否有符合条件的仪表盘信息，如果有，直接以图形、图表的方式反馈给查询设备，如果公共资源设备的缓存中没有符合条件的仪表盘，告知查询设备到数据可视化设备中进行查询。
本发明还公开了一种基于数据抽取、数据可视化的查询分析系统，包括：
数据抽取模块，用于抽取源端服务器的数据传输至数据分析设备；
处理模块，用于数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件，并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上；
数据分析设备内置基于ODBC的融合数据库VizQL。
作为本发明的进一步改进，
在所述处理模块中，通过数据清洗模块、数据集成模块、数据归约模块、数据变换模块对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件；
在所述数据清洗模块中，采用数据滤波的方式对数据进行去噪、去无关数据；
在所述数据集成模块中，采用数据关联的方式，将多个数据源中的数据结合到一个一致的数据存储中；
在所述数据归约模块中，在原有庞大数据集中获得一个精简的数据集合，并使这一精简数据集保持原有数据集的完整性；
在所述数据变换模块中，利用数据统一标准的方式将原始数据转变成系统可识别的数据。
作为本发明的进一步改进，在所述数据抽取模块中，数据分析设备从源端服务器抽取的数据不加密、不压缩，通过加密通道将抽取的数据传输至数据分析设备。
作为本发明的进一步改进，在所述处理模块中，数据可视化设备从数据分析设备的缓存中读取图形数据文件，并添加仪表盘索引后写入数据可视化设备的缓存中，然后将数据可视化设备的缓存中的数据写入数据可视化设备的存储中。
作为本发明的进一步改进，查询设备通过数据可视化设备或者公共资源设备进行查询分析；
当通过数据可视化设备进行数据查询分析时，数据可视化设备接收到查询设备的查询请求时，根据所要查询的内容，来判断仪表盘的位置，如果仪表盘在数据可视化设备的存储中，发送请求，从数据可视化设备中的存储中获取数据，将数据可视化设备的存储中的数据处理过后反馈给查询设备；
当通过公共资源设备进行数据查询分析时，数据分析设备发布仪表盘信息到公共资源设备，通过数据索引管理器，形成新的索引，公共资源设备接收到查询设备的查询请求时，利用搜索引擎，对索引进行筛选，通过筛选索引，检查公共资源设备的缓存，来过滤是否有符合条件的仪表盘信息，如果有，直接以图形、图表的方式反馈给查询设备，如果公共资源设备的缓存中没有符合条件的仪表盘，告知查询设备到数据可视化设备中进行查询。
本发明的有益效果是：本发明采用直连或者网络连接的方式，连接本地和网络中的数据，经过标准格式转化，将数据转化成可视化的标准模式后进行数据分析、查询与数据挖掘，将非标准化格式的数据转换成统一规范的数据，能够轻松简单的解决大数据环境下的异构数据分析、查询以及挖掘的难题。
附图说明
图1是本发明的DAS支持的数据分析模块方框图；
图2是本发明的DAS数据抽取的流程示意图；
图3是本发明的DA S可视化数据格式转换的工作原理示意图；
图4是本发明基于数据查询分析的数据流向的框架流程图；
图5是本发明基于数据可视化的数据查询的工作原理；
图6是本发明基于数据可视化的数据流向的框架流程图；
图7是本发明的DAS、DVS以及数据可视化的工作原理图；
图8是本发明基于数据抽取、可视化处理以及数据查询分析的原理图。
具体实施方式
如图6所示，本发明公开了一种基于数据抽取、数据可视化的查询分析方法，包括如下步骤：
数据抽取步骤，抽取源端服务器的数据传输至数据分析设备；
处理步骤，数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件，并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上；
数据分析设备内置基于ODBC的融合数据库VizQL。
在本发明中包括：
数据分析设备，Data Analysis Server，简称DAS；
数据可视化设备，Data Visualization Server简称DVS；
公共资源设备，Public Server，简称Pub Server。
DAS通过开放的API接口技术抽取源端服务器(Data Sources Server)的数据(此过程中数据不加密，不压缩)。通过加密通道将抽取过来的数据传输至DAS，由DAS对数据进行标准化处理。
数据可视化的实现方式：
1.DAS利用开放的API接口(ODBC)，通过IP或者光纤网络与Data sources Server相连。
2.DAS内置基于ODBC的融合数据库VizQL，将绝大多数异构数据以及数据文件库能够融合在一起，并以新的方式呈现数据。支持各类操作系统的模块，包含微软操作系统客户端模块，Linux操作系统模块，IBM小型机AIX系统，虚拟层模块如Vmware ESX模块，Hyper-V模块，Xenserver模块；各类数据库系统的模块，包含Oracle模块，MS-SQL模块，PostgreSQL模块等；以及对SAP等CRM，ERP业务系统的模块，和针对大数据的DFS/HDFS，NoSQL模块等；如图1所示，DAS支持的数据分析模块方框图。ODBC是开放数据库连接(Open DatabaseConnectivity，ODBC)是微软公司开放服务结构(WOSA，Windows Open ServicesArchitecture)中有关数据库的一个组成部分，它建立了一组规范，并提供了一组对数据库访问的标准API(应用程序编程接口)。这些API利用SQL来完成其大部分任务。ODBC本身也提供了对SQL语言的支持，用户可以直接将SQL语句送给ODBC。开放数据库互连(ODBC)是Microsoft提出的数据库访问接口标准。开放数据库互连定义了访问数据库API的一个规范，这些API独立于不同厂商的DBMS，也独立于具体的编程语言(但是Microsoft的ODBC文档是用C语言描述的，许多实际的ODBC驱动程序也是用C语言写的。)ODBC规范后来被X/OPEN和ISO/IEC采纳，作为SQL标准的一部分，具体内容可以参看《ISO/IEC 9075-3:1995(E)Call-Level Interface(SQL/CLI)》等相关的标准文件。
3.DAS将通过IP地址和源端服务器的授权用户账号，连接源端服务器，在验证通过后，抽取待分析的数据内容。对数据进行统一规范化处理后，形成可视化呈现的新的数据文件，并做成仪表盘保存在本地或者发布到DVS以及PUB server上。如图2所示是DAS数据抽取的流程示意图。
4.源端服务器(Data Sources Server)接收到DAS抽取数据请求后，在DataSources Server的缓存中整理数据，并对DAS开放权限，供其抽取。整个过程对数据不加密、不压缩。在抽取数据的同时，会在数据上做标识，来区分该数据是否已经被抽取，并在DAS的数据库中添加索引。由于源端数据(源端数据也就是源端服务器中的数据)的结构存在不同，故DAS发出抽取指令也不相同，利用的分析处理的模块也不相同。
5.DAS将所抽取的源端数据写至本地缓存或内存，按照缓存FIFO方式，将处于缓存/内存底端字节存储的数据移至本地。该磁盘将包含SSD，SAS，SATA等标准。
6.抽取后的数据在DAS的缓存(cache)中进行数据标准化转换，形成可呈现的图形数据文件，并将该数据文件根据情况存放在适当的位置(可以发布到DVS，也可以发布到PUBServer，同时也可以在本地进行保存)。如图3所示是DA S可视化数据格式转换的工作原理示意图。
7.DVS将缓存中接收到的数据按照FIFO方式写入后端外置存储(Data Storage)以供查询分析使用，支持绝大多数的主流存储。
以上的过程是对源端数据反向抽取以及对数据进行可视化处理，并保存发布可视化数据的方式。整个过程中，每次抽取，传输对数据均不加密，不压缩。但是，数据是在一个加密的通道中进行传输的。所以，在数据安全性上有绝对的保障。
本发明中还包括数据查询分析部分，图4是基于数据查询分析的数据流向的框架流程图：
查询设备既可以通过DVS来进行查询分析，也可以通过PUB Server来进行查询分析。
(一)通过DVS来进行数据查询与分析：
1.DVS接收到查询设备的查询请求时，根据所要查询的内容，来判断仪表盘的位置；
2.如果仪表盘在DVS的Data Storage中，发送请求，从Data Storage中获取数据；
3.将Data Storage中的数据处理过后反馈给查询设备。
(二)通过PUB Server来进行数据查询与分析
1.DAS发布仪表盘信息到PUB Server时，通过数据索引管理器，形成新的索引
2.PUB Server接收到查询设备的查询请求时，利用搜索引擎，对索引进行筛选
3.通过筛选索引，检查缓存，来过滤是否有符合条件的仪表盘信息，
如果有，直接以图形、图表的方式反馈给查询设备
如果缓存中没有符合条件的仪表盘，告知查询设备到DVS中进行查询。
基于数据可视化的数据查询的工作原理如图5所示,数据查询分析的实现方式：
1.当查询设备既可以连接DVS进行数据查询，也可以连接PUB Server进行数据查询。不管是DVS还是PUB Server在接收到查询设备的查询分析请求时，首先检查自己的缓存，看所要查询的数据是否在缓存中还有保留，有保留时，直接以数据库视图的方式将查询内容反馈给查询设备。
2.连接DVS进行数据查询时，当缓存中没有保留时，会自动把查询分析请求发给Data Storage。
2.1.Data Storage接收到数据调取请求时，根据索引对数据进行筛选，当有符合条件的仪表盘信息时，会将仪表盘数据反馈给DVS。经过筛选，发现没有符合条件的仪表盘信息时，告知DVS没有所要的仪表盘信息。
2.2.DVS在接收到Data Storage发来的反馈事件后，有3个可能操作：
A.在接收到反馈的图形、图表仪表盘时，直接将仪表盘反馈给查询设备。
B.在接收到的反馈信息是没有所要的仪表盘信息时，DVS会将该信息直接提交到查询设备，告知查询设备没有所需要的数据。
C.在接收到的反馈信息是没有所要的仪表盘信息时，DVS会向DAS发送发布请求，请求DAS将仪表盘发布到DVS中:
①.DAS在接收到DVS的发布请求时，检查缓存，缓存中如果有所需要的数据时，直接将仪表盘发布给DVS。
②.如果DAS的缓存中没有所要数据时，向DAS的Data Storage提出调取数据请求。
③.DAS的Data Storage根据索引检查Storage的所有内容，如果有所需要的数据，将直接写入DAS的缓存中，由DAS发布给DVS；如果没有所需内容时，告知DAS没有所需要数据，由DAS告知DVS没有所需要的数据，同时DVS将告知查询设备，无查询结果。
3.连接PUB Server进行数据查询时，当缓存中没有保留时，会自动把查询分析请求发给Data Storage。
3.1.Data Storage接收到数据调取请求时，根据索引对数据进行筛选，当有符合条件的仪表盘信息时，会将仪表盘数据反馈给PUB Server。经过筛选，发现没有符合条件的仪表盘信息时，告知PUB Server没有所要的仪表盘信息。
3.2.PUB Server在接收到Data Storage发来的反馈事件后，有3个可能操作：
A.在接收到反馈的图形、图表仪表盘时，直接将仪表盘反馈给查询设备。
B.在接收到的反馈信息是没有所要的仪表盘信息时，DVS会将该信息直接提交到查询设备，告知查询设备没有所需要的数据。
C.在接收到的反馈信息是没有所要的仪表盘信息时，PUB Server会向DAS发送发布请求，请求DAS将仪表盘发布到PUB Server中:
①.DAS在接收到PUB Server的发布请求时，检查缓存，缓存中如果有所需要的数据时，直接将仪表盘发布给PUB Server。
②.如果DAS的缓存中没有所要数据时，向DAS的Data Storage提出调取数据请求。
③.DAS的Data Storage根据索引检查Storage的所有内容，如果有所需要的数据，将直接写入DAS的缓存中，由DAS发布给PUB Server；如果没有所需内容时，告知DAS没有所需要数据，由DAS告知PUB Server没有所需要的数据，同时DVS将告知查询设备，无查询结果。
本发明还公开了一种基于数据抽取、数据可视化的查询分析系统，包括：
数据抽取模块，用于抽取源端服务器的数据传输至数据分析设备；
处理模块，用于数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件，并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上；
数据分析设备内置基于ODBC的融合数据库VizQL。
在所述处理模块中，通过数据清洗模块、数据集成模块、数据归约模块、数据变换模块对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件；
在所述数据清洗模块中，采用数据滤波的方式对数据进行去噪、去无关数据；
在所述数据集成模块中，采用数据关联的方式，将多个数据源中的数据结合到一个一致的数据存储中；
在所述数据归约模块中，在原有庞大数据集中获得一个精简的数据集合，并使这一精简数据集保持原有数据集的完整性；
在所述数据变换模块中，利用数据统一标准的方式将原始数据转变成系统可识别的数据。
在所述数据抽取模块中，数据分析设备从源端服务器抽取的数据不加密、不压缩，通过加密通道将抽取的数据传输至数据分析设备。
在所述处理模块中，数据可视化设备从数据分析设备的缓存中读取图形数据文件，并添加仪表盘索引后写入数据可视化设备的缓存中，然后将数据可视化设备的缓存中的数据写入数据可视化设备的存储中。
查询设备通过数据可视化设备或者公共资源设备进行查询分析；
当通过数据可视化设备进行数据查询分析时，数据可视化设备接收到查询设备的查询请求时，根据所要查询的内容，来判断仪表盘的位置，如果仪表盘在数据可视化设备的存储中，发送请求，从数据可视化设备中的存储中获取数据，将数据可视化设备的存储中的数据处理过后反馈给查询设备；
当通过公共资源设备进行数据查询分析时，数据分析设备发布仪表盘信息到公共资源设备，通过数据索引管理器，形成新的索引，公共资源设备接收到查询设备的查询请求时，利用搜索引擎，对索引进行筛选，通过筛选索引，检查公共资源设备的缓存，来过滤是否有符合条件的仪表盘信息，如果有，直接以图形、图表的方式反馈给查询设备，如果公共资源设备的缓存中没有符合条件的仪表盘，告知查询设备到数据可视化设备中进行查询。
本发明解决了数据分析繁琐复杂的问题，而传统的分析与查询不能简单快捷的进行分析，不能有效的整合异构数据，文本数据进行分析与查询，本发明采用直连或者网络连接的方式，连接本地和网络中的数据，经过标准格式转化模块，将数据转化成可视化的标准模式后进行数据分析、查询与数据挖掘。
本发明的另外一个特点是，通过本技术规范手段可以轻松解决异构数据的之间关联的问题。在大数据和云计算的模式下，传统的分析系统，无法跨异构数据来进行分析，无法将数据的价值更有效的释放出来，虽然某些特别的软件或者工具在部分特定情况下可以完成这项分析工作，但是其带来的工作是繁琐复杂的，并且工作量巨大，同时人员的精力与时间的消耗也是相当巨大的。由于大数据异构性特点本质，本发明，将非标准化格式的数据转换成统一规范的数据，能够轻松简单的解决大数据环境下的异构数据分析、查询以及挖掘的难题。
在整个的过程中，无论是抽取数据的过程，还是查询分析的过程，都是建立在开放的API接口上，并且，DAS、DVS以及PUB Server至少要有以下功能：
1.数据索引管理器：负责从DAS、DVS以及PUB Server更新索引信息。同时提供其他查询服务器所索要的索引信息。
2.数据共享访问接口：负责接管所有共享请求，实施授权监管，统一规范查验及其他访问规则实施。最后反馈所要的查询数据.
3.数据查询系统引擎：搜寻何处可取的所要的数据。根据请求和数据共享服务的整体构架，其查询可能会转发至其他数据分析服务器或中央集成服务器。
4.数据提起器：基于查询引擎的查询结果获得所需数据的信息源描述，解析出数据的逻辑路径,据此连接到相应的应用系统,通过API接口以获得相应原始数据。若有必要,最后提起所要数据片断。
5.数据转换器:所要数据提起完成后,如果其格式不是所要的,即讲数据转换成可视化的标准格式。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (6)

1.一种基于数据抽取、数据可视化的查询分析方法，其特征在于，包括如下步骤：
数据抽取步骤，抽取源端服务器的数据传输至数据分析设备；
处理步骤，数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件，并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上；
数据分析设备内置基于ODBC的融合数据库VizQL；
查询设备通过数据可视化设备或者公共资源设备进行查询分析；
当通过数据可视化设备进行数据查询分析时，数据可视化设备接收到查询设备的查询请求时，根据所要查询的内容，来判断仪表盘的位置，如果仪表盘在数据可视化设备的存储中，发送请求，从数据可视化设备中的存储中获取数据，将数据可视化设备的存储中的数据处理过后反馈给查询设备；
当通过公共资源设备进行数据查询分析时，数据分析设备发布仪表盘信息到公共资源设备，通过数据索引管理器，形成新的索引，公共资源设备接收到查询设备的查询请求时，利用搜索引擎，对索引进行筛选，通过筛选索引，检查公共资源设备的缓存，来过滤是否有符合条件的仪表盘信息，如果有，直接以图形、图表的方式反馈给查询设备，如果公共资源设备的缓存中没有符合条件的仪表盘，告知查询设备到数据可视化设备中进行查询；
在所述处理步骤中，通过数据清洗步骤、数据集成步骤、数据归约步骤、数据变换步骤对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件；
在所述数据清洗步骤中，采用数据滤波的方式对数据进行去噪、去无关数据；
在所述数据集成步骤中，采用数据关联的方式，将多个数据源中的数据结合到一个一致的数据存储中；
在所述数据归约步骤中，在原有庞大数据集中获得一个精简的数据集合，并使这一精简数据集保持原有数据集的完整性；
在所述数据变换步骤中，利用数据统一标准的方式将原始数据转变成系统可识别的数据。
2.根据权利要求1所述的查询分析方法，其特征在于：在所述数据抽取步骤中，数据分析设备从源端服务器抽取的数据不加密、不压缩，通过加密通道将抽取的数据传输至数据分析设备。
3.根据权利要求1所述的查询分析方法，其特征在于：在所述处理步骤中，数据可视化设备从数据分析设备的缓存中读取图形数据文件，并添加仪表盘索引后写入数据可视化设备的缓存中，然后将数据可视化设备的缓存中的数据写入数据可视化设备的存储中。
4.一种基于数据抽取、数据可视化的查询分析系统，其特征在于，包括：
数据抽取模块，用于抽取源端服务器的数据传输至数据分析设备；
处理模块，用于数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件，并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上；
数据分析设备内置基于ODBC的融合数据库VizQL L；
查询设备通过数据可视化设备或者公共资源设备进行查询分析；
当通过数据可视化设备进行数据查询分析时，数据可视化设备接收到查询设备的查询请求时，根据所要查询的内容，来判断仪表盘的位置，如果仪表盘在数据可视化设备的存储中，发送请求，从数据可视化设备中的存储中获取数据，将数据可视化设备的存储中的数据处理过后反馈给查询设备；
当通过公共资源设备进行数据查询分析时，数据分析设备发布仪表盘信息到公共资源设备，通过数据索引管理器，形成新的索引，公共资源设备接收到查询设备的查询请求时，利用搜索引擎，对索引进行筛选，通过筛选索引，检查公共资源设备的缓存，来过滤是否有符合条件的仪表盘信息，如果有，直接以图形、图表的方式反馈给查询设备，如果公共资源设备的缓存中没有符合条件的仪表盘，告知查询设备到数据可视化设备中进行查询；
在所述处理模块中，通过数据清洗模块、数据集成模块、数据归约模块、数据变换模块对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件；
在所述数据清洗模块中，采用数据滤波的方式对数据进行去噪、去无关数据；
在所述数据集成模块中，采用数据关联的方式，将多个数据源中的数据结合到一个一致的数据存储中；
在所述数据归约模块中，在原有庞大数据集中获得一个精简的数据集合，并使这一精简数据集保持原有数据集的完整性；
在所述数据变换模块中，利用数据统一标准的方式将原始数据转变成系统可识别的数据。
5.根据权利要求4所述的查询分析系统，其特征在于，在所述数据抽取模块中，数据分析设备从源端服务器抽取的数据不加密、不压缩，通过加密通道将抽取的数据传输至数据分析设备。
6.根据权利要求4所述的查询分析系统，其特征在于，在所述处理模块中，数据可视化设备从数据分析设备的缓存中读取图形数据文件，并添加仪表盘索引后写入数据可视化设备的缓存中，然后将数据可视化设备的缓存中的数据写入数据可视化设备的存储中。
CN201610311208.4A 2016-05-11 2016-05-11 基于数据抽取、数据可视化的查询分析方法及系统 Active CN106021378B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610311208.4A CN106021378B (zh) 2016-05-11 2016-05-11 基于数据抽取、数据可视化的查询分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610311208.4A CN106021378B (zh) 2016-05-11 2016-05-11 基于数据抽取、数据可视化的查询分析方法及系统

Publications (2)

Publication Number Publication Date
CN106021378A CN106021378A (zh) 2016-10-12
CN106021378B true CN106021378B (zh) 2019-07-05

Family

ID=57100522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610311208.4A Active CN106021378B (zh) 2016-05-11 2016-05-11 基于数据抽取、数据可视化的查询分析方法及系统

Country Status (1)

Country Link
CN (1) CN106021378B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106528810B (zh) * 2016-11-18 2021-07-13 党玉龙 一种融合异构数据便于快速大数据分析的方法
CN107273439B (zh) * 2017-05-25 2021-06-04 北京君泊网络科技有限责任公司 一种智能设备数据可视化方法及系统
CN108228734A (zh) * 2017-12-12 2018-06-29 上海天旦网络科技发展有限公司 一种数据可视化的系统和方法
CN108062407A (zh) * 2017-12-28 2018-05-22 成都飞机工业（集团）有限责任公司 一种项目可视化管控数据抽取方法
CN109145643B (zh) * 2018-08-23 2019-04-26 安思瀚 一种基于私有云的个人多源数据管理方法与系统
CN109557856A (zh) * 2018-12-08 2019-04-02 深圳科安达电子科技股份有限公司 一种提速道岔运行数据可视化展示系统
CN109753528A (zh) * 2018-12-08 2019-05-14 深圳科安达电子科技股份有限公司 一种基于大数据的提速道岔可视化分析方法
CN109976729B (zh) * 2019-05-05 2021-10-22 东北大学 一种存算显全局可配置的数据分析软件架构设计方法
CN110222113A (zh) * 2019-06-20 2019-09-10 中国人民解放军陆军特种作战学院 一种数据提取处理可视化预警方法
CN110347386A (zh) * 2019-06-28 2019-10-18 北京淇瑀信息科技有限公司 一种基于sql代码编辑的数据可视化分析的方法、装置和电子设备
CN111008211B (zh) * 2019-12-06 2023-04-11 北京百分点科技集团股份有限公司 可视化接口的创建方法、装置、可读存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142027A (zh) * 2011-02-23 2011-08-03 南京智尚丰软件有限公司 数据整合的适配方法
CN102495885A (zh) * 2011-12-08 2012-06-13 中国信息安全测评中心 一种基于库联网引擎的信息安全数据整合方法
CN102930393A (zh) * 2012-10-25 2013-02-13 海南电网公司 一种电网信息综合展示可视化系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100070527A1 (en) * 2008-09-18 2010-03-18 Tianlong Chen System and method for managing video, image and activity data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142027A (zh) * 2011-02-23 2011-08-03 南京智尚丰软件有限公司 数据整合的适配方法
CN102495885A (zh) * 2011-12-08 2012-06-13 中国信息安全测评中心 一种基于库联网引擎的信息安全数据整合方法
CN102930393A (zh) * 2012-10-25 2013-02-13 海南电网公司 一种电网信息综合展示可视化系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Web数据分析的就业信息服务平台的设计实现;冀正强;《中国优秀硕士学位论文全文数据库·信息科技辑》;20140415(第4期);I138-282第15-27页

Also Published As

Publication number Publication date
CN106021378A (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
CN106021378B (zh) 基于数据抽取、数据可视化的查询分析方法及系统
US10534659B2 (en) Policy based dynamic data collection for problem analysis
US7991800B2 (en) Object oriented system and method for optimizing the execution of marketing segmentations
CN110321113B (zh) 以项目批次为标准的一体化流水线系统及其工作方法
US20170017708A1 (en) Entity-relationship modeling with provenance linking for enhancing visual navigation of datasets
CN107038222B (zh) 数据库缓存实现方法及其系统
CN108536778B (zh) 一种数据应用共享平台及方法
US20150317331A1 (en) Unified platform for application development
EP3547145A2 (en) Systems and methods for reducing storage required for code coverage results
CN110543571A (zh) 用于水利信息化的知识图谱构建方法以及装置
CN112632135A (zh) 一种大数据平台
CN109992454A (zh) 故障定位的方法、装置和存储介质
CN111125042A (zh) 一种确定风险操作事件的方法和装置
CN109523423B (zh) 一种应用系统生成方法、装置、设备及存储介质
CN111444256A (zh) 一种数据可视化的实现方法和装置
CN113886485A (zh) 数据处理方法、装置、电子设备、系统和存储介质
CN107291957A (zh) 一种基于数据信息互通的微型服务系统及其实现方法
CN104766240A (zh) 电子银行业务数据处理系统及方法
CN114036183A (zh) 一种数据etl处理方法、装置、设备及介质
CN114116678A (zh) 数据迁移方法、装置、设备、介质及程序产品
CN110457368B (zh) 一种供应链的可视化方法、系统及存储介质
CN109725973B (zh) 一种数据处理方法和数据处理装置
US20210055928A1 (en) Integration test framework
CN113127496B (zh) 数据库中变更数据的确定方法及装置、介质和设备
CN111143406A (zh) 数据库数据比对方法和比对系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200807

Address after: 201, room 518057, building A, No. 1, front Bay Road, Qianhai, Shenzhen Guangdong cooperation zone (Shenzhen Qianhai business secretary Co., Ltd.)

Patentee after: SHENZHEN NASH BIG DATA TECHNOLOGY Co.,Ltd.

Address before: 518000 Guangdong city of Shenzhen province Futian District Rd No. 30 Huilong garden 13 Wen long 701

Patentee before: Lv Jun