CN107066499A - 面向异构存储多源数据管理及可视化系统的数据查询方法 - Google Patents
面向异构存储多源数据管理及可视化系统的数据查询方法 Download PDFInfo
- Publication number
- CN107066499A CN107066499A CN201611264049.3A CN201611264049A CN107066499A CN 107066499 A CN107066499 A CN 107066499A CN 201611264049 A CN201611264049 A CN 201611264049A CN 107066499 A CN107066499 A CN 107066499A
- Authority
- CN
- China
- Prior art keywords
- data
- source
- sql
- sql statement
- visualization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/904—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种面向异构存储多源数据管理及可视化系统的数据查询方法，提供一种面向异构存储的多源数据管理及可视化系统，该系统包括存储层、服务层和应用层；所述存储层用于存储结构化数据和非结构化数据；所述服务层用于对存储数据进行抽取、加工、融合和抽象，将存储数据形成业务数据；所述应用层用于通过可视化技术对业务数据进行再组织形成特定场景使用的专用数据；对于异构数据源提供统一的访问接口，用户无需在多个数据库存储系统间导入导出数据，大大提高了异构数据源的维护效率，实现多源异构数据的一站式管理；通过可视化的方式，实现跨异构数据源的可视化连表查询，大大降低了连表查询的复杂度，实现异构数据源的重构。
Description
技术领域
本发明属于异构数据智能处理技术领域，具体是涉及一种面向异构存储多源数据管理及可视化系统的数据查询方法。
背景技术
随着网络、数据库技术的发展，越来越多的应用系统需要访问一些分布的、异构的和自治的数据库，在数据模型、查询语言、系统结构等方面存在差异，用户不能以统一的模式和查询语言访问，面临解决不同种类的数据管理系统之间的互操作问题，多源数据管理以及可视化在其中扮演着十分重要的角色。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供面向异构存储多源数据管理及可视化系统的数据查询方法，大大提高了异构数据源的维护效率，实现多源异构数据的一站式管理；大大降低了链表查询的复杂度，实现异构数据源的重构。
技术方案：为实现上述目的，本发明的一种面向异构存储多源数据管理及可视化系统的数据查询方法，提供一种面向异构存储的多源数据管理及可视化系统，该系统包括存储层、服务层和应用层；
所述存储层用于存储结构化数据和非结构化数据；
所述服务层用于对存储数据进行抽取、加工、融合和抽象，将存储数据形成业务数据；
所述应用层用于通过可视化技术对业务数据进行再组织形成特定场景使用的专用数据；
所述方法包括以下步骤：
S1用户使用用户名和密码登录多源数据管理及可视化系统；
S2用户在数据源管理页面配置若干个数据源并输入各数据源IP地址、端口、数据源类型，各数据保存后自动添加到可用数据源列表中；
S3用户切换到视图画布页面，选取可用数据源列表中可用数据表，并将可用数据表拖曳至视图画布页面上进行布局；
S4依据用户需求，对所述视图画布页面中不同的数据表进行连线并设置连接条件；
S5通过保存可视化视图，自动生成SQL语句，可直接浏览最终数据组织形式；
S6点击查询，可视化视图转变为JSON格式的SQL语句，并将该SQL语句发送至服务层SQL解析器中；
S7SQL解析器将SQL语句进行解析，解析后SQL语句被分割成SQL语句序列；
S8SQL执行引擎逐条调用SQL语句序列中的SQL语句，通过异构数据源连接器连接不同的数据源进行查询，并返回结果集；
S9在内存中对各个数据源的数据进行融合，组织成用户所需数据的组织形式并返回到前台页面展示成表格。
进一步地，所述存储层以开源Hadoop技术为基础，包括MySQL存储数据库、PostgreSQL存储数据库、HIVE存储数据库和Cassandra存储数据库。
进一步地，所述存储层中元数据来源为数据抽取工具从原有业务系统数据库抽取或手动数据文件导入或由采集设备直接写入相应存储数据库中。
进一步地，所述服务层包括异构数据源连接器、SQL执行引擎、SQL解析器、JDBC服务和SHELL服务；
其中所述异构数据源连接器，用于在平台和异构数据源之间建立统一的访问连接，通过配置数据源IP地址、端口号和数据源类型，调用底层不同的数据源连接协议，与数据源之间建立数据传输通道，对数据源进行访问和操作；
所述SQL执行引擎，用于执行SQL解析器解析出的SQL语句操作序列，并返回查询的结果集；
所述SQL解析器，用于判断SQL语句是否合法以及将SQL语句序列转换为一个可执行的操作序列；
所述JDBC服务，用于对应用层提供标准的符合JDBC规范的直接访问的接口服务，前台展示页面通过JDBC服务实现与后台数据的交互；
所述SHELL服务，用于对用户提供SQL语句操作查询的服务，用户以SHELL命令行方式直接进行数据库查询操作。
进一步地，所述应用层包括可视化服务、系统管理、连表查询、报表统计、定时任务调度、数据审计、日志管理和二次接口服务。
有益效果：本发明与现有技术比较，具有的优点是：
1)对于异构数据源提供统一的访问接口，用户无需在多个数据库存储系统间导入导出数据，大大提高了异构数据源的维护效率，实现多源异构数据的一站式管理；
2)通过可视化的方式，用户在视图中通过重新组织、过滤、存储数据源之间的关系，抽象出业务数据关联视图，实现跨异构数据源的可视化连表查询，大大降低了连表查询的复杂度，实现异构数据源的重构；
3)视图可保存发布给用户，用户只需提出数据组织形式上的需求，无需考虑数据形成的过程，一方面提高了元数据的安全性，另一方面提高了用户业务数据的使用效率，降低了数据维护的成本。
附图说明
图1是本发明提出的面向异构存储的多源数据管理及可视化系统的结构示意图。
图2是本发明方法步骤流程图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
本发明提出的面向异构存储多源数据管理及可视化系统的数据查询方法，提供一种面向异构存储的多源数据管理及可视化系统，参照图1，面向异构存储的多源数据管理及可视化系统包括存储层、服务层和应用层：
其中存储层，用于存储结构化数据、非结构化数据等元数据；具体的，存储层以开源Hadoop技术为基础，包括MySQL存储数据库、PostgreSQL存储数据库、HIVE存储数据库和Cassandra存储数据库等各类存储数据库，用于存储各类结构化和非结构化数据；各类数据库均以分布式部署在服务器集群众，数据库各自独立存在互不相通；结构化数据、非结构化数据等元数据可以是数据抽取工具从原有业务系统数据库抽取过来，可以是手动数据文件导入，也可是由采集设备直接写入响应存储数据库中；存储层可存取任一类型数据，且对原有服务器硬件配置无特殊要求，极大化利用原有设备，减小设备投入
服务层，用于对数据进行抽取、加工、融合、抽象成业务数据；服务层包括异构数据源连接器、、SQL执行引擎、SQL解析器、JDBC服务和SHELL服务：
其中异构数据源连接器，用于在平台和异构数据源之间建立统一的访问连接，通过简单配置数据源IP地址、端口号、数据源类型，直接调用底层不同的数据源连接协议，与数据源之间建立数据传输通道，便捷地对数据源进行访问和操作；
SQL执行引擎，用于高效执行SQL解析器解析出的SQL语句操作序列，并返回查询的结果集；
SQL解析器，用于判断SQL语句是否合法以及将复杂SQL语句序列转换为一个可执行的操作序列；
JDBC服务，用于对应用层提供标准的符合JDBC规范的直接访问的接口服务，前台展示页面通过JDBC服务实现与后台数据的交互；
SHELL服务，用于对用户提供SQL语句操作查询的服务，用户可直接以SHELL命令行方式直接进行数据库查询操作；
应用层，使用可视化技术对数据进行再组织形成特定场景使用的专用数据；应用层包括可视化服务，用于对多个异构数据源进行可视化管理，在该模块中可以对数据源的IP地址、访问端口、数据库类型以及连接字符串进行创建使用，通过可视化界面组织存储数据之间的关系，抽象出业务数据关联视图；
系统管理，用于管理用户访问权限、数据源连接信息、数据关联视图信息。在系统管理模块中，管理员可以控制访问用户权限，限制用户所访问的数据内容，对数据视图和数据源连接进行维护，保证数据的安全性；
连表查询，用于创建异构数据源多表查询，在数据关联视图中实现对连表查询条件以及关系的设置。用户在视图的画布中拖拽自己所需的异构数据源的数据表，并对数据表进行关系重构，实现表表之间的join、union以及条件过滤，最终实现业务数据的重新组织，为上层应用提供便利的服务；
报表统计，用于统计数据源接入情况、数据存储情况、数据查询情况、用户访问情况。用户可以通过报表统计模块，直观的了解整个系统的基本情况以及用户最关心的内容，访问较少的数据库就可以关停，以保证整个系统数据服务的活性；
定时任务调度，用于创建执行定时查询任务，并返回查询结果集给上层应用使用。用户预先设置定时查询的服务，按一定周期执行SQL语句，实现一些常规业务的无人值守；
数据审计，用于对用户日常查询访问操作的跟踪、记录和管理。使用数据审计模块，实现对用户行为的跟踪，实时监控异常用户行为，保证系统的稳定性；
日志管理，用于对系统异常日志数据的记录和管理。日志管理模块提供详实的系统日志记录，方便维护人员对系统异常进行回溯，分析修复系统缺陷；
二次接口服务，用于对上层应用提供二次访问接口，方便用户直接获取查询结果集。
本发明提出的面向异构存储的多源数据管理及可视化系统的数据查询方法，参照图2，包括以下步骤：
首先用户使用用户名和密码登录多源数据管理及可视化系统；然后用户在数据源管理页面上配置多个数据源，输入数据源IP地址、端口和数据源类型，这些数据保存后自动添加到可用数据源列表中；用户切换到视图画布页面，选取可用数据源中可用数据表，并将数据表拖曳至视图画布页面上进行布局；依据用户需求，对视图画布页面中不同的数据表进行连线，并设置连接条件，包括join和union的字段和条件；保存可视化视图，自动生成SQL语句，可直接浏览最终数据组织形式；点击查询，视图转变为JSON格式的SQL语句，将该SQL语句发送至服务层SQL解析器中；SQL解析器将SQL语句进行解析，将复杂的SQL语句分割成简单的SQL语句序列；SQL执行引擎逐条调用SQL语句序列中的SQL语句，通过异构数据源连接器连接不同的数据源进行查询，并返回结果集；最后在内存中对各个数据源的数据进行融合，组织成用户所需数据的组织形式并返回到前台展示页面展示成表格形式。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (5)
1.面向异构存储多源数据管理及可视化系统的数据查询方法，其特征在于：提供一种面向异构存储的多源数据管理及可视化系统，该系统包括存储层、服务层和应用层；
所述存储层用于存储结构化数据和非结构化数据；
所述服务层用于对存储数据进行抽取、加工、融合和抽象，将存储数据形成业务数据；
所述应用层用于通过可视化技术对业务数据进行再组织形成特定场景使用的专用数据；
所述方法包括以下步骤：
S1用户使用用户名和密码登录多源数据管理及可视化系统；
S2用户在数据源管理页面配置若干个数据源并输入各数据源IP地址、端口、数据源类型，各数据保存后自动添加到可用数据源列表中；
S3用户切换到视图画布页面，选取可用数据源列表中可用数据表，并将可用数据表拖曳至视图画布页面上进行布局；
S4依据用户需求，对所述视图画布页面中不同的数据表进行连线并设置连接条件；
S5通过保存可视化视图，自动生成SQL语句，可直接浏览最终数据组织形式；
S6点击查询，可视化视图转变为JSON格式的SQL语句，并将该SQL语句发送至服务层SQL解析器中；
S7 SQL解析器将SQL语句进行解析，解析后SQL语句被分割成SQL语句序列；
S8 SQL执行引擎逐条调用SQL语句序列中的SQL语句，通过异构数据源连接器连接不同的数据源进行查询，并返回结果集；
S9在内存中对各个数据源的数据进行融合，组织成用户所需数据的组织形式并返回到前台展示页面展示成表格。
2.根据权利要求1所述的面向异构存储多源数据管理及可视化系统的数据查询方法，其特征在于：所述存储层以开源Hadoop技术为基础，包括MySQL存储数据库、PostgreSQL存储数据库、HIVE存储数据库和Cassandra存储数据库。
3.根据权利要求1所述的面向异构存储多源数据管理及可视化系统的数据查询方法，其特征在于：所述存储层中元数据来源为数据抽取工具从原有业务系统数据库抽取或手动数据文件导入或由采集设备直接写入相应存储数据库中。
4.根据权利要求1所述的面向异构存储多源数据管理及可视化系统的数据查询方法，其特征在于：所述服务层包括异构数据源连接器、SQL执行引擎、SQL解析器、JDBC服务和SHELL服务；
其中所述异构数据源连接器，用于在平台和异构数据源之间建立统一的访问连接，通过配置数据源IP地址、端口号和数据源类型，调用底层不同的数据源连接协议，与数据源之间建立数据传输通道，对数据源进行访问和操作；
所述SQL执行引擎，用于执行SQL解析器解析出的SQL语句操作序列，并返回查询的结果集；
所述SQL解析器，用于判断SQL语句是否合法以及将SQL语句序列转换为一个可执行的操作序列；
所述JDBC服务，用于对应用层提供标准的符合JDBC规范的直接访问的接口服务，前台展示页面通过JDBC服务实现与后台数据的交互；
所述SHELL服务，用于对用户提供SQL语句操作查询的服务，用户以SHELL命令行方式直接进行数据库查询操作。
5.根据权利要求1所述的面向异构存储多源数据管理及可视化系统的数据查询方法，其特征在于：所述应用层包括可视化服务、系统管理、连表查询、报表统计、定时任务调度、数据审计、日志管理和二次接口服务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611264049.3A CN107066499A (zh) | 2016-12-30 | 2016-12-30 | 面向异构存储多源数据管理及可视化系统的数据查询方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611264049.3A CN107066499A (zh) | 2016-12-30 | 2016-12-30 | 面向异构存储多源数据管理及可视化系统的数据查询方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107066499A true CN107066499A (zh) | 2017-08-18 |
Family
ID=59623578
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611264049.3A Pending CN107066499A (zh) | 2016-12-30 | 2016-12-30 | 面向异构存储多源数据管理及可视化系统的数据查询方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107066499A (zh) |
Cited By (57)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107577767A (zh) * | 2017-09-05 | 2018-01-12 | 江苏电力信息技术有限公司 | 一种基于大数据的统一服务层建立方法 |
| CN107688659A (zh) * | 2017-09-08 | 2018-02-13 | 北京奇艺世纪科技有限公司 | 一种数据处理方法及装置 |
| CN107818127A (zh) * | 2017-09-09 | 2018-03-20 | 国网浙江省电力公司 | 一种用于多源数据的查询方法及系统 |
| CN107832392A (zh) * | 2017-10-31 | 2018-03-23 | 链家网（北京）科技有限公司 | 一种元数据管理系统 |
| CN107943817A (zh) * | 2017-10-09 | 2018-04-20 | 中国电子科技集团公司第二十八研究所 | 一种针对结构化与非结构化数据的服务封装工具及方法 |
| CN107967355A (zh) * | 2017-12-19 | 2018-04-27 | 金蝶软件（中国）有限公司 | 一种数据的获取方法、装置及介质 |
| CN108090154A (zh) * | 2017-12-08 | 2018-05-29 | 广州市申迪计算机系统有限公司 | 一种异构多源数据融合查询方法及装置 |
| CN108198595A (zh) * | 2018-01-18 | 2018-06-22 | 北京化工大学 | 一种多源异构非结构化病历数据融合方法 |
| CN108241540A (zh) * | 2018-01-09 | 2018-07-03 | 福建星瑞格软件有限公司 | 一种跨数据源查询的任务调度方法以及装置 |
| CN108363746A (zh) * | 2018-01-26 | 2018-08-03 | 福建星瑞格软件有限公司 | 一种支持多源异构数据的统一sql查询系统 |
| CN108446335A (zh) * | 2018-02-27 | 2018-08-24 | 广州港数据科技有限公司 | 基于数据库的异构系统数据抽取及统一对外数据交换方法 |
| CN108446391A (zh) * | 2018-03-23 | 2018-08-24 | 万帮充电设备有限公司 | 数据的处理方法、装置、电子设备和计算机可读介质 |
| CN108520037A (zh) * | 2018-03-30 | 2018-09-11 | 新华三大数据技术有限公司 | 数据查询方法、装置及数据可视化系统 |
| CN108536853A (zh) * | 2018-04-11 | 2018-09-14 | 上海驰骛信息科技有限公司 | 一种基于查询资源与精确度的自动路由数据库查询系统及方法 |
| CN108804613A (zh) * | 2018-05-30 | 2018-11-13 | 国网山东省电力公司经济技术研究院 | 一种多源数据库实时融合系统及其融合方法 |
| CN108932345A (zh) * | 2018-07-27 | 2018-12-04 | 北京中关村科金技术有限公司 | 一种基于dremio实现跨数据源分布式查询系统和方法 |
| CN109144982A (zh) * | 2018-09-29 | 2019-01-04 | 北京友友天宇系统技术有限公司 | 多维全息数据库动态构建技术系统 |
| CN109344186A (zh) * | 2018-08-23 | 2019-02-15 | 成都四方伟业软件股份有限公司 | 一种bi系统多源数据库跨源跨库融合系统和融合方法 |
| CN109508335A (zh) * | 2018-12-03 | 2019-03-22 | 中国电波传播研究所（中国电子科技集团公司第二十二研究所） | 一种海量地杂波数据分类存储方法 |
| CN109522321A (zh) * | 2018-11-15 | 2019-03-26 | 北京锐安科技有限公司 | 一种数据库查询方法、装置、服务器及存储介质 |
| CN109582717A (zh) * | 2018-10-16 | 2019-04-05 | 中国电力科学研究院有限公司 | 一种面向电力大数据的数据库统一平台及其读取方法 |
| CN109766352A (zh) * | 2018-11-19 | 2019-05-17 | 成都四方伟业软件股份有限公司 | 一种对异构数据源统一处理的方法及系统 |
| CN109960705A (zh) * | 2019-01-14 | 2019-07-02 | 积成电子股份有限公司 | 电网自动化系统多源数据接入及展示方法 |
| CN110096625A (zh) * | 2019-05-14 | 2019-08-06 | 中国联合网络通信集团有限公司 | 数据合规检查方法和装置 |
| CN110162544A (zh) * | 2019-05-30 | 2019-08-23 | 口碑(上海)信息技术有限公司 | 异构数据源数据获取方法及装置 |
| CN110232178A (zh) * | 2019-05-29 | 2019-09-13 | 北京中亦安图科技股份有限公司 | 报表生成方法及装置 |
| CN110245175A (zh) * | 2019-06-19 | 2019-09-17 | 山东浪潮商用系统有限公司 | 一种基于大数据的可视化加工处理系统及方法 |
| CN110287150A (zh) * | 2019-05-16 | 2019-09-27 | 中国科学院信息工程研究所 | 一种大规模存储系统元数据分布式管理方法与系统 |
| CN110471956A (zh) * | 2019-08-13 | 2019-11-19 | 浪潮云信息技术有限公司 | 一种适用于政务应用的统计展示系统及方法 |
| CN110647518A (zh) * | 2019-11-28 | 2020-01-03 | 成都四方伟业软件股份有限公司 | 一种数据源融合计算方法、组件及装置 |
| CN110674163A (zh) * | 2019-08-26 | 2020-01-10 | 天津浪淘科技股份有限公司 | 一种基于bs构架的异构数据查询系统及其方法 |
| CN111008211A (zh) * | 2019-12-06 | 2020-04-14 | 北京百分点信息科技有限公司 | 可视化接口的创建方法、装置、可读存储介质及电子设备 |
| CN111078961A (zh) * | 2019-12-24 | 2020-04-28 | 用友网络科技股份有限公司 | 多数据源查询驱动系统、方法、装置和存储介质 |
| CN111090676A (zh) * | 2019-12-23 | 2020-05-01 | 南京航空航天大学 | 面向流式数据的分布式自动处理方法及系统 |
| CN111143464A (zh) * | 2019-12-10 | 2020-05-12 | 北京字节跳动网络技术有限公司 | 数据获取方法、装置和电子设备 |
| CN111159180A (zh) * | 2019-12-18 | 2020-05-15 | 国家电网有限公司大数据中心 | 一种基于数据资源目录构建的数据处理方法及系统 |
| CN111177177A (zh) * | 2019-12-02 | 2020-05-19 | 国网吉林省电力有限公司吉林供电公司 | 一种基于多源异构数据融合的自动报表系统及其方法 |
| CN111400565A (zh) * | 2020-03-19 | 2020-07-10 | 北京三维天地科技股份有限公司 | 一种可视化拖拽在线数据处理方法和系统 |
| CN111506594A (zh) * | 2020-04-17 | 2020-08-07 | 瑞纳智能设备股份有限公司 | 一种大数据查询平台及其管理方法和数据查询方法 |
| CN111752723A (zh) * | 2020-06-06 | 2020-10-09 | 中国科学院电子学研究所苏州研究院 | 一种可视化的多源服务管理系统及其实现方法 |
| CN111966720A (zh) * | 2020-07-30 | 2020-11-20 | 上海泛微网络科技股份有限公司 | 一种数据处理方法及相关设备 |
| CN112084208A (zh) * | 2019-06-14 | 2020-12-15 | 北京京东尚科信息技术有限公司 | 数据可视化方法及系统、存储介质及电子设备 |
| WO2021000828A1 (zh) * | 2019-07-03 | 2021-01-07 | 平安科技（深圳）有限公司 | 数据聚合方法、装置、计算机设备及存储介质 |
| CN112286506A (zh) * | 2020-10-30 | 2021-01-29 | 杭州海康威视数字技术股份有限公司 | 数据关联方法、装置、服务器及存储介质 |
| CN112732758A (zh) * | 2020-12-31 | 2021-04-30 | 北京明朝万达科技股份有限公司 | 异构数据处理方法、装置、电子设备和可读存储介质 |
| CN112783869A (zh) * | 2021-02-27 | 2021-05-11 | 中电万维信息技术有限责任公司 | 一种基于大数据可视化建模及结果展示的方法 |
| CN113127518A (zh) * | 2021-04-29 | 2021-07-16 | 成都康赛信息技术有限公司 | 一种灵活查询数据的方法 |
| CN113312340A (zh) * | 2021-04-09 | 2021-08-27 | 国网陕西省电力公司电力科学研究院 | 一种多源数据的处理、融合、展示一体化方法及系统 |
| WO2021174752A1 (zh) * | 2020-03-02 | 2021-09-10 | 平安国际智慧城市科技股份有限公司 | 环境空气质量数据可视化方法、装置、设备和存储介质 |
| CN113392114A (zh) * | 2021-07-29 | 2021-09-14 | 浩鲸云计算科技股份有限公司 | 一种基于业务对象的智能关系管理和智能数据融合的方法 |
| US11200201B2 (en) | 2017-12-21 | 2021-12-14 | Baidu Online Network Technology (Beijing) Co., Ltd. | Metadata storage method, device and server |
| CN113901135A (zh) * | 2021-09-14 | 2022-01-07 | 威讯柏睿数据科技(北京)有限公司 | 一种跨源异构数据智能可视化分析展示方法和设备 |
| CN114510367A (zh) * | 2022-01-11 | 2022-05-17 | 电子科技大学 | 一种安全智能的多源异构数据处理系统 |
| US11580463B2 (en) | 2019-05-06 | 2023-02-14 | Hithink Royalflush Information Network Co., Ltd. | Systems and methods for report generation |
| CN116303730A (zh) * | 2023-05-18 | 2023-06-23 | 安徽泛联信息科技有限公司 | 一种数据可视化平台用异步数据源连接系统 |
| WO2024011829A1 (zh) * | 2022-07-15 | 2024-01-18 | 全图通位置网络有限公司 | 一种基于时空体系的综合智能平台数据管理方法及系统 |
| CN117539912A (zh) * | 2023-11-23 | 2024-02-09 | 武汉软件工程职业学院(武汉开放大学) | 一种加速异构数据源访问的系统、方法及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103077246A (zh) * | 2013-01-18 | 2013-05-01 | 国网电力科学研究院 | 一种基于Netty的大屏可视化平台数据推送系统 |
| CN103778524A (zh) * | 2012-10-20 | 2014-05-07 | 镇江华扬信息科技有限公司 | 一种基于xml的语义层报表模型的方法 |
| CN104008135A (zh) * | 2014-05-07 | 2014-08-27 | 南京邮电大学 | 一种多源异构数据库融合系统及其数据查询方法 |
| CN104050264A (zh) * | 2014-06-19 | 2014-09-17 | 华为技术有限公司 | 一种生成sql语句的方法和装置 |
-
2016
- 2016-12-30 CN CN201611264049.3A patent/CN107066499A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103778524A (zh) * | 2012-10-20 | 2014-05-07 | 镇江华扬信息科技有限公司 | 一种基于xml的语义层报表模型的方法 |
| CN103077246A (zh) * | 2013-01-18 | 2013-05-01 | 国网电力科学研究院 | 一种基于Netty的大屏可视化平台数据推送系统 |
| CN104008135A (zh) * | 2014-05-07 | 2014-08-27 | 南京邮电大学 | 一种多源异构数据库融合系统及其数据查询方法 |
| CN104050264A (zh) * | 2014-06-19 | 2014-09-17 | 华为技术有限公司 | 一种生成sql语句的方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 陈俊源: "《Visual Basic 6.X程序设计数据库应用实务篇》", 31 August 1999, 中国铁道出版社 * |
Cited By (77)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107577767A (zh) * | 2017-09-05 | 2018-01-12 | 江苏电力信息技术有限公司 | 一种基于大数据的统一服务层建立方法 |
| CN107688659A (zh) * | 2017-09-08 | 2018-02-13 | 北京奇艺世纪科技有限公司 | 一种数据处理方法及装置 |
| CN107818127A (zh) * | 2017-09-09 | 2018-03-20 | 国网浙江省电力公司 | 一种用于多源数据的查询方法及系统 |
| CN107943817A (zh) * | 2017-10-09 | 2018-04-20 | 中国电子科技集团公司第二十八研究所 | 一种针对结构化与非结构化数据的服务封装工具及方法 |
| CN107832392A (zh) * | 2017-10-31 | 2018-03-23 | 链家网（北京）科技有限公司 | 一种元数据管理系统 |
| CN108090154A (zh) * | 2017-12-08 | 2018-05-29 | 广州市申迪计算机系统有限公司 | 一种异构多源数据融合查询方法及装置 |
| CN107967355A (zh) * | 2017-12-19 | 2018-04-27 | 金蝶软件（中国）有限公司 | 一种数据的获取方法、装置及介质 |
| US11200201B2 (en) | 2017-12-21 | 2021-12-14 | Baidu Online Network Technology (Beijing) Co., Ltd. | Metadata storage method, device and server |
| CN108241540A (zh) * | 2018-01-09 | 2018-07-03 | 福建星瑞格软件有限公司 | 一种跨数据源查询的任务调度方法以及装置 |
| CN108198595B (zh) * | 2018-01-18 | 2022-05-03 | 北京化工大学 | 一种多源异构非结构化病历数据融合方法 |
| CN108198595A (zh) * | 2018-01-18 | 2018-06-22 | 北京化工大学 | 一种多源异构非结构化病历数据融合方法 |
| CN108363746A (zh) * | 2018-01-26 | 2018-08-03 | 福建星瑞格软件有限公司 | 一种支持多源异构数据的统一sql查询系统 |
| CN108446335A (zh) * | 2018-02-27 | 2018-08-24 | 广州港数据科技有限公司 | 基于数据库的异构系统数据抽取及统一对外数据交换方法 |
| CN108446335B (zh) * | 2018-02-27 | 2021-04-16 | 广州港数据科技有限公司 | 基于数据库的异构系统数据抽取及统一对外数据交换方法 |
| CN108446391A (zh) * | 2018-03-23 | 2018-08-24 | 万帮充电设备有限公司 | 数据的处理方法、装置、电子设备和计算机可读介质 |
| CN108520037A (zh) * | 2018-03-30 | 2018-09-11 | 新华三大数据技术有限公司 | 数据查询方法、装置及数据可视化系统 |
| CN108520037B (zh) * | 2018-03-30 | 2019-10-18 | 新华三大数据技术有限公司 | 数据查询方法、装置及数据可视化系统 |
| CN108536853A (zh) * | 2018-04-11 | 2018-09-14 | 上海驰骛信息科技有限公司 | 一种基于查询资源与精确度的自动路由数据库查询系统及方法 |
| CN108804613A (zh) * | 2018-05-30 | 2018-11-13 | 国网山东省电力公司经济技术研究院 | 一种多源数据库实时融合系统及其融合方法 |
| CN108932345A (zh) * | 2018-07-27 | 2018-12-04 | 北京中关村科金技术有限公司 | 一种基于dremio实现跨数据源分布式查询系统和方法 |
| CN109344186A (zh) * | 2018-08-23 | 2019-02-15 | 成都四方伟业软件股份有限公司 | 一种bi系统多源数据库跨源跨库融合系统和融合方法 |
| CN109144982A (zh) * | 2018-09-29 | 2019-01-04 | 北京友友天宇系统技术有限公司 | 多维全息数据库动态构建技术系统 |
| CN109582717A (zh) * | 2018-10-16 | 2019-04-05 | 中国电力科学研究院有限公司 | 一种面向电力大数据的数据库统一平台及其读取方法 |
| CN109582717B (zh) * | 2018-10-16 | 2022-06-07 | 中国电力科学研究院有限公司 | 一种面向电力大数据的数据库统一平台及其读取方法 |
| CN109522321A (zh) * | 2018-11-15 | 2019-03-26 | 北京锐安科技有限公司 | 一种数据库查询方法、装置、服务器及存储介质 |
| CN109766352A (zh) * | 2018-11-19 | 2019-05-17 | 成都四方伟业软件股份有限公司 | 一种对异构数据源统一处理的方法及系统 |
| CN109508335A (zh) * | 2018-12-03 | 2019-03-22 | 中国电波传播研究所（中国电子科技集团公司第二十二研究所） | 一种海量地杂波数据分类存储方法 |
| CN109960705A (zh) * | 2019-01-14 | 2019-07-02 | 积成电子股份有限公司 | 电网自动化系统多源数据接入及展示方法 |
| CN109960705B (zh) * | 2019-01-14 | 2021-01-26 | 积成电子股份有限公司 | 电网自动化系统多源数据接入及展示方法 |
| US11580463B2 (en) | 2019-05-06 | 2023-02-14 | Hithink Royalflush Information Network Co., Ltd. | Systems and methods for report generation |
| US11620593B2 (en) | 2019-05-06 | 2023-04-04 | Hithink Royalflush Information Network Co., Ltd. | Systems and methods for industry chain graph generation |
| CN110096625A (zh) * | 2019-05-14 | 2019-08-06 | 中国联合网络通信集团有限公司 | 数据合规检查方法和装置 |
| CN110287150B (zh) * | 2019-05-16 | 2021-05-11 | 中国科学院信息工程研究所 | 一种大规模存储系统元数据分布式管理方法与系统 |
| CN110287150A (zh) * | 2019-05-16 | 2019-09-27 | 中国科学院信息工程研究所 | 一种大规模存储系统元数据分布式管理方法与系统 |
| CN110232178A (zh) * | 2019-05-29 | 2019-09-13 | 北京中亦安图科技股份有限公司 | 报表生成方法及装置 |
| CN110162544A (zh) * | 2019-05-30 | 2019-08-23 | 口碑(上海)信息技术有限公司 | 异构数据源数据获取方法及装置 |
| CN110162544B (zh) * | 2019-05-30 | 2022-05-27 | 口碑(上海)信息技术有限公司 | 异构数据源数据获取方法及装置 |
| CN112084208A (zh) * | 2019-06-14 | 2020-12-15 | 北京京东尚科信息技术有限公司 | 数据可视化方法及系统、存储介质及电子设备 |
| CN110245175A (zh) * | 2019-06-19 | 2019-09-17 | 山东浪潮商用系统有限公司 | 一种基于大数据的可视化加工处理系统及方法 |
| WO2021000828A1 (zh) * | 2019-07-03 | 2021-01-07 | 平安科技（深圳）有限公司 | 数据聚合方法、装置、计算机设备及存储介质 |
| CN110471956A (zh) * | 2019-08-13 | 2019-11-19 | 浪潮云信息技术有限公司 | 一种适用于政务应用的统计展示系统及方法 |
| CN110674163A (zh) * | 2019-08-26 | 2020-01-10 | 天津浪淘科技股份有限公司 | 一种基于bs构架的异构数据查询系统及其方法 |
| CN110647518A (zh) * | 2019-11-28 | 2020-01-03 | 成都四方伟业软件股份有限公司 | 一种数据源融合计算方法、组件及装置 |
| CN111177177B (zh) * | 2019-12-02 | 2023-06-16 | 国网吉林省电力有限公司吉林供电公司 | 一种基于多源异构数据融合的自动报表系统及其方法 |
| CN111177177A (zh) * | 2019-12-02 | 2020-05-19 | 国网吉林省电力有限公司吉林供电公司 | 一种基于多源异构数据融合的自动报表系统及其方法 |
| CN111008211B (zh) * | 2019-12-06 | 2023-04-11 | 北京百分点科技集团股份有限公司 | 可视化接口的创建方法、装置、可读存储介质及电子设备 |
| CN111008211A (zh) * | 2019-12-06 | 2020-04-14 | 北京百分点信息科技有限公司 | 可视化接口的创建方法、装置、可读存储介质及电子设备 |
| CN111143464B (zh) * | 2019-12-10 | 2023-07-18 | 北京字节跳动网络技术有限公司 | 数据获取方法、装置和电子设备 |
| CN111143464A (zh) * | 2019-12-10 | 2020-05-12 | 北京字节跳动网络技术有限公司 | 数据获取方法、装置和电子设备 |
| CN111159180A (zh) * | 2019-12-18 | 2020-05-15 | 国家电网有限公司大数据中心 | 一种基于数据资源目录构建的数据处理方法及系统 |
| CN111090676A (zh) * | 2019-12-23 | 2020-05-01 | 南京航空航天大学 | 面向流式数据的分布式自动处理方法及系统 |
| CN111078961A (zh) * | 2019-12-24 | 2020-04-28 | 用友网络科技股份有限公司 | 多数据源查询驱动系统、方法、装置和存储介质 |
| CN111078961B (zh) * | 2019-12-24 | 2023-09-15 | 用友网络科技股份有限公司 | 多数据源查询驱动系统、方法、装置和存储介质 |
| WO2021174752A1 (zh) * | 2020-03-02 | 2021-09-10 | 平安国际智慧城市科技股份有限公司 | 环境空气质量数据可视化方法、装置、设备和存储介质 |
| CN111400565A (zh) * | 2020-03-19 | 2020-07-10 | 北京三维天地科技股份有限公司 | 一种可视化拖拽在线数据处理方法和系统 |
| CN111506594A (zh) * | 2020-04-17 | 2020-08-07 | 瑞纳智能设备股份有限公司 | 一种大数据查询平台及其管理方法和数据查询方法 |
| CN111506594B (zh) * | 2020-04-17 | 2023-03-24 | 瑞纳智能设备股份有限公司 | 一种大数据查询平台及其管理方法和数据查询方法 |
| CN111752723B (zh) * | 2020-06-06 | 2021-05-04 | 中国科学院电子学研究所苏州研究院 | 一种可视化的多源服务管理系统及其实现方法 |
| CN111752723A (zh) * | 2020-06-06 | 2020-10-09 | 中国科学院电子学研究所苏州研究院 | 一种可视化的多源服务管理系统及其实现方法 |
| CN111966720A (zh) * | 2020-07-30 | 2020-11-20 | 上海泛微网络科技股份有限公司 | 一种数据处理方法及相关设备 |
| CN112286506B (zh) * | 2020-10-30 | 2024-05-07 | 杭州海康威视数字技术股份有限公司 | 数据关联方法、装置、服务器及存储介质 |
| CN112286506A (zh) * | 2020-10-30 | 2021-01-29 | 杭州海康威视数字技术股份有限公司 | 数据关联方法、装置、服务器及存储介质 |
| CN112732758A (zh) * | 2020-12-31 | 2021-04-30 | 北京明朝万达科技股份有限公司 | 异构数据处理方法、装置、电子设备和可读存储介质 |
| CN112783869A (zh) * | 2021-02-27 | 2021-05-11 | 中电万维信息技术有限责任公司 | 一种基于大数据可视化建模及结果展示的方法 |
| CN113312340A (zh) * | 2021-04-09 | 2021-08-27 | 国网陕西省电力公司电力科学研究院 | 一种多源数据的处理、融合、展示一体化方法及系统 |
| CN113127518A (zh) * | 2021-04-29 | 2021-07-16 | 成都康赛信息技术有限公司 | 一种灵活查询数据的方法 |
| CN113392114B (zh) * | 2021-07-29 | 2022-03-15 | 浩鲸云计算科技股份有限公司 | 一种基于业务对象的智能关系管理和智能数据融合的方法 |
| CN113392114A (zh) * | 2021-07-29 | 2021-09-14 | 浩鲸云计算科技股份有限公司 | 一种基于业务对象的智能关系管理和智能数据融合的方法 |
| WO2023040373A1 (zh) * | 2021-09-14 | 2023-03-23 | 北京柏睿数据技术股份有限公司 | 一种跨源异构数据智能可视化分析展示方法和设备 |
| US11921742B2 (en) | 2021-09-14 | 2024-03-05 | Beijing Borrui Data Technology Co., Ltd. | Method and apparatus for intelligent visual analysis and display of cross-source heterogeneous data |
| CN113901135A (zh) * | 2021-09-14 | 2022-01-07 | 威讯柏睿数据科技(北京)有限公司 | 一种跨源异构数据智能可视化分析展示方法和设备 |
| CN114510367B (zh) * | 2022-01-11 | 2023-06-02 | 电子科技大学 | 一种安全智能的多源异构数据处理系统 |
| CN114510367A (zh) * | 2022-01-11 | 2022-05-17 | 电子科技大学 | 一种安全智能的多源异构数据处理系统 |
| WO2024011829A1 (zh) * | 2022-07-15 | 2024-01-18 | 全图通位置网络有限公司 | 一种基于时空体系的综合智能平台数据管理方法及系统 |
| CN116303730A (zh) * | 2023-05-18 | 2023-06-23 | 安徽泛联信息科技有限公司 | 一种数据可视化平台用异步数据源连接系统 |
| CN116303730B (zh) * | 2023-05-18 | 2023-08-01 | 安徽泛联信息科技有限公司 | 一种数据可视化平台用异步数据源连接系统 |
| CN117539912A (zh) * | 2023-11-23 | 2024-02-09 | 武汉软件工程职业学院(武汉开放大学) | 一种加速异构数据源访问的系统、方法及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107066499A (zh) | 面向异构存储多源数据管理及可视化系统的数据查询方法 | |
| CN109921927A (zh) | 基于微服务的实时调用链跟踪方法 | |
| CN107291947A (zh) | 一种半结构化数据查询的方法和分布式NewSQL数据库系统 | |
| US9361342B2 (en) | Query to streaming data | |
| CN107038162A (zh) | 基于数据库日志的实时数据查询方法和系统 | |
| CN103532754B (zh) | 一种通过高速内存、分布式处理海量日志的系统及方法 | |
| CN104915450B (zh) | 一种基于HBase的大数据存储与检索方法及系统 | |
| CN109582667A (zh) | 一种基于电力调控大数据的多数据库混合存储方法及系统 | |
| CN103902537B (zh) | 多业务的日志数据存储处理和查询系统及其方法 | |
| CN104156850A (zh) | 一种实时交易监控系统 | |
| CN108009236A (zh) | 一种大数据查询方法、系统、计算机及存储介质 | |
| CN109189782A (zh) | 一种区块链商品交易查询中的索引方法 | |
| CN107018042A (zh) | 用于在线服务系统的追踪方法及追踪系统 | |
| CN108108459A (zh) | 多源融合及环路关联的动态数据清洗方法及电子设备 | |
| CN109472568A (zh) | 一种区块链交易方法、装置、管理系统、设备及存储介质 | |
| CN106951552A (zh) | 一种基于Hadoop的用户行为数据处理方法 | |
| US20150019535A1 (en) | System, Method, and Data Structure for Automatically Generating Database Queries Which Are Data Model Independent and Cardinality Independent | |
| CN105631004A (zh) | 一种数据处理方法和系统 | |
| CN102270232A (zh) | 一种存储优化的语义数据查询系统 | |
| CN102279891A (zh) | 一种并行搜索it日志的检索方法、装置及系统 | |
| CN107832392A (zh) | 一种元数据管理系统 | |
| CN113064866A (zh) | 一种电力业务数据整合系统 | |
| CN114218218A (zh) | 基于数据仓库的数据处理方法、装置、设备及存储介质 | |
| CN111898007A (zh) | 一种变电站的三维场景模型构建系统及方法 | |
| CN110414259A (zh) | 一种构建数据类目、实现数据共享的方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170818 |
|
| RJ01 | Rejection of invention patent application after publication |