CN111291056A - Bi工具数据表底层关联的方法 - Google Patents

Bi工具数据表底层关联的方法 Download PDF

Info

Publication number
CN111291056A
CN111291056A CN202010116884.2A CN202010116884A CN111291056A CN 111291056 A CN111291056 A CN 111291056A CN 202010116884 A CN202010116884 A CN 202010116884A CN 111291056 A CN111291056 A CN 111291056A
Authority
CN
China
Prior art keywords
data
association
result
cache
tool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010116884.2A
Other languages
English (en)
Other versions
CN111291056B (zh
Inventor
王正慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fansoft Software Co Ltd
Original Assignee
Fansoft Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fansoft Software Co Ltd filed Critical Fansoft Software Co Ltd
Priority to CN202010116884.2A priority Critical patent/CN111291056B/zh
Publication of CN111291056A publication Critical patent/CN111291056A/zh
Application granted granted Critical
Publication of CN111291056B publication Critical patent/CN111291056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种BI工具数据表底层关联的方法，包括以下步骤：进行数据库基础表的关联关系的建立，并将关系记录下来；判断是实时的数据或是抽取的数据；若是实时的数据，在进行自助分析时，前端的操作被即时转换为数据库查询语句，生成结果并返回，在系统内进行结果查看；若是抽取的数据，在抽取数据时需要进行数据更新，更新中检测到存在关联关系，对关联关系进行分析生成关联缓存；在进行自助分析时，前端的操作可以通过系统查阅关联缓存中的索引信息，生成多字段的查询结果并返回，在系统内进行结果查看。有益之处在于可以根据数据来源不同选择相应的关联算法，在进行自助分析时可以任意组合成分析结果；不需要将冗余数据存储一遍。

Description

BI工具数据表底层关联的方法
技术领域
本发明涉及一种BI工具数据表底层关联的方法。
背景技术
目前，市面上的其他BI工具如果要对数据库的多张表中不同字段进行分析，展示结果，需要人工进行多表的数据合并并生成数据，每改变一次字段集合，就需要重新进行多表的数据合并。
主要缺陷在于，1.存储了冗余的数据，占据了额外的空间；2.生成数据的方案灵活性较差，不能很好的按需组合进行数据分析。
发明内容
为解决现有技术的不足，本发明提供了一种BI工具数据表底层关联的方法，通过对关联关系处理方式进行重构，使进行自助分析时可以根据选择的字段任意组合出分析结果。
为了实现上述目标，本发明采用如下的技术方案：
一种BI工具数据表底层关联的方法，包括以下步骤：
进行数据库基础表的关联关系的建立，并将关系记录下来；
判断是实时的数据或是抽取的数据；
若是实时的数据，在进行自助分析时，前端的操作被即时转换为数据库查询语句，生成结果并返回，在系统内进行结果查看；
若是抽取的数据，在抽取数据时需要进行数据更新，更新中检测到存在关联关系，对关联关系进行分析生成关联缓存；在进行自助分析时，前端的操作可以通过系统查阅关联缓存中的索引信息，生成多字段的查询结果并返回，在系统内进行结果查看。
进一步地，在表展示页面，可以利用关联视图提供的功能，进行关联关系的设置。
进一步地，进入关联设置界面，需要选择被关联的表及关联字段，添加关联方向。
进一步地，对于实时的数据通过系统内置的转换机制，把表的数据全部加载到内存中，由BI工具来计算关联结果数据，将前端的操作实时转化为嵌套的查询语言，从而输出符合前端实际选择的查询结果。
进一步地，在抽取数据时，根据先前设置的关联关系，更新各关联关系的关联缓存。
进一步地，关联缓存是基于Spider数据集间关联数据的预处理后的缓存文件；
通过预先把Spider数据集的关联数据预处理计算好，把算好的结果集保存成一个文件，每次需要计算Join时，不再实时计算，直接从关联缓存中获取。
进一步地，在查询时，通过命中策略，命中对应的关联缓存，可以取到对应的数据。
进一步地，关联缓存为树状结构。
进一步地，更新任意一张表需要更新包含这张表的所有关联缓存且需要更新这张表和这张表的所有祖先节点为根节点的关联缓存。
进一步地，多路径情况下，从已选择的路径中任意选择一条路径生成关联缓存。
本发明的有益之处在于，可以根据数据来源不同选择相应的关联算法，从而在进行自助分析时可以根据选择的字段任意组合成分析结果，同时不需要将冗余数据存储一遍，并按实际需要展现结果数据。
附图说明
图1是本发明的一种BI工具数据表底层关联的方法的流程图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
如图1所示，一种BI工具数据表底层关联的方法，包括以下步骤：
进行数据库基础表的关联关系的建立，并将关系记录下来；
判断是实时的数据或是抽取的数据；
若是实时的数据(实时数据)，在进行自助分析时，前端的操作被即时转换为数据库查询语句，生成结果并返回，在系统内进行结果查看；以选字段为例，选字段的操作被即时转换为数据库查询语句。
若是抽取的数据(抽取数据)，在抽取数据时需要进行数据更新，更新中检测到存在关联关系，对关联关系进行分析生成关联缓存；在进行自助分析时，前端的操作可以通过系统查阅关联缓存中的索引信息，生成多字段的查询结果并返回，在系统内进行结果查看。
作为一种具体的实施方式，在表展示页面，可以利用关联视图提供的功能，进行关联关系的设置。
进入关联设置界面，需要选择被关联的表及关联字段，添加关联方向。关联方向即表示哪个表作为主表，关联方向包含三种：1：1、1：N、N：1，根据实际情况谨慎选择。
对于实时的数据：
实时的数据即所有需要展现的数据都是即刻通过数据库查询语句查询而得到的，此种场景下，通过系统内置的转换机制，把表的数据全部加载到内存中，由BI工具(可以采用FineBI)来计算关联结果数据，将前端的操作实时转化为嵌套的查询语言，从而输出符合前端实际选择的查询结果。
对于抽取的数据：
如果数据时抽取的，抽取中会根据先前设置的关联关系，更新各关联关系的关联缓存。关联缓存是基于Spider数据集间关联数据的预处理后的缓存文件。通过预先把Spider数据集的关联数据预处理计算好，把算好的结果集保存成一个文件，每次需要计算Join时，不再实时计算，直接从关联缓存中获取。在查询时，通过命中策略，命中对应的关联缓存，可以取到对应的数据。
关联缓存为树状结构，以左表为根节点(Root节点)，N:1的1端为其子节点，递归生成的一棵一般树。
更新任意一张表，都需要更新包含这张表的所有关联缓存。
更新任意一张表，都需要更新这张表和这张表的所有祖先节点为根节点的关联缓存。
多路径情况下，从已选择的路径中任意选择一条路径生成关联缓存。
采用Head-Tail方式：ROOT为head，子孙节点为Tail，例如A->B->C->D可以分解成AB、AC、AD集合。
命中策略：如果查询Head-Tail方式的集合是关联缓存的子集，则命中，否则不命中。
如果是实时连接数据库，则实时转换查询语句实现分析结果的展现；如果是抽取进入Spider引擎的数据，则在更新每张表的时候，通过生成少量关联缓存将JOIN算子的结果记录下来的方式，实际使得数据之间的联系被记录下来，从而实现分析时可以将有关联关系的字段任意组合。
多表中字段的选择，如果使用查询语言，需要进行多次JOIN算子操作，而关联缓存的概念，使得这种操作的结果被保存下来，预先把Spider数据集的关联预处理计算好，把算好的结果集保存成一个文件，每次需要计算Join时，不再实时计算，直接从关联缓存中获取。
可以根据数据来源不同选择相应的关联算法，从而在进行自助分析时可以根据选择的字段任意组合成分析结果，同时不需要将冗余数据存储一遍，并按实际需要展现结果数据。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种BI工具数据表底层关联的方法，其特征在于，包括以下步骤：
进行数据库基础表的关联关系的建立，并将关系记录下来；
判断是实时的数据或是抽取的数据；
若是实时的数据，在进行自助分析时，前端的操作被即时转换为数据库查询语句，生成结果并返回，在系统内进行结果查看；
若是抽取的数据，在抽取数据时需要进行数据更新，更新中检测到存在关联关系，对关联关系进行分析生成关联缓存；在进行自助分析时，前端的操作可以通过系统查阅关联缓存中的索引信息，生成多字段的查询结果并返回，在系统内进行结果查看。
2.根据权利要求1所述的BI工具数据表底层关联的方法，其特征在于，
在表展示页面，可以利用关联视图提供的功能，进行关联关系的设置。
3.根据权利要求2所述的BI工具数据表底层关联的方法，其特征在于，
进入关联设置界面，需要选择被关联的表及关联字段，添加关联方向。
4.根据权利要求1所述的BI工具数据表底层关联的方法，其特征在于，
对于实时的数据通过系统内置的转换机制，把表的数据全部加载到内存中，由BI工具来计算关联结果数据，将前端的操作实时转化为嵌套的查询语言，从而输出符合前端实际选择的查询结果。
5.根据权利要求1所述的BI工具数据表底层关联的方法，其特征在于，
在抽取数据时，根据先前设置的关联关系，更新各关联关系的关联缓存。
6.根据权利要求5所述的BI工具数据表底层关联的方法，其特征在于，
关联缓存是基于Spider数据集间关联数据的预处理后的缓存文件；
通过预先把Spider数据集的关联数据预处理计算好，把算好的结果集保存成一个文件，每次需要计算Join时，不再实时计算，直接从关联缓存中获取。
7.根据权利要求6所述的BI工具数据表底层关联的方法，其特征在于，
在查询时，通过命中策略，命中对应的关联缓存，可以取到对应的数据。
8.根据权利要求5所述的BI工具数据表底层关联的方法，其特征在于，
关联缓存为树状结构。
9.根据权利要求5所述的BI工具数据表底层关联的方法，其特征在于，
更新任意一张表需要更新包含这张表的所有关联缓存且需要更新这张表和这张表的所有祖先节点为根节点的关联缓存。
10.根据权利要求9所述的BI工具数据表底层关联的方法，其特征在于，
多路径情况下，从已选择的路径中任意选择一条路径生成关联缓存。
CN202010116884.2A 2020-02-25 2020-02-25 Bi工具数据表底层关联的方法 Active CN111291056B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010116884.2A CN111291056B (zh) 2020-02-25 2020-02-25 Bi工具数据表底层关联的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010116884.2A CN111291056B (zh) 2020-02-25 2020-02-25 Bi工具数据表底层关联的方法

Publications (2)

Publication Number Publication Date
CN111291056A true CN111291056A (zh) 2020-06-16
CN111291056B CN111291056B (zh) 2020-12-01

Family

ID=71029495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010116884.2A Active CN111291056B (zh) 2020-02-25 2020-02-25 Bi工具数据表底层关联的方法

Country Status (1)

Country Link
CN (1) CN111291056B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590241A (zh) * 2021-06-22 2021-11-02 青岛海尔科技有限公司 可视化看板的展示方法和装置、存储介质及电子装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015137963A1 (en) * 2014-03-14 2015-09-17 Halliburton Energy Services, Inc. Real-time analysis of wellsite inventory activity
CN107491381A (zh) * 2017-07-04 2017-12-19 广西电网有限责任公司电力科学研究院 一种设备状态监测数据质量评测系统
CN109086354A (zh) * 2018-07-17 2018-12-25 于果鑫 一种基于可扩展节点集群的大数据分析处理系统
CN109582695A (zh) * 2018-12-04 2019-04-05 用友网络科技股份有限公司 一种微服务架构下数据通用查询方法及查询系统
CN110659270A (zh) * 2019-08-19 2020-01-07 苏宁金融科技(南京)有限公司 一种数据处理及传输方法和装置
CN110717319A (zh) * 2019-09-24 2020-01-21 车智互联（北京）科技有限公司 一种自助报表生成方法、装置、计算设备和系统
CN111475490A (zh) * 2020-04-28 2020-07-31 国网河南省电力公司信息通信公司 一种数据目录体系的数据管理系统和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015137963A1 (en) * 2014-03-14 2015-09-17 Halliburton Energy Services, Inc. Real-time analysis of wellsite inventory activity
CN107491381A (zh) * 2017-07-04 2017-12-19 广西电网有限责任公司电力科学研究院 一种设备状态监测数据质量评测系统
CN109086354A (zh) * 2018-07-17 2018-12-25 于果鑫 一种基于可扩展节点集群的大数据分析处理系统
CN109582695A (zh) * 2018-12-04 2019-04-05 用友网络科技股份有限公司 一种微服务架构下数据通用查询方法及查询系统
CN110659270A (zh) * 2019-08-19 2020-01-07 苏宁金融科技(南京)有限公司 一种数据处理及传输方法和装置
CN110717319A (zh) * 2019-09-24 2020-01-21 车智互联（北京）科技有限公司 一种自助报表生成方法、装置、计算设备和系统
CN111475490A (zh) * 2020-04-28 2020-07-31 国网河南省电力公司信息通信公司 一种数据目录体系的数据管理系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590241A (zh) * 2021-06-22 2021-11-02 青岛海尔科技有限公司 可视化看板的展示方法和装置、存储介质及电子装置
CN113590241B (zh) * 2021-06-22 2023-06-16 青岛海尔科技有限公司 可视化看板的展示方法和装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN111291056B (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN109189991B (zh) 重复视频识别方法、装置、终端及计算机可读存储介质
US20220342875A1 (en) Data preparation context navigation
CN111611458B (zh) 大数据治理中基于元数据和数据分析技术实现系统数据架构梳理的方法
US20060173819A1 (en) System and method for grouping by attribute
CA2562281C (en) Partial query caching
US7562067B2 (en) Systems and methods for estimating functional relationships in a database
JPH0673136B2 (ja) キ−数を推計する方法
US20040177069A1 (en) Method for fuzzy logic rule based multimedia information retrival with text and perceptual features
US20100030728A1 (en) Computing selectivities for group of columns and expressions
US20090150413A1 (en) Virtual columns
JP2013148987A (ja) 分割装置、分割方法、および分割プログラム
CN109740129B (zh) 基于区块链的报表生成方法、装置、设备及可读存储介质
KR101679050B1 (ko) 규칙 기반 로그 데이터 그룹화를 이용한 개인 맞춤형 로그 분석 시스템 및 그 방법
CN111291056B (zh) Bi工具数据表底层关联的方法
CN110928900B (zh) 多表数据的查询方法、装置、终端以及计算机存储介质
CN110442653A (zh) 增量构建cube模型的方法、装置、服务器及存储介质
KR101030250B1 (ko) 데이터 처리방법 및 데이터 처리 프로그램
CN107590233A (zh) 一种文件管理方法及装置
CN112527813A (zh) 业务系统的数据处理方法及装置、电子设备、存储介质
CN115328977A (zh) 一种页面数据的分页预处理方法及装置
CN114385764A (zh) 一种关系型数据库表结构的逆向分析方法及装置
CN106155878B (zh) 用于在数据库中创建供软件测试用的测试环境的方法和装置
WO2011099114A1 (ja) ハイブリッド型データベースシステム及びその動作方法
US10387466B1 (en) Window queries for large unstructured data sets
CN109241098B (zh) 一种分布式数据库的查询优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant