CN116739336A - 基于多源异构数据融合模型的电网灾害预警方法及系统 - Google Patents

基于多源异构数据融合模型的电网灾害预警方法及系统 Download PDF

Info

Publication number
CN116739336A
CN116739336A CN202310514989.7A CN202310514989A CN116739336A CN 116739336 A CN116739336 A CN 116739336A CN 202310514989 A CN202310514989 A CN 202310514989A CN 116739336 A CN116739336 A CN 116739336A
Authority
CN
China
Prior art keywords
data
source
early warning
disaster
power grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310514989.7A
Other languages
English (en)
Inventor
蒙琦
张希翔
董贇
艾徐华
黄汉华
周迪贵
古哲德
覃宁
陶思恒
谢菁
谭期文
韦宗慧
陈昭利
张丽媛
宁梓宏
孟椿智
孟春辰
陈燕雁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Power Grid Co Ltd
Original Assignee
Guangxi Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Power Grid Co Ltd filed Critical Guangxi Power Grid Co Ltd
Priority to CN202310514989.7A priority Critical patent/CN116739336A/zh
Publication of CN116739336A publication Critical patent/CN116739336A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0635Risk analysis of enterprise or organisation activities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Game Theory and Decision Science (AREA)
  • Primary Health Care (AREA)
  • Educational Administration (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种基于多源异构数据融合模型的电网灾害预警方法及系统,通过所述应用层,接收所述用户发送的所述电网灾害预警请求,并根据所述电网灾害预警请求,获取所述最佳查询处理策略;通过所述数据虚拟化层,根据所述最佳查询处理策略获取所述目标虚拟表,根据所述目标虚拟表和所述查询方案,从多个初始数据源中找到所述目标数据源,搜索所述目标数据源中匹配所述灾害预警标签的所有灾害数据;根据所述灾害数据和所述灾害预警判断规则,预测电网是否发生灾害,并返回预测结果。本实施例实现了对电网的灾害预警。

Description

基于多源异构数据融合模型的电网灾害预警方法及系统
技术领域
本发明涉及计算机技术领域,更具体地,涉及一种基于多源异构数据融合模型的电网灾害预警方法及系统。
背景技术
近年来,随着人工智能、大数据、智能电网等高新技术的高速发展,大数据的行业前景成为各电力企业共同面对的严峻考验和宝贵机遇。电力行业可以看作是高度复杂的非线性动力系统,对电网运行异构数据的处理能力直接决定电力系统应用场合的智能化程度。
在大数据时代,如何更好地发挥和挖掘数据的价值并为不同的应用按需提供服务是终极目标。但不可否认的是,由于大数据存在许多的问题,这就造成了对大数据处理的困难。上层应用在获取数据时,对底层数据的处理也有了新的需求。
多源异构数据的采集和融合本质是对多源异构数据进行信息分析处理上进行融合集成,从而加快数据的处理速度和分析精度。当前,电力大数据融合在电力市场、居民用电消费、电力系统安全性评估、电网灾害预警等各个领域都具有广泛的应用,分析和研究多源异构数据的采集、融合技术就显得非常必要。
因此,亟需一种基于多源异构数据融合模型的电网灾害预警方法。
发明内容
为了解决上述问题,本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的一种基于多源异构数据融合模型的电网灾害预警方法及系统。
根据本发明实施例的第一方面,提供一种基于多源异构数据融合模型的电网灾害预警方法,包括多源异构数据融合模型,所述多源异构数据融合模型包括应用层、数据虚拟化层和源数据层;
所述源数据层用于根据底层数据源的类型,选取对应的适配器,并通过所述底层数据源对应的适配器,提取所述底层数据源的源数据;
所述数据虚拟化层用于对所述底层数据源的源数据进行虚拟数据化,获取多个初始数据源,对所述初始数据源进行封装得到预设封装表,对不同的所述预设封装表进行嵌合的大预设虚拟表,并通过映射表记录所述预设虚拟表和所述初始数据源之间的对应关系;
所述应用层用于面向用户,接收用户发送的电网灾害预警请求,并对所述灾害预警请求进行分析和处理,确定所述电网灾害预警请求的最佳查询处理策略;
所述电网灾害预警方法包括:
通过所述应用层,接收所述用户发送的所述电网灾害预警请求,并根据所述电网灾害预警请求,获取所述最佳查询处理策略,所述电网灾害预警请求包括灾害预警标签、灾害预警级别和灾害预警判断规则,所述最佳查询处理策略包括所述灾害预警级别对应的目标虚拟表和对所述目标虚拟表的查询方案,所述查询方案包括所述目标虚拟表和目标数据源之间的映射关系,所述目标数据源为所述初始数据源中的一个;
通过所述数据虚拟化层,根据所述最佳查询处理策略获取所述目标虚拟表,根据所述目标虚拟表和所述查询方案,从多个初始数据源中找到所述目标数据源,搜索所述目标数据源中匹配所述灾害预警标签的所有灾害数据;
根据所述灾害数据和所述灾害预警判断规则,预测电网是否发生灾害,并返回预测结果。
进一步地,还包括:
通过所述应用层,根据所述电网灾害预警请求,获取所述优化处理策略,所述优化处理策略包括对所述查询方案进行优化一提高访问效率的优化方案,所述优化方案包括优化搜索方式;
所述搜索所述目标数据源中匹配所述灾害预警标签的所有灾害数据,包括:
通过所述优化搜索方式,搜索所述目标数据源中匹配所述灾害预警标签的所有灾害数据。
进一步地,所述通过所述优化搜索方式,搜索所述目标数据源中匹配所述灾害预警标签的所有灾害数据,包括:
通过数据联邦查询或实时镜像的方式对所述搜索方式对应的查询语句进行优化并执行,从缓存或所述目标数据源端抽取数据,并进行合并和组装,以所述用户请求中包含的数据格式返回所述访问结果。
进一步地,所述源数据层包括类型适配器和统一接口适配器,所述类型适配器通过所述统一接口适配器与所述底层数据源连接,所述类型适配器包括关系型数据库适配器、NoSQL数据库适配器、Word格式文档适配器、Excel格式文档适配器、REST API服适配器和网页爬虫适配器;
所述关系型数据库适配器用于通过所述统一接口适配器,对关系型数据库类型的底层数据源进行数据提取,获取所述源数据;
所述NoSQL数据库适配器用于通过所述统一接口适配器,对NoSQL数据库类型的底层数据源进行数据提取,获取所述源数据;
所述Word格式文档数据库适配器用于通过所述统一接口适配器,对Word格式文档数据库类型的底层数据源进行数据提取,获取所述源数据;
所述Excel格式文档数据库适配器用于通过所述统一接口适配器,对Excel格式文档数据库类型的底层数据源进行数据提取,获取所述源数据;
所述REST API服数据库适配器用于通过所述统一接口适配器,对REST API服数据库类型的底层数据源进行数据提取,获取所述源数据;
所述网页爬虫数据库适配器用于通过所述统一接口适配器,对网页爬虫数据库类型的底层数据源进行数据提取,获取所述源数据。
进一步地,所述数据虚拟化层用于对所述底层数据源的源数据进行虚拟数据化,获取多个初始数据源,包括:
抽取标准形式的初始数据,获取元数据信息,对所述元数据信息进行封装,得到多个预设封装表,所述预设封装表包括以下信息:
存储所述底层数据源的服务器所在的网络位置信息;
登录所述底层数据源对应数据库的连接信息,所述连接信息包括数据库驱动程序、URL、用户名、密码;
所述底层数据源的名称、所有者和创建日期;
所述底层数据源的结构,包括源表的每个列名称及注释;
所述底层数据源中每一列的定义,包含数据类型以及是否主键、可否为空;
所述底层数据源中定义的、可用的主键和外键;
所述底层数据源中列数和每一个栏目的值的分布信息,所述分布信息被抽取以用于查询优化;
所述底层数据源中记录行数信息、占用的存储信息。
进一步地,所述抽取标准形式的初始数据,获取元数据信息,对所述元数据信息进行封装,得到多个预设封装表,包括:
确定每个预设封装表对应的映射,所述映射包括行选择、列选择、列连接、转换、列和表格名的更改;
通过每个预设封装表对应的映射,对每个预设封装表进行转换,得到每个预设虚拟表。
根据本发明实施例第二方面,提供了一种基于多源异构数据融合模型的电网灾害预警系统,包括多源异构数据融合模型,所述多源异构数据融合模型包括应用层、数据虚拟化层和源数据层;
所述源数据层用于根据底层数据源的类型,选取对应的适配器,并通过所述底层数据源对应的适配器,提取所述底层数据源的源数据;
所述数据虚拟化层用于对所述底层数据源的源数据进行虚拟数据化,获取多个初始数据源,对所述初始数据源进行封装得到预设封装表,对不同的所述预设封装表进行嵌合的大预设虚拟表,并通过映射表记录所述预设虚拟表和所述初始数据源之间的对应关系;
所述应用层用于面向用户,接收用户发送的电网灾害预警请求,并对所述灾害预警请求进行分析和处理,确定所述电网灾害预警请求的最佳查询处理策略;
所述电网灾害预警系统包括:
请求模块,用于通过所述应用层,接收所述用户发送的所述电网灾害预警请求,并根据所述电网灾害预警请求,获取所述最佳查询处理策略,所述电网灾害预警请求包括灾害预警标签、灾害预警级别和灾害预警判断规则,所述最佳查询处理策略包括所述灾害预警级别对应的目标虚拟表和对所述目标虚拟表的查询方案,所述查询方案包括所述目标虚拟表和目标数据源之间的映射关系,所述目标数据源为所述初始数据源中的一个;
查找模块,用于通过所述数据虚拟化层,根据所述最佳查询处理策略获取所述目标虚拟表,根据所述目标虚拟表和所述查询方案,从多个初始数据源中找到所述目标数据源,搜索所述目标数据源中匹配所述灾害预警标签的所有灾害数据;
预警模块,用于根据所述灾害数据和所述灾害预警判断规则,预测电网是否发生灾害,并返回预测结果。
进一步地,还包括优化模块,其中:
所述优化模块,用于通过所述应用层,根据所述电网灾害预警请求,获取所述优化处理策略,所述优化处理策略包括对所述查询方案进行优化一提高访问效率的优化方案,所述优化方案包括优化搜索方式;
所述查找模块用于通过所述优化搜索方式,搜索所述目标数据源中匹配所述灾害预警标签的所有灾害数据。
根据本发明实施例的第三方面,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现如第一方面所提供的一种基于多源异构数据融合模型的电网灾害预警方法。
根据本发明实施例的第四方面,提供了一种非暂态计算机可读存储介质,所述存储介质存储如第一方面所提供的一种基于多源异构数据融合模型的电网灾害预警方法。
本发明实施例提供的一种基于多源异构数据融合模型的电网灾害预警方法及系统,在需要对电网进行灾害预测时,直接发送电网灾害预警请求,并根据电网灾害预警请求确定最佳处理策略和与电网灾害预警请求匹配的目标虚拟表;并根据查询方案,对目标虚拟表进行查询搜索,根据搜索到的灾害数据和灾害预警判断规则,预测电网是否发生灾害,并返回预测结果。本实施例中通过多源异构数据融合模型对不同初始数据源进行嵌入、封装后得到,因此该方法能够将来自不同业务、不同体系、不同架构的底层数据源采集,然后进行整合、抽象,定义出新的数据对象,最终实现各个底层数据源的数据交换和数据融合;用户在使用时,不需要了解底层数据所使用的数据接口、不需要关系数据形式,也不需要直到数据的存储位置,只通过发送电网灾害预警请求即可实现对电网的预警。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些图获得其他的附图。
图1为本发明实施例提供的一种基于多源异构数据融合模型的电网灾害预警方法的流程图;
图2为本发明实施例中提供的一种多源异构数据融合模型的结构示意图;
图3为本发明实施例提供的一种基于多源异构数据融合模型的电网灾害预警系统的结构示意图;
图4为本发明实施例提供了一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种基于多源异构数据融合模型的电网灾害预警方法的流程图,如图1所示,包括多源异构数据融合模型,所述多源异构数据融合模型包括应用层、数据虚拟化层和源数据层;
所述源数据层用于根据底层数据源的类型,选取对应的适配器,并通过所述底层数据源对应的适配器,提取所述底层数据源的源数据;
所述数据虚拟化层用于对所述底层数据源的源数据进行虚拟数据化,获取多个初始数据源,对所述初始数据源进行封装得到预设封装表,对不同的所述预设封装表进行嵌合的大预设虚拟表,并通过映射表记录所述预设虚拟表和所述初始数据源之间的对应关系;
所述应用层用于面向用户,接收用户发送的电网灾害预警请求,并对所述灾害预警请求进行分析和处理,确定所述电网灾害预警请求的最佳查询处理策略;
所述电网灾害预警方法包括:
S110,通过所述应用层,接收所述用户发送的所述电网灾害预警请求,并根据所述电网灾害预警请求,获取所述最佳查询处理策略,所述电网灾害预警请求包括灾害预警标签、灾害预警级别和灾害预警判断规则,所述最佳查询处理策略包括所述灾害预警级别对应的目标虚拟表和对所述目标虚拟表的查询方案,所述查询方案包括所述目标虚拟表和目标数据源之间的映射关系,所述目标数据源为所述初始数据源中的一个;
S120,通过所述数据虚拟化层,根据所述最佳查询处理策略获取所述目标虚拟表,根据所述目标虚拟表和所述查询方案,从多个初始数据源中找到所述目标数据源,搜索所述目标数据源中匹配所述灾害预警标签的所有灾害数据;
S130,根据所述灾害数据和所述灾害预警判断规则,预测电网是否发生灾害,并返回预测结果。
图2为本发明实施例中提供的一种多源异构数据融合模型的结构示意图,如图2所示,从用户应用的角度出发,多源异构数据融合模型系统架构包含3层:应用层、数据虚拟化层和源数据层。其中,数据虚拟化层包括数据虚拟化平面和管理平面,二者相互结合执行全方位的查询、处理、集成和管理功能。
(一)应用层
应用层主要是面向前端各种各样的数据查询访问应用,将用户的电网灾害预警请求传递到数据虚拟化层,为用户的查询请求提供多种访问接口,用于访问多源异构数据融合模型,如某些用户可以用JDBC/SQL接口访问,另一些用户可以采用MDX(multi-dimensional expressions)接口或基于SOAP(simple object access protocol)接口访问相同的数据服务,对用户而言可以根据自己确定的访问方式发起查询请求。
应用层核心功能其从概念上划分为三个部分:设计时模块、运行时模块和存储元数据规范的数据字典。应用层通过上述核心功能,采用接口方式为其他应用所需多源异构数据的自动化抽取提供技术支撑。例如,可推动自动化数据抽取及自动化评分功能在电网总部DCMM能力成熟度评价系统中充分发挥作用,通过DCMM能力评价系统中自动化抽取指标的配置,实现对指标自动化打分,从而提升DCMM能力成熟度评价系统的自动化评估能力。
(二)数据虚拟化层
数据虚拟化层是整个多源异构数据融合模型的核心,包括2个平面数据虚拟化平面和管理平面。其中,数据虚拟化平面包含查询响应层、数据服务层、元数据组织层、数据映射层共4个层次的内容,完成数据的抽象、元数据建模、数据源映射、查询驱动与响应等功能;管理平面包含管理与组织及控制、安全、数据质量、源位置与源表共4个层面内容,进行系统配置、管理、监测、安全、数据检查与维护等工作。
数据虚拟化平面和管理平面包含的各层面相互对应,二者相互结合执行全方位的查询、处理、集成和管理功能。下面对数据虚拟化平面及管理平面分别进行介绍:
(1)数据虚拟化平面
a,查询响应层,该层针对用户的查询需求,主要任务是制定最佳的查询处理策略和性能优化措施。其中处理策略是多源异构数据融合模型根据用户查询请求对目标数据的访问方式给出执行方案与流程;优化器是系统确定数据访问方式之后,对查询过程作出优化以提高查询效率。
b,数据服务层,多源异构数据融合模型面向用户会创建各种数据服务。数据服务的最常用对象是数据视图或虚拟表。整体上看,多源异构数据融合模型中会定义2种类型的表:即虚拟表和数据封装表。
由于不同的数据源所有者会开放全部或部分的数据给虚拟化系统,这些开放数据可能是原始数据,更多的是加工后的数据。封装表对应于不同的数据源,实现对开放源数据的接口封装,并作为这些数据源的代理供虚拟化系统调用。
在数据服务层进行数据视图/虚拟表的定义、认证和授权;数据服务的封装、发布与组合。视图/虚拟表的定义是建立在封装表或其他虚拟表之上,虚拟表之间可以进行组合与嵌套,虚拟表在定义之后可以作为一种数据服务发布出去。数据服务更多关注数据资源的获取与集成方式,而虚拟表的定义关注的是数据本身,因此多源异构数据融合模型可以以虚拟表的方式呈现数据服务所需的底层数据。基于上述数据服务可以通过自动化语义识别及分析,为数据打上体现其含义的标签,构建电网多源异构数据标签体系,使数据管理人员清晰的区分其业务属性、管理属性及技术属性等相关特征。
c,数据映射层,数据映射层实现虚拟表到数据源的映射,从而保证多源异构数据融合模型向用户交付正确的数据。在此应该理清虚拟表、映射与封装表三者之间的关系。
虚拟表是建立在封装表基础之上,而封装表是以数据源为基础的。封装表与数据源之间是多对一的关系,根据一个数据源可以定义一个或多个封装表。定义虚拟表的过程也是定义映射的过程,在封装表基础上定义虚拟表。映射对于虚拟表而言相当于查询定义,包含虚拟表的结构(行、列选择、列转换、表名称改变、分组等)、数据如何被转换为虚拟表的内容等。
如果没有映射,虚拟表就是一个没有内容的空表。因此,要保证正确的映射,必须正确分析封装表中数据间关系,保证从数据源到封装表再到虚拟表的定义是准确的。多源异构数据融合模型中也允许少量虚拟表在起初不定义映射,它们是从用户角度来定义的(自顶向下),因此定义时只关心数据消费需求而不考虑数据源表中数据类型、列间关系等,但是在后期必需执行映射的再定义。
d,元数据组织层,多源异构数据融合模型不会存储数据源的物理数据,但是针对不同的数据源开放数据,需要对开放数据源及自身系统虚拟表与数据封装表的元数据进行组织存储与管理,并面向数据服务层作为其定义数据视图或虚拟表的基础。针对用户的查询请求,高性能的元数据组织、存储与快速查找是保证用户获取所需数据资源的关键。该层主要包括2个方面的内容:元数据的抽取、存储与元数据组织模型。
总结来说,当用户发起一个电网灾害预警请求,查询引擎确定查询策略并进行查询结果计算、优化及结果响应。若数据服务层没有预先定义该查询对应的虚拟表,则元数据组织层需根据系统存储的元数据信息对查询所需的相关元数据进行组织,生成对应的临时虚拟表。数据映射层实施相应虚拟表与封装表的映射,进而访问底层数据源。
(2)管理平面
管理平面的目标是通过配置、监测、管理控制等手段支撑整个虚拟化系统的安全、可靠、高效运行。通过对多源异构数据融合模型的配置,完成生产、备份、故障切换等任务。多源异构数据融合模型中的整合管理工具支持软件供应,对源数据访问的授权,与LDAP(light weight directory access protocol)的整合以及其他安全工具等。系统管理工具管理服务器会话、数据服务、元数据等。
针对数据虚拟化平面的4个层次,管理平面也要完成对应的管理功能。对于数据映射层而言,要实现每个应用所需数据的映射,管理层必须实现对封装表、源数据、源数据间关系的管理;在元数据组织层,管理环境要实施对元数据的清洗、一致性检测等任务,保证元数据缓存的高效性;在数据服务层,管理环境要完成对虚拟表或数据服务组合、更新过程的维护等,部署管理器完成对数据服务的扩展部署,确保其持续可用;针对查询响应层,控制器、监测器、管理器等共同作用保证整个查询过程的正确实施。
(三)源数据层
源数据层是各系统提供的原始数据,这些数据可以是结构化的,也可以是非结构化的;可以来自于关系型数据库,也可以来自于非关系型数据库,其类型多样,结构各异。这是基于数据虚拟化建设的平台的特点之一,也是数据整合的原因之一。
源数据层针对各个数据所有者提供的多源异构数据源进行统一的接口管理,实现多源异构数据融合模型中各种不同数据源的访问细节对用户进行屏蔽。通过ODBC/JDBC、JSON、API等接口,实现源数据的获取和传输,最终完成用户所需数据资源的交付。
特别注意:源数据层只是对各种物理数据源的访问接口管理,并不需要了解具体的物理源数据的组织、存储及管理方式;物理数据源由所有者管理,并根据自身策略来开放全部或部分源数据的视图给多源异构数据融合模型。
对于多源异构数据,我们通过统一的多源异构采集适配器来实现其与多源异构数据融合模型的连接。通过统一适配器接口连接的外部数据资源统一称作底层数据源。统一适配器接口根据底层数据源的数据类型的不同,分别调用关系型数据库适配器、NoSQL数据库适配器、Word格式文档适配器、Excel格式文档适配器、REST API服适配器、网页爬虫适配器对相关的数据进行读取、解析。
采集适配器内部封装器记录底层数据源的所有元数据信息,这些元数据信息随后会在多源异构数据融合模型应用层的数据字典中存储。
当用户发起一个电网灾害预警请求,查询引擎确定最佳查询处理策略,并根据最佳查询处理策略,获取目标虚拟表,该目标虚拟表为与电网灾害相关的虚拟表,并根据目标虚拟表和映射关系,找到目标数据源,目标数据源中存储与电网灾害相关的数据,为了匹配灾害预警标签,从目标数据源中搜索相匹配的所有灾害数据,该灾害数据为进行电网灾害预测的数据,提取出灾害数据后,根据灾害预警判断规则,判断该电网是否会发生灾害。
本实施例中,灾害预警级别包括轻级灾害和重级灾害,不同级别对应的灾害预警判断规则不同。
本发明实施例提供的一种基于多源异构数据融合模型的电网灾害预警方法,在需要对电网进行灾害预测时,直接发送电网灾害预警请求,并根据电网灾害预警请求确定最佳处理策略和与电网灾害预警请求匹配的目标虚拟表;并根据查询方案,对目标虚拟表进行查询搜索,根据搜索到的灾害数据和灾害预警判断规则,预测电网是否发生灾害,并返回预测结果。本实施例中通过多源异构数据融合模型对不同初始数据源进行嵌入、封装后得到,因此该方法能够将来自不同业务、不同体系、不同架构的底层数据源采集,然后进行整合、抽象,定义出新的数据对象,最终实现各个底层数据源的数据交换和数据融合;用户在使用时,不需要了解底层数据所使用的数据接口、不需要关系数据形式,也不需要直到数据的存储位置,只通过发送电网灾害预警请求即可实现对电网的预警。
在一些实施例中,还包括:
通过所述应用层,根据所述电网灾害预警请求,获取所述优化处理策略,所述优化处理策略包括对所述查询方案进行优化一提高访问效率的优化方案,所述优化方案包括优化搜索方式;
所述搜索所述目标数据源中匹配所述灾害预警标签的所有灾害数据,包括:
通过所述优化搜索方式,搜索所述目标数据源中匹配所述灾害预警标签的所有灾害数据。
性能优化措施是系统确定数据访问方式之后,对查询过程作出优化以提高查询效率。查询优化过程决定了某个查询的最佳处理策略,可以部署多种技术用于优化用户输入的查询。
当使用诸如SQL、MDX、XSTL和XQuery之类的语言工作时,开发者只需要明确他们需要什么样的数据。他们不需要声明数据如何从数据存储区被检索。这也是这些语言有时被称为声明性语言的原因。例如,在下面的一个SQL查询中,基于Tulsa对消费者进行查询:
SELECT*
FROM CUSTOMER
WHERE CITY_NAME=‘Tulsa’
在这个声明中,没有任何地方说明CUSTOMER表格存储的位置以及是否使用一个检索对行进行检索。在一个声明性语言中,只需要明确“是什么”而不是“如何做”。找到最好的方式来获取数据是数据库服务器的责任,这被称为处理策略。负责该任务的模块被称为优化器。一个优化能够越好地确定执行策略,查询的性能就越好。
为了确定最好的处理策略,每一个优化器需要考虑预期的I/O数量以及处理时间。多源异构数据智能融合模型系统的优化器也需要考虑其他方面,从而使该优化器变得更加复杂。第一,要求的数据可能被存储在多个数据存储区并且需要集成这些数据存储区的数据。第二,这些数据存储区可能使用了与查询语言中声明不同的语言以及API,因此(一部分)输入的查询可能需要被转换为另外一种查询语言,如将SQL转换为XQuery。第三,对数据存储区以及多源异构数据智能融合模型系统之间需要传输的数据总量进行优化。一个数据库服务器的优化器不需要应对上述3个方面的问题,但是多源异构数据智能融合模型系统内的优化器则需要处理这3个方面的问题。
最后利用优化方案,采用合适的搜索方式,从而提高搜索效率;并最终根据搜索方式对目标数据源的查询范围进行方位,确定访问结果。
在一些实施例中,所述通过所述优化搜索方式,搜索所述目标数据源中匹配所述灾害预警标签的所有灾害数据,包括:
通过数据联邦查询或实时镜像的方式对所述搜索方式对应的查询语句进行优化并执行,从缓存或所述目标数据源端抽取数据,并进行合并和组装,以所述用户请求中包含的数据格式返回所述访问结果。
通过连接各数据源实现数据统一访问,采用缓存进行加速,不全量负责数据。当应用调用数据请求时,联邦查询会对查询语句进行优化并执行,发别从缓存或数据源端抽取数据,并进行合并和组装,以应用需要的格式返回数据结果。
优点:无需全量复制,硬件成本低;
缺点:查询的执行过程中会对数据源系统有侵入,需要和源系统改动联动,并且响应的延迟高,无法对查询响应的延迟承诺。
实时镜像方式实现数据虚拟化,需要建立一个中央化的数据存储库,通过对各个数据源进行连接并实时同步,将各个数据源的数据按1:1的方式,镜像到中央数据存储库,然后基于中央数据存储去做数据建模和统一管理。
优点:对源系统无影响或影响较小,可实现亚秒级的查询响应;
缺点:需要额外的存储成本;
在一些实施例中,所述源数据层包括类型适配器和统一接口适配器,所述类型适配器通过所述统一接口适配器与所述底层数据源连接,所述类型适配器包括关系型数据库适配器、NoSQL数据库适配器、Word格式文档适配器、Excel格式文档适配器、REST API服适配器和网页爬虫适配器;
所述关系型数据库适配器用于通过所述统一接口适配器,对关系型数据库类型的底层数据源进行数据提取,获取所述源数据;
所述NoSQL数据库适配器用于通过所述统一接口适配器,对NoSQL数据库类型的底层数据源进行数据提取,获取所述源数据;
所述Word格式文档数据库适配器用于通过所述统一接口适配器,对Word格式文档数据库类型的底层数据源进行数据提取,获取所述源数据;
所述Excel格式文档数据库适配器用于通过所述统一接口适配器,对Excel格式文档数据库类型的底层数据源进行数据提取,获取所述源数据;
所述REST API服数据库适配器用于通过所述统一接口适配器,对REST API服数据库类型的底层数据源进行数据提取,获取所述源数据;
所述网页爬虫数据库适配器用于通过所述统一接口适配器,对网页爬虫数据库类型的底层数据源进行数据提取,获取所述源数据。
对于多源异构数据,通过统一的多源异构采集适配器来实现其与多源异构数据智能融合模型系统的连接。通过统一适配器接口连接的外部数据资源统一称作底层数据源。统一适配器接口根据底层数据源的数据类型的不同,分别调用关系型数据库适配器、NoSQL数据库适配器、Word格式文档适配器、Excel格式文档适配器、REST API服务适配器、网页爬虫适配器对相关的数据进行读取、解析。
在一些实施例中,所述数据虚拟化层用于对所述底层数据源的源数据进行虚拟数据化,获取多个初始数据源,包括:
抽取标准形式的初始数据,获取元数据信息,对所述元数据信息进行封装,得到多个预设封装表,所述预设封装表包括以下信息:
存储所述底层数据源的服务器所在的网络位置信息;
登录所述底层数据源对应数据库的连接信息,所述连接信息包括数据库驱动程序、URL、用户名、密码;
所述底层数据源的名称、所有者和创建日期;
所述底层数据源的结构,包括源表的每个列名称及注释;
所述底层数据源中每一列的定义,包含数据类型以及是否主键、可否为空;
所述底层数据源中定义的、可用的主键和外键;
所述底层数据源中列数和每一个栏目的值的分布信息,所述分布信息被抽取以用于查询优化;
所述底层数据源中记录行数信息、占用的存储信息。
当一个源表格被导入后,需要进行一个封装表格或者短的封装。某些产品会使用其他的名字,如基础观点和观点。只有非常少的元数据在导入过程被抽取,并由多源异构数据智能融合模型系统存储到它的字典里。所有的这些元数据信息被分配到封装表的定义中。封装表包含了对应底层数据源的所有元数据信息,可能包括上述内容。
在一些实施例中,所述抽取标准形式的初始数据,获取元数据信息,对所述元数据信息进行封装,得到多个预设封装表,包括:
确定每个预设封装表对应的映射,所述映射包括行选择、列选择、列连接、转换、列和表格名的更改;
通过每个预设封装表对应的映射,对每个预设封装表进行转换,得到每个预设虚拟表。
图3为本发明实施例提供的一种基于多源异构数据融合模型的电网灾害预警系统的结构示意图,如图3所示,包括多源异构数据融合模型,所述多源异构数据融合模型包括应用层、数据虚拟化层和源数据层;
所述源数据层用于根据底层数据源的类型,选取对应的适配器,并通过所述底层数据源对应的适配器,提取所述底层数据源的源数据;
所述数据虚拟化层用于对所述底层数据源的源数据进行虚拟数据化,获取多个初始数据源,对所述初始数据源进行封装得到预设封装表,对不同的所述预设封装表进行嵌合的大预设虚拟表,并通过映射表记录所述预设虚拟表和所述初始数据源之间的对应关系;
所述应用层用于面向用户,接收用户发送的电网灾害预警请求,并对所述灾害预警请求进行分析和处理,确定所述电网灾害预警请求的最佳查询处理策略;
所述电网灾害预警系统包括请求模块310、查找模块320和预警模块330,其中:
请求模块310用于通过所述应用层,接收所述用户发送的所述电网灾害预警请求,并根据所述电网灾害预警请求,获取所述最佳查询处理策略,所述电网灾害预警请求包括灾害预警标签、灾害预警级别和灾害预警判断规则,所述最佳查询处理策略包括所述灾害预警级别对应的目标虚拟表和对所述目标虚拟表的查询方案,所述查询方案包括所述目标虚拟表和目标数据源之间的映射关系,所述目标数据源为所述初始数据源中的一个;
查找模块320用于通过所述数据虚拟化层,根据所述最佳查询处理策略获取所述目标虚拟表,根据所述目标虚拟表和所述查询方案,从多个初始数据源中找到所述目标数据源,搜索所述目标数据源中匹配所述灾害预警标签的所有灾害数据;
预警模块330用于根据所述灾害数据和所述灾害预警判断规则,预测电网是否发生灾害,并返回预测结果。
本系统实施例的具体实施过程与上述方法实施例的具体执行过程相同,详情请参考上述方法实施例,本系统实施例在此不再赘述。
在一些实施例中,还包括优化模块,其中:
所述优化模块,用于通过所述应用层,根据所述电网灾害预警请求,获取所述优化处理策略,所述优化处理策略包括对所述查询方案进行优化一提高访问效率的优化方案,所述优化方案包括优化搜索方式;
所述查找模块用于通过所述优化搜索方式,搜索所述目标数据源中匹配所述灾害预警标签的所有灾害数据。
图4为本发明实施例提供了一种电子设备的结构示意图,如图4所示,该设备包括:处理器(processor)401、通信接口(Communications Interface)402、存储器(memory)403和通信总线404,其中,处理器401,通信接口402,存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储器403上并可在处理器401上运行的计算机程序,以执行上述各实施例提供的用于基于多源异构数据融合模型的电网灾害预警方法。
此外,上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的用于基于多源异构数据融合模型的电网灾害预警方法。
以上所描述的电子设备等实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于多源异构数据融合模型的电网灾害预警方法,其特征在于,包括多源异构数据融合模型,所述多源异构数据融合模型包括应用层、数据虚拟化层和源数据层;
所述源数据层用于根据底层数据源的类型,选取对应的适配器,并通过所述底层数据源对应的适配器,提取所述底层数据源的源数据;
所述数据虚拟化层用于对所述底层数据源的源数据进行虚拟数据化,获取多个初始数据源,对所述初始数据源进行封装得到预设封装表,对不同的所述预设封装表进行嵌合的大预设虚拟表,并通过映射表记录所述预设虚拟表和所述初始数据源之间的对应关系;
所述应用层用于面向用户,接收用户发送的电网灾害预警请求,并对所述灾害预警请求进行分析和处理,确定所述电网灾害预警请求的最佳查询处理策略;
所述电网灾害预警方法包括:
通过所述应用层,接收所述用户发送的所述电网灾害预警请求,并根据所述电网灾害预警请求,获取所述最佳查询处理策略,所述电网灾害预警请求包括灾害预警标签、灾害预警级别和灾害预警判断规则,所述最佳查询处理策略包括所述灾害预警级别对应的目标虚拟表和对所述目标虚拟表的查询方案,所述查询方案包括所述目标虚拟表和目标数据源之间的映射关系,所述目标数据源为所述初始数据源中的一个;
通过所述数据虚拟化层,根据所述最佳查询处理策略获取所述目标虚拟表,根据所述目标虚拟表和所述查询方案,从多个初始数据源中找到所述目标数据源,搜索所述目标数据源中匹配所述灾害预警标签的所有灾害数据;
根据所述灾害数据和所述灾害预警判断规则,预测电网是否发生灾害,并返回预测结果。
2.根据权利要求1所述的基于多源异构数据融合模型的电网灾害预警方法,其特征在于,还包括:
通过所述应用层,根据所述电网灾害预警请求,获取所述优化处理策略,所述优化处理策略包括对所述查询方案进行优化一提高访问效率的优化方案,所述优化方案包括优化搜索方式;
所述搜索所述目标数据源中匹配所述灾害预警标签的所有灾害数据,包括:
通过所述优化搜索方式,搜索所述目标数据源中匹配所述灾害预警标签的所有灾害数据。
3.根据权利要求2所述的多源异构数据采集和融合方法,其特征在于,所述通过所述优化搜索方式,搜索所述目标数据源中匹配所述灾害预警标签的所有灾害数据,包括:
通过数据联邦查询或实时镜像的方式对所述搜索方式对应的查询语句进行优化并执行,从缓存或所述目标数据源端抽取数据,并进行合并和组装,以所述用户请求中包含的数据格式返回所述访问结果。
4.根据权利要求1所述的基于多源异构数据融合模型的电网灾害预警方法,其特征在于,所述源数据层包括类型适配器和统一接口适配器,所述类型适配器通过所述统一接口适配器与所述底层数据源连接,所述类型适配器包括关系型数据库适配器、NoSQL数据库适配器、Word格式文档适配器、Excel格式文档适配器、RESTAPI服适配器和网页爬虫适配器;
所述关系型数据库适配器用于通过所述统一接口适配器,对关系型数据库类型的底层数据源进行数据提取,获取所述源数据;
所述NoSQL数据库适配器用于通过所述统一接口适配器,对NoSQL数据库类型的底层数据源进行数据提取,获取所述源数据;
所述Word格式文档数据库适配器用于通过所述统一接口适配器,对Word格式文档数据库类型的底层数据源进行数据提取,获取所述源数据;
所述Excel格式文档数据库适配器用于通过所述统一接口适配器,对Excel格式文档数据库类型的底层数据源进行数据提取,获取所述源数据;
所述RESTAPI服数据库适配器用于通过所述统一接口适配器,对REST API服数据库类型的底层数据源进行数据提取,获取所述源数据;
所述网页爬虫数据库适配器用于通过所述统一接口适配器,对网页爬虫数据库类型的底层数据源进行数据提取,获取所述源数据。
5.根据权利要求1所述的基于多源异构数据融合模型的电网灾害预警方法,其特征在于,所述数据虚拟化层用于对所述底层数据源的源数据进行虚拟数据化,获取多个初始数据源,包括:
抽取标准形式的初始数据,获取元数据信息,对所述元数据信息进行封装,得到多个预设封装表,所述预设封装表包括以下信息:
存储所述底层数据源的服务器所在的网络位置信息;
登录所述底层数据源对应数据库的连接信息,所述连接信息包括数据库驱动程序、URL、用户名、密码;
所述底层数据源的名称、所有者和创建日期;
所述底层数据源的结构,包括源表的每个列名称及注释;
所述底层数据源中每一列的定义,包含数据类型以及是否主键、可否为空;
所述底层数据源中定义的、可用的主键和外键;
所述底层数据源中列数和每一个栏目的值的分布信息,所述分布信息被抽取以用于查询优化;
所述底层数据源中记录行数信息、占用的存储信息。
6.根据权利要求5所述的基于多源异构数据融合模型的电网灾害预警方法,其特征在于,所述抽取标准形式的初始数据,获取元数据信息,对所述元数据信息进行封装,得到多个预设封装表,包括:
确定每个预设封装表对应的映射,所述映射包括行选择、列选择、列连接、转换、列和表格名的更改;
通过每个预设封装表对应的映射,对每个预设封装表进行转换,得到每个预设虚拟表。
7.一种基于多源异构数据融合模型的电网灾害预警系统,其特征在于,包括多源异构数据融合模型,所述多源异构数据融合模型包括应用层、数据虚拟化层和源数据层;
所述源数据层用于根据底层数据源的类型,选取对应的适配器,并通过所述底层数据源对应的适配器,提取所述底层数据源的源数据;
所述数据虚拟化层用于对所述底层数据源的源数据进行虚拟数据化,获取多个初始数据源,对所述初始数据源进行封装得到预设封装表,对不同的所述预设封装表进行嵌合的大预设虚拟表,并通过映射表记录所述预设虚拟表和所述初始数据源之间的对应关系;
所述应用层用于面向用户,接收用户发送的电网灾害预警请求,并对所述灾害预警请求进行分析和处理,确定所述电网灾害预警请求的最佳查询处理策略;
所述电网灾害预警系统包括:
请求模块,用于通过所述应用层,接收所述用户发送的所述电网灾害预警请求,并根据所述电网灾害预警请求,获取所述最佳查询处理策略,所述电网灾害预警请求包括灾害预警标签、灾害预警级别和灾害预警判断规则,所述最佳查询处理策略包括所述灾害预警级别对应的目标虚拟表和对所述目标虚拟表的查询方案,所述查询方案包括所述目标虚拟表和目标数据源之间的映射关系,所述目标数据源为所述初始数据源中的一个;
查找模块,用于通过所述数据虚拟化层,根据所述最佳查询处理策略获取所述目标虚拟表,根据所述目标虚拟表和所述查询方案,从多个初始数据源中找到所述目标数据源,搜索所述目标数据源中匹配所述灾害预警标签的所有灾害数据;
预警模块,用于根据所述灾害数据和所述灾害预警判断规则,预测电网是否发生灾害,并返回预测结果。
8.根据权利要求7所述的基于多源异构数据融合模型的电网灾害预警系统,其特征在于,还包括优化模块,其中:
所述优化模块,用于通过所述应用层,根据所述电网灾害预警请求,获取所述优化处理策略,所述优化处理策略包括对所述查询方案进行优化一提高访问效率的优化方案,所述优化方案包括优化搜索方式;
所述查找模块用于通过所述优化搜索方式,搜索所述目标数据源中匹配所述灾害预警标签的所有灾害数据。
9.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现如权利要求1至6任一所述的一种基于多源异构数据融合模型的电网灾害预警方法。
10.一种非暂态计算机可读存储介质,其特征在于,其上存储有计算机程序,该计算机程序被处理器执行时实现如权利要求1至6任一所述的一种基于多源异构数据融合模型的电网灾害预警方法。
CN202310514989.7A 2023-05-09 2023-05-09 基于多源异构数据融合模型的电网灾害预警方法及系统 Pending CN116739336A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310514989.7A CN116739336A (zh) 2023-05-09 2023-05-09 基于多源异构数据融合模型的电网灾害预警方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310514989.7A CN116739336A (zh) 2023-05-09 2023-05-09 基于多源异构数据融合模型的电网灾害预警方法及系统

Publications (1)

Publication Number Publication Date
CN116739336A true CN116739336A (zh) 2023-09-12

Family

ID=87900172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310514989.7A Pending CN116739336A (zh) 2023-05-09 2023-05-09 基于多源异构数据融合模型的电网灾害预警方法及系统

Country Status (1)

Country Link
CN (1) CN116739336A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117407457A (zh) * 2023-12-14 2024-01-16 中国人民解放军国防科技大学 基于可配置规则的多源数据融合方法、系统及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117407457A (zh) * 2023-12-14 2024-01-16 中国人民解放军国防科技大学 基于可配置规则的多源数据融合方法、系统及设备
CN117407457B (zh) * 2023-12-14 2024-02-27 中国人民解放军国防科技大学 基于可配置规则的多源数据融合方法、系统及设备

Similar Documents

Publication Publication Date Title
CN107402991B (zh) 一种写入半结构化数据的方法和分布式NewSQL数据库系统
US11681702B2 (en) Conversion of model views into relational models
US11176132B2 (en) Processing database queries using format conversion
JP7273045B2 (ja) Sqlクエリプランを最適化するための次元コンテキスト伝搬技術
US20200034364A1 (en) Query plan generation and execution in a relational database management system with a temporal-relational database
US8666970B2 (en) Query plan enhancement
JP5819376B2 (ja) 列ベースのデータベースに対する列スマートな機構
US8108399B2 (en) Filtering of multi attribute data via on-demand indexing
CN110431545A (zh) 针对结构化数据和非结构化数据执行查询
CN103455540B (zh) 从数据仓库模型生成内存模型的系统和方法
US11055352B1 (en) Engine independent query plan optimization
US10909114B1 (en) Predicting partitions of a database table for processing a database query
CN104903894A (zh) 用于分布式数据库查询引擎的系统和方法
CN107077480A (zh) 基于查询需求自适应地从当前时间的行存储数据库中构建列存储数据库的方法和系统
CN116739336A (zh) 基于多源异构数据融合模型的电网灾害预警方法及系统
CN114064707A (zh) 一种用于数据虚拟化服务器的数据查询方法、装置及存储介质
US10459987B2 (en) Data virtualization for workflows
Arputhamary et al. A review on big data integration
CN116578614A (zh) 一种管道设备的数据管理方法、系统、介质及设备
CN112800056B (zh) 基于多粒度时空数据的多层索引构建方法
CN113806190A (zh) 一种预测数据库管理系统的性能的方法、装置及系统
CN116738356A (zh) 多源异构数据采集和融合方法、设备及存储介质
EP2990960A1 (en) Data retrieval via a telecommunication network
US11947537B1 (en) Automatic index management for a non-relational database
Kvet et al. Enhancing Analytical Select Statements Using Reference Aliases

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination