CN112905639A - 一种基于规则的新能源数据分发方法 - Google Patents

一种基于规则的新能源数据分发方法 Download PDF

Info

Publication number
CN112905639A
CN112905639A CN202011519385.4A CN202011519385A CN112905639A CN 112905639 A CN112905639 A CN 112905639A CN 202011519385 A CN202011519385 A CN 202011519385A CN 112905639 A CN112905639 A CN 112905639A
Authority
CN
China
Prior art keywords
query
data
data distribution
rule
new energy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011519385.4A
Other languages
English (en)
Inventor
吕清泉
王定美
周强
马彦宏
张健美
高鹏飞
张睿骁
张珍珍
张彦琪
张孝
尹捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renmin University of China
State Grid Gansu Electric Power Co Ltd
Electric Power Research Institute of State Grid Gansu Electric Power Co Ltd
Original Assignee
Renmin University of China
State Grid Gansu Electric Power Co Ltd
Electric Power Research Institute of State Grid Gansu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renmin University of China, State Grid Gansu Electric Power Co Ltd, Electric Power Research Institute of State Grid Gansu Electric Power Co Ltd filed Critical Renmin University of China
Priority to CN202011519385.4A priority Critical patent/CN112905639A/zh
Publication of CN112905639A publication Critical patent/CN112905639A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24564Applying rules; Deductive queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3604Software analysis for verifying properties of programs
    • G06F11/3612Software analysis for verifying properties of programs by runtime analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/20Software design

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于规则的新能源数据分发方法,构建了初始分发规则,并提出了一个查询验证算法,用于验证数据分发规则和数据分发算法的合理性与有效性,给出了通过历史查询记录分析对数据分发规则进行优化的策略,本发明的核心部分是基于规则的新能源数据分发方法的提出及其优化方法。

Description

一种基于规则的新能源数据分发方法
技术领域
本发明主要涉及新能源数据分发方法的技术领域,具体为一种基于规则的新能源数据分发方法。
背景技术
新能源作为基础能源转型发展的重要力量,未来又持续快速发展,并逐步成为主力电源。新能源发电与以往的煤炭发电不同,它包括风、光、水电等一系列可持续发电能源,新能源数据也包括很多来源,比如新能源发电运行数据、风机/逆变器数据、风速、辐照度等相关数据,所以这就造成了新能源数据呈现出典型的“4V”特征,即数据量巨大(volume)、数据种类多(variety)、价值密度低(value) 和处理速度快(velocity),并且伴随现代电力企业技术和装备的提升,包含大量语音、视频、图像文本等非结构化或半结构化类型的数据,如电网设备视频监控数据、移动设备GIS数据、智能电表数据等开始大规模持续涌入,单以风电数据为例,既有风机监控数据这样的时序数据,也有传统的关系型数据,更有像视频监控、记录文档、风机节点等非结构化数据,日益庞大并复杂化的数据集合使得单一模型的数据库已经不足以满足对这类新能源复杂类型数据的统一处理需求,而是需要联合多种不同类型的数据库来协同存储并管理这些多模型新能源数据。从而通过多数据库引擎的统一管理技术,来实现对数据管理效率的改善。而如果没有一个好的数据分发技术,那么就会导致新能源数据冗余存储浪费资源或者致使查询效率低下影响电网运行,所以如何将这些复杂多模型新能源数据准确的分发到多数据库引擎中,让数据的存储更加合理、查询更有效率,便成为现今亟待解决的问题。
发明内容
本发明主要提供了一种基于规则的新能源数据分发方法,用以解决上述背景技术中提出的技术问题。
本发明解决上述技术问题采用的技术方案为:
一种基于规则的新能源数据分发方法,包括新能源数据分发方法的提出及其优化方法,所述方法包括如下步骤:
步骤一:数据分发初始化规则构建,规则的初始化根据常识式和经验式两种形式来制定,常识性定义规则是指根据新能源数据库元数据以及分析各种处理引擎的优势,来初步定义数据分发规则;经验式定义规则是指根据新能源用户的查询经验、历史查询记录分析以及各类新能源数据库查询语句的特点,来初步定义数据分发规则;
步骤二:设计数据分发算法,根据分析对新能源数据库查询的规律性,推断出数据分发存储位置的规律性,进而判断出不同新能源数据的合适位置。并且记录每次查询的规律特点,进行保存。根据保存的记录,找出每种新能源数据类型以及存在关联特性的数据存储的特点,完成数据分发;
步骤三:设计查询验证算法,验证数据分发规则和数据分发算法的合理性与有效性;
步骤四:对分发规则的优化和算法的调优,循环实验或记录实际查询,对每种类别的查询结果综合分析,计算出此次数据分发准确率,并和之前已经入库的该类型的历史查询记录和查询结果分析表比对,若结果在误差允许的范围内,则证明此次执行的数据分发任务是合格的。
进一步的,一种基于规则的新能源数据分发方法,所述步骤一中常识性定义规则包括如下规则:
1)数据类型判断规则:以Y库为中心,依次查询每个字段的扩展状况,若子字段为0,则偏向X结构化存储;含有1-3个子字段,偏向Json类型Y存储;若有3个以上子字段扩展则选择Z中存储;
2)数据量判断规则:以X库为中心,计算总数据量DC、关系表量TC、字段存储大小FS、图关系GR、字段F、期望量C=10w。当DC 低于C时,若关系表<=3表则存储在X中;若判断关系表中某字段值大文本情况为True时,则将该字段F迁移至Y中;若关系表>3表,且某些字段存储在较强的关联关系,则选择存储在Z中;
3)场景判断规则:以全部库为中心,根据配电网场景来源进行判断,若属于结构化场景S则存储在X中;若属于文档型、易扩展类型场景W则存储在Y中;若属于图结构类型展示场景G则存储在Z中;
4)数据库特性判断规则:以X库为中心,判断数据事务性强弱T,若为True时,则选择在X中存储;若为False且偏分布式存储则选择在Y中存储;若数据结构呈现网状结构类N则选择Z中存储;
进一步的,一种基于规则的新能源数据分发方法,所述步骤1中经验性定义规则包括如下规则:
1)属性判段规则:以X库为中心,根据历史查询记录表和结果分析表综合性判断:若存在很少参与查询的字段LF,则该字段仍保留在X中存储;若平均每次查询的字段AF大于某期望次数W(可初始自定义一个值)时,则该字段F迁移至Z中存储;Y暂不存储,记为0;
2)索引判断规则:以X库为中心,若是单表索引类型SI且关联性强度不大则选择X中存储;若是频繁的使用组合索引GI且可能大于一表则选择Y中存储;若是多表字段之间存在很强的关联关系且通过多表索引MI建立关联则选择Z中存储;
3)连接判断规则:以X库为中心,根据历史查询记录表综合性判断,若平均每次查询总连接数AC不低于某期望次数L(初始自定义值)时则选择Z,否则推荐存储于X中;若多表之间频繁的参与嵌套连接查询QT为True时,则选择Y;若是复杂连接查询CQ,则根据参与字段PF和无关字段NF分别对应存储于X或Z数据库中;
4)综合型判断规则:以全部库为中心,根据历史查询记录表解析查询中参与聚集、分组等不同查询类型占该查询模板库中总查询的比例R,再根据各引擎执行该查询所花费时间的比较,综合判断该类查询的数据适合存到X、Y、Z哪个数据库中。此外,还可以通过解析查询结果Rq是属于面向报表rForms、面向对象Obj、面向网络Net 的哪一种结构形式,综合判断该数据应存储于X、Y、Z哪个数据库中。
与现有技术相比,本发明的有益效果为:
(1)本发明设计了一种基于规则的新能源数据分发方法,该方法基于规则将接收的复杂类型的新能源数据自适应地分发协同存储在新能源多模型数据平台中的关系和非关系型数据库,让能够更高效维护和访问这些新能源数据的数据库来加以存储和管理,从而改善数据管理的效率。为复杂类型数据管理提供了灵活、高效的解决方案,对于提升我院在大数据管理领域的影响力具有积极作用。
(2)本方法具有通用性和普适性,用户可以根据实际情况自定义规则,让规则库更加完善,使得数据分发更加准确。
以下将结合附图与具体的实施例对本发明进行详细的解释说明。
附图说明
图1为本发明的新能源数据分发方法框架结构示意图;
图2为本发明的数据分发算法流程结构示意图;
图3为本发明的查询验证算法流程结构示意图。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更加全面的描述,附图中给出了本发明的若干实施例,但是本发明可以通过不同的形式来实现,并不限于文本所描述的实施例,相反的,提供这些实施例是为了使对本发明公开的内容更加透彻全面。
需要说明的是,当元件被称为“固设于”另一个元件,它可以直接在另一个元件上也可以存在居中的元件,当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件,本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常连接的含义相同,本文中在本发明的说明书中所使用的术语知识为了描述具体的实施例的目的,不是旨在于限制本发明,本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请着重参照附图1-3,一种基于规则的新能源数据分发方法,包括新能源数据分发方法的提出及其优化方法,所述方法包括如下步骤:
步骤一:数据分发初始化规则构建,规则的初始化根据常识式和经验式两种形式来制定,常识性定义规则是指根据新能源数据库元数据以及分析各种处理引擎的优势,来初步定义数据分发规则;经验式定义规则是指根据新能源用户的查询经验、历史查询记录分析以及各类新能源数据库查询语句的特点,来初步定义数据分发规则;
步骤二:设计数据分发算法,根据分析对新能源数据库查询的规律性,推断出数据分发存储位置的规律性,进而判断出不同新能源数据的合适位置。并且记录每次查询的规律特点,进行保存。根据保存的记录,找出每种新能源数据类型以及存在关联特性的数据存储的特点,完成数据分发;
步骤三:设计查询验证算法,验证数据分发规则和数据分发算法的合理性与有效性;
步骤四:对分发规则的优化和算法的调优,循环实验或记录实际查询,对每种类别的查询结果综合分析,计算出此次数据分发准确率,并和之前已经入库的该类型的历史查询记录和查询结果分析表比对,若结果在误差允许的范围内,则证明此次执行的数据分发任务是合格的。
请着重参照附图1-3,一种基于规则的新能源数据分发方法,所述步骤一中常识性定义规则包括如下规则:
1)数据类型判断规则:以Y库为中心,依次查询每个字段的扩展状况,若子字段为0,则偏向X结构化存储;含有1-3个子字段,偏向Json类型Y存储;若有3个以上子字段扩展则选择Z中存储;
2)数据量判断规则:以X库为中心,计算总数据量DC、关系表量TC、字段存储大小FS、图关系GR、字段F、期望量C=10w,当DC 低于C时,若关系表<=3表则存储在X中;若判断关系表中某字段值大文本情况为True时,则将该字段F迁移至Y中;若关系表>3表,且某些字段存储在较强的关联关系,则选择存储在Z中;
3)场景判断规则:以全部库为中心,根据配电网场景来源进行判断,若属于结构化场景S则存储在X中;若属于文档型、易扩展类型场景W则存储在Y中;若属于图结构类型展示场景G则存储在Z中;
4)数据库特性判断规则:以X库为中心,判断数据事务性强弱 T,若为True时,则选择在X中存储;若为False且偏分布式存储则选择在Y中存储;若数据结构呈现网状结构类N则选择Z中存储;所述步骤1中经验性定义规则包括如下规则:
1)属性判段规则:以X库为中心,根据历史查询记录表和结果分析表综合性判断:若存在很少参与查询的字段LF,则该字段仍保留在X中存储;若平均每次查询的字段AF大于某期望次数W(可初始自定义一个值)时,则该字段F迁移至Z中存储;Y暂不存储,记为0;
2)索引判断规则:以X库为中心,若是单表索引类型SI且关联性强度不大则选择X中存储;若是频繁的使用组合索引GI且可能大于一表则选择Y中存储;若是多表字段之间存在很强的关联关系且通过多表索引MI建立关联则选择Z中存储;
3)连接判断规则:以X库为中心,根据历史查询记录表综合性判断,若平均每次查询总连接数AC不低于某期望次数L(初始自定义值)时则选择Z,否则推荐存储于X中;若多表之间频繁的参与嵌套连接查询QT为True时,则选择Y;若是复杂连接查询CQ,则根据参与字段PF和无关字段NF分别对应存储于X或Z数据库中;
4)综合型判断规则:以全部库为中心,根据历史查询记录表解析查询中参与聚集、分组等不同查询类型占该查询模板库中总查询的比例 R,再根据各引擎执行该查询所花费时间的比较,综合判断该类查询的数据适合存到X、Y、Z哪个数据库中。此外,还可以通过解析查询结果Rq是属于面向报表rForms、面向对象Obj、面向网络Net的哪一种结构形式,综合判断该数据应存储于X、Y、Z哪个数据库中。
本发明的具体操作方式如下:
本发明首先,根据查询验证引擎的校验判断,若校验成功,则将返回结果集;然后,结合结果集和数据分发规则来完成数据分发,实现数据分发引擎(DD-Engine),即三引擎数据库之间的数据流动 (D-Flow)。在经过长期的规则训练——这一步可以做成手动触发,具体的分发验证可根据数据的查询时间来验证分发规则是否属于目前最优规则,从而实现最优化分发;数据分发算法的目标是要根据分析查询的规律性,推断出数据分发存储位置的规律性,进而判断出不同数据的合适位置。比如,哪部分数据适合存储在新能源关系数据库中;哪部分数据适合存储在新能源文档数据库中;哪部分数据适合存储在新能源图数据库中;并且记录每次查询的规律特点,进行保存。根据保存的记录,找出每种数据类型以及存在关联特性的数据存储的特点,完成数据分发;该方法的步骤是:
1)首先,输入语句进行预处理分块解析(对查询语句分块解析更有利于了解查询语句查询特点)。
2)然后根据预处理结果sections和查询类型type匹配一类查询 querys,根据querys获取不同方式的查询引擎的分析结果analysisResults进行保存(2~3行)。
3)然后依次遍历比较,合理则添加至分发结果distirbuteResults 中,否则记录失败的信息(5~12行)。
4)最终根据distirbuteResults和分发规则rule执行数据分发,输出流动字段fileds和存储位置locations(13~14行);
查询验证算法的功能主要是为了在完成数据分发之后,用以验证数据在分发之前存储与分发之后存储的查询效率的高低,再根据每次计算的数据分发的准确率验证数据分发算法的正确性,并且保存查询的对比结果,用以做综合对比分析;
该算法的步骤是:
1)首先,根据输入查询语句sqls和查询类型type获取查询验证条件。
2)其次构建查询语句模板库QLTB连接tcon,再调用查询转换工具获取定量的查询语句querySqls,以集合的方式接收(2~3行)。
3)之后,建立数据源连接con,然后逐语句执行查询,以键值方式存储(4~6行)。再与执行记录库建立连接rcon,保存R1到查询记录表中——主要指对每条语句的查询效率、查询类型、参与的数据库、表等等信息记录保存(7~9行)。
4)然后等以上查询记录保存完成之后,再调用结果分析处理程序resultAnalysisHandle,记录以上单引擎与协同存储方式综合平均查询结果并对查询记录结果进行综合整理,主要是指不同查询类型、不同存储方式下的平均效率、以及增加记录实验次数标签等,保存R2 在结果分析表中(10~11行)。
上述结合附图对本发明进行了示例性描述,显然本发明具体实现并不受上述方式的限制,只要采用了本发明的方法构思和技术方案进行的这种非实质改进,或未经改进将本发明的构思和技术方案直接应用于其他场合的,均在本发明的保护范围之内。

Claims (3)

1.一种基于规则的新能源数据分发方法,包括新能源数据分发方法的提出及其优化方法,其特征在于,所述方法包括如下步骤:
步骤一:数据分发初始化规则构建,规则的初始化根据常识式和经验式两种形式来制定,常识性定义规则是指根据新能源数据库元数据以及分析各种处理引擎的优势,来初步定义数据分发规则,经验式定义规则是指根据新能源用户的查询经验、历史查询记录分析以及各类新能源数据库查询语句的特点,来初步定义数据分发规则;
步骤二:设计数据分发算法,根据分析对新能源数据库查询的规律性,推断出数据分发存储位置的规律性,进而判断出不同新能源数据的合适位置,并且记录每次查询的规律特点,进行保存,根据保存的记录,找出每种新能源数据类型以及存在关联特性的数据存储的特点,完成数据分发;
步骤三:设计查询验证算法,验证数据分发规则和数据分发算法的合理性与有效性;
步骤四:对分发规则的优化和算法的调优,循环实验或记录实际查询,对每种类别的查询结果综合分析,计算出此次数据分发准确率,并和之前已经入库的该类型的历史查询记录和查询结果分析表比对,若结果在误差允许的范围内,则证明此次执行的数据分发任务是合格的。
2.根据权利要求1所述的一种基于规则的新能源数据分发方法,其特征在于,所述步骤一中常识性定义规则包括如下规则:
1)数据类型判断规则:以Y库为中心,依次查询每个字段的扩展状况,若子字段为0,则偏向X结构化存储;含有1-3个子字段,偏向Json类型Y存储,若有3个以上子字段扩展则选择Z中存储;
2)数据量判断规则:以X库为中心,计算总数据量DC、关系表量TC、字段存储大小FS、图关系GR、字段F、期望量C=10w,当DC低于C时,若关系表<=3表则存储在X中,若判断关系表中某字段值大文本情况为True时,则将该字段F迁移至Y中;若关系表>3表,且某些字段存储在较强的关联关系,则选择存储在Z中;
3)场景判断规则:以全部库为中心,根据配电网场景来源进行判断,若属于结构化场景S则存储在X中,若属于文档型、易扩展类型场景W则存储在Y中;若属于图结构类型展示场景G则存储在Z中,语法构成:S:X;W:Y;G:Z.;
4)数据库特性判断规则:以X库为中心,判断数据事务性强弱T,若为True时,则选择在X中存储;若为False且偏分布式存储则选择在Y中存储,若数据结构呈现网状结构类N则选择Z中存储。
3.根据权利要求1所述的一种基于规则的新能源数据分发方法,其特征在于,所述步骤1中经验性定义规则包括如下规则:
1)规则:以X库为中心,根据历史查询记录表和结果分析表综合性判断:若存在很少参与查询的字段LF,则该字段仍保留在X中存储;若平均每次查询的字段AF大于某期望次数W(可初始自定义一个值)时,则该字段F迁移至Z中存储,Y暂不存储,记为0;
2)索引判断规则:以X库为中心,若是单表索引类型SI且关联性强度不大则选择X中存储,若是频繁的使用组合索引GI且可能大于一表则选择Y中存储;若是多表字段之间存在很强的关联关系且通过多表索引MI建立关联则选择Z中存储;
3)连接判断规则:以X库为中心,根据历史查询记录表综合性判断,若平均每次查询总连接数AC不低于某期望次数L(初始自定义值)时则选择Z,否则推荐存储于X中,若多表之间频繁的参与嵌套连接查询QT为True时,则选择Y,若是复杂连接查询CQ,则根据参与字段PF和无关字段NF分别对应存储于X或Z数据库中;
4)综合型判断规则:以全部库为中心,根据历史查询记录表解析查询中参与聚集、分组等不同查询类型占该查询模板库中总查询的比例R,再根据各引擎执行该查询所花费时间的比较,综合判断该类查询的数据适合存到X、Y、Z哪个数据库中,此外,还可以通过解析查询结果Rq是属于面向报表rForms、面向对象Obj、面向网络Net的哪一种结构形式,综合判断该数据应存储于X、Y、Z哪个数据库中。
CN202011519385.4A 2020-12-21 2020-12-21 一种基于规则的新能源数据分发方法 Pending CN112905639A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011519385.4A CN112905639A (zh) 2020-12-21 2020-12-21 一种基于规则的新能源数据分发方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011519385.4A CN112905639A (zh) 2020-12-21 2020-12-21 一种基于规则的新能源数据分发方法

Publications (1)

Publication Number Publication Date
CN112905639A true CN112905639A (zh) 2021-06-04

Family

ID=76111662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011519385.4A Pending CN112905639A (zh) 2020-12-21 2020-12-21 一种基于规则的新能源数据分发方法

Country Status (1)

Country Link
CN (1) CN112905639A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113961637A (zh) * 2021-12-23 2022-01-21 北京力控元通科技有限公司 一种基于数据库的数据融合方法、系统和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970902A (zh) * 2014-05-27 2014-08-06 重庆大学 一种大量数据情况下的可靠即时检索方法及系统
CN106339435A (zh) * 2016-08-19 2017-01-18 中国银行股份有限公司 一种数据分发方法、装置及系统
CN106484699A (zh) * 2015-08-25 2017-03-08 北京国双科技有限公司 数据库查询字段的生成方法及装置
CN109005224A (zh) * 2018-07-26 2018-12-14 中国建设银行股份有限公司 数据分发方法及装置
CN110704371A (zh) * 2019-09-24 2020-01-17 江苏医健大数据保护与开发有限公司 大规模数据管理与数据分发系统及方法
CN111831221A (zh) * 2020-05-26 2020-10-27 武汉安象信息科技有限公司 一种基于云存储的分布式存储方法及系统
CN111966495A (zh) * 2020-08-21 2020-11-20 内蒙古工业大学 数据处理方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970902A (zh) * 2014-05-27 2014-08-06 重庆大学 一种大量数据情况下的可靠即时检索方法及系统
CN106484699A (zh) * 2015-08-25 2017-03-08 北京国双科技有限公司 数据库查询字段的生成方法及装置
CN106339435A (zh) * 2016-08-19 2017-01-18 中国银行股份有限公司 一种数据分发方法、装置及系统
CN109005224A (zh) * 2018-07-26 2018-12-14 中国建设银行股份有限公司 数据分发方法及装置
CN110704371A (zh) * 2019-09-24 2020-01-17 江苏医健大数据保护与开发有限公司 大规模数据管理与数据分发系统及方法
CN111831221A (zh) * 2020-05-26 2020-10-27 武汉安象信息科技有限公司 一种基于云存储的分布式存储方法及系统
CN111966495A (zh) * 2020-08-21 2020-11-20 内蒙古工业大学 数据处理方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113961637A (zh) * 2021-12-23 2022-01-21 北京力控元通科技有限公司 一种基于数据库的数据融合方法、系统和电子设备
CN113961637B (zh) * 2021-12-23 2022-03-18 北京力控元通科技有限公司 一种基于数据库的数据融合方法、系统和电子设备

Similar Documents

Publication Publication Date Title
CN109669934B (zh) 一种切合电力客服业务的数据仓库系统及其构建方法
US6947927B2 (en) Method and apparatus for exploiting statistics on query expressions for optimization
Nambiar et al. The Making of TPC-DS.
Poess et al. Why You Should Run TPC-DS: A Workload Analysis.
US9244974B2 (en) Optimization of database queries including grouped aggregation functions
CN102270232B (zh) 一种存储优化的语义数据查询系统
Chai et al. Crowdsourcing database systems: Overview and challenges
CN103177094B (zh) 一种物联网数据清洗方法
US20090077054A1 (en) Cardinality Statistic for Optimizing Database Queries with Aggregation Functions
CN112015741A (zh) 一种海量数据的分库分表存储方法与装置
CN104834754A (zh) 一种基于连接代价的sparql语义数据查询优化方法
Zhou et al. Autoindex: An incremental index management system for dynamic workloads
CN112905639A (zh) 一种基于规则的新能源数据分发方法
Chen et al. Applying segmented right-deep trees to pipelining multiple hash joins
Scriney et al. Efficient cube construction for smart city data
Liu et al. EntityManager: Managing dirty data based on entity resolution
Ordonez et al. Recursive query evaluation in a column DBMS to analyze large graphs
Lu et al. Assessment of urban water supply system based on query optimization strategy
Atay et al. Modeling and querying multidimensional bitemporal data warehouses
Muntés-Mulero et al. Cgo: a sound genetic optimizer for cyclic query graphs
CN115803731A (zh) 用于关系图数据库的图视图选择的数据库管理系统和方法
Bajaj A survey on query performance optimization by index recommendation
CN109992594A (zh) 基于预计算优化的分布式执行优化方法及系统
Chernishev et al. A study of PosDB Performance in a Distributed Environment
Xu et al. What-if query processing policy for big data in OLAP system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination