CN103605664A - 满足不同时间粒度的海量动态数据的快速查询方法 - Google Patents

满足不同时间粒度的海量动态数据的快速查询方法 Download PDF

Info

Publication number
CN103605664A
CN103605664A CN201310499884.5A CN201310499884A CN103605664A CN 103605664 A CN103605664 A CN 103605664A CN 201310499884 A CN201310499884 A CN 201310499884A CN 103605664 A CN103605664 A CN 103605664A
Authority
CN
China
Prior art keywords
data
processing module
time granularity
query
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310499884.5A
Other languages
English (en)
Other versions
CN103605664B (zh
Inventor
陈颖
黄少伟
汪国武
胡平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WUHU UNIVERSITY SCIENCE & TECHNOLOGY PARK DEVELOPMENT Co Ltd
Original Assignee
WUHU UNIVERSITY SCIENCE & TECHNOLOGY PARK DEVELOPMENT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WUHU UNIVERSITY SCIENCE & TECHNOLOGY PARK DEVELOPMENT Co Ltd filed Critical WUHU UNIVERSITY SCIENCE & TECHNOLOGY PARK DEVELOPMENT Co Ltd
Priority to CN201310499884.5A priority Critical patent/CN103605664B/zh
Publication of CN103605664A publication Critical patent/CN103605664A/zh
Application granted granted Critical
Publication of CN103605664B publication Critical patent/CN103605664B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种满足不同时间粒度的海量动态数据的快速查询方法，该方法是将一次数据库中数据分批取出，以最小时间粒度为单位，将不同批数据按查询指标汇总，并将汇总后的数据写入二次数据库，再对二次数据库执行查询，这样由于查询数据量小，可以大大缩短了查询时间，满足查询要求。

Description

满足不同时间粒度的海量动态数据的快速查询方法
技术领域
本发明涉及电力系统数据库中数据分析与统计方法领域，具体为一种满足不同时间粒度的海量动态数据的快速查询方法。
背景技术
电力企业产生的动态数据经解析后，为了能对该数据执行统计和查询，将数据持续不断地保存到数据库中。需要对数据库中的数据按日、月、季和年进行查询和统计。由于数据持续不断地增加，长达一年的数据实际为海量数据，直接查询时响应时间较长，难以满足要求。
发明内容
本发明的目的是提供一种满足不同时间粒度的海量动态数据的快速查询方法，以解决现有技术数据库中海量数据直接查询时响应时间长的问题。
为了达到上述目的，本发明所采用的技术方案为：
满足不同时间粒度的海量动态数据的快速查询方法，其特征在于：通过程序构建数据加工模块、二次数据库、查询统计模块，所述数据加工模块按照相同的时间间隔从一次数据库中取得多批数据，以查询的最小时间粒度对不同批数据按查询指标进行计算汇总，生成整理汇总数据后写入二次数据库；二次数据库存储经数据加工模块运算处理过的数据，并为查询统计模块提供数据；查询统计模块根据不同查询时间粒度和不同的查询指标，在二次数据库中执行查询统计。
所述的满足不同时间粒度的海量动态数据的快速查询方法，其特征在于：数据加工模块按照原有一次数据库添加数据的时间间隔，取得多批数据。
所述的满足不同时间粒度的海量动态数据的快速查询方法，其特征在于：每个时间间隔内，数据加工模块首先找出原有一次数据库中递增并经过索引的最大时间，接着根据最大时间取出最新一批数据。
所述的满足不同时间粒度的海量动态数据的快速查询方法，其特征在于： 所述的数据加工模块，对一次数据库中数据的加工处理涉及到多张表数据，对每张表数据的计算和写入二次数据库都使用一个独立的线程，不影响其他功能的运行。
所述的满足不同时间粒度的海量动态数据的快速查询方法，其特征在于： 所述的数据加工模块，在涉及多张表数据的计算和输出时利用标签的形式集成到一个界面实现。
所述的满足不同时间粒度的海量动态数据的快速查询方法，其特征在于： 所述的数据加工模块，如果停止或异常中止后，可在恢复运行后继续执行，不影响程序的查询结果。
所述的满足不同时间粒度的海量动态数据的快速查询方法，其特征在于： 所述的数据加工模块，根据写入一次数据库时产生的数据模式配置文件来读取一次数据库中的数据。
本发明是将一次数据分批取出，以最小时间粒度为单位，将不同批数据按查询指标汇总，并将汇总后的数据写入二次数据库，再对二次数据库执行查询，这样由于查询数据量小，可以大大缩短了查询时间，满足查询要求，可以使电力企业产生的海量动态数据按不同时间粒度进行查询和统计。
本发明与现有的技术相比，具有如下优点：
（1）减少查询数据量，加快查询速度。采用了二次数据库技术，将原来的海量数据，按查询最小时间粒度对查询指标进行汇总，汇总后数据写入二次数据库，对部分汇总的数据查询，减少了查询数据量，提高了查询速度。
（2）采用配置文件保存表结构，增加灵活性。在生成一次数据过程中，将一次数据库的结构保存到配置文件，为后续的的数据加工模块提供了一次数据库的模式，这样即使源数据的模式发生变化也不会影响数据加工模块的正确运行。
（3）数据加工模块停止或异常中止后，可恢复运行，增加稳定性。以时间为检查点，可以帮助数据加工模块在异常中止后能正确恢复运行。
附图说明
图1为本发明原理框图。
具体实施方式
如图1所示。满足不同时间粒度的海量动态数据的快速查询方法，通过程序构建数据加工模块、二次数据库、查询统计模块，数据加工模块按照相同的时间间隔从一次数据库中取得多批数据，以查询的最小时间粒度对不同批数据按查询指标进行计算汇总，生成整理汇总数据后写入二次数据库；二次数据库存储经数据加工模块运算处理过的数据，并为查询统计模块提供数据；查询统计模块根据不同查询时间粒度和不同的查询指标，在二次数据库中执行查询统计。
数据加工模块按照原有一次数据库添加数据的时间间隔，取得多批数据。
每个时间间隔内，数据加工模块首先找出原有一次数据库中递增并经过索引的最大时间，接着根据最大时间取出最新一批数据。
数据加工模块，对一次数据库中数据的加工处理涉及到多张表数据，对每张表数据的计算和写入二次数据库都使用一个独立的线程，不影响其他功能的运行。
数据加工模块，在涉及多张表数据的计算和输出时利用标签的形式集成到一个界面实现。
数据加工模块，如果停止或异常中止后，可在恢复运行后继续执行，不影响程序的查询结果。
数据加工模块，根据写入一次数据库时产生的数据模式配置文件来读取一次数据库中的数据。
实施例1，对一次数据按最小时间粒度汇总，并写入二次数据库。
启动数据加工模块，从配置文件中获取一次数据库的结构，选择要操作的表，点击“启动”按钮，则程序会按查询指标对每批数据进行汇总，当前的汇总结果通过表格显示出来。重复这一过程，直至使用“输出”功能将数据写入二次数据库后，再重新汇总。
使用“输出”后，将系统将以最小查询时间粒度将汇总后的数据存入二次数据库，同时清空汇总数据以重新开始计算汇总。重复执行这一过程。
实施例2，按不同时间粒度指定指标进行查询。
启动查询统计模块，显示查询界面，选择不同的查询时间粒度，选择查询的指标，选择查询的地区和发电机等，执行“查询”功能，系统将正确显示执行查询的结果，并将结果通过表格等形式展示。

Claims (7)

1.满足不同时间粒度的海量动态数据的快速查询方法，其特征在于：通过程序构建数据加工模块、二次数据库、查询统计模块，所述数据加工模块按照相同的时间间隔从一次数据库中取得多批数据，以查询的最小时间粒度对不同批数据按查询指标进行计算汇总，生成整理汇总数据后写入二次数据库；二次数据库存储经数据加工模块运算处理过的数据，并为查询统计模块提供数据；查询统计模块根据不同查询时间粒度和不同的查询指标，在二次数据库中执行查询统计。
2.根据权利要求1所述的满足不同时间粒度的海量动态数据的快速查询方法，其特征在于：数据加工模块按照原有一次数据库添加数据的时间间隔，取得多批数据。
3.根据权利要求1所述的满足不同时间粒度的海量动态数据的快速查询方法，其特征在于：每个时间间隔内，数据加工模块首先找出原有一次数据库中递增并经过索引的最大时间，接着根据最大时间取出最新一批数据。
4.根据权利要求1所述的满足不同时间粒度的海量动态数据的快速查询方法，其特征在于： 所述的数据加工模块，对一次数据库中数据的加工处理涉及到多张表数据，对每张表数据的计算和写入二次数据库都使用一个独立的线程，不影响其他功能的运行。
5.根据权利要求1所述的满足不同时间粒度的海量动态数据的快速查询方法，其特征在于： 所述的数据加工模块，在涉及多张表数据的计算和输出时利用标签的形式集成到一个界面实现。
6.根据权利要求1所述的满足不同时间粒度的海量动态数据的快速查询方法，其特征在于： 所述的数据加工模块，如果停止或异常中止后，可在恢复运行后继续执行，不影响程序的查询结果。
7.根据权利要求1所述的满足不同时间粒度的海量动态数据的快速查询方法，其特征在于： 所述的数据加工模块，根据写入一次数据库时产生的数据模式配置文件来读取一次数据库中的数据。
CN201310499884.5A 2013-10-22 2013-10-22 满足不同时间粒度的海量动态数据的快速查询方法 Expired - Fee Related CN103605664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310499884.5A CN103605664B (zh) 2013-10-22 2013-10-22 满足不同时间粒度的海量动态数据的快速查询方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310499884.5A CN103605664B (zh) 2013-10-22 2013-10-22 满足不同时间粒度的海量动态数据的快速查询方法

Publications (2)

Publication Number Publication Date
CN103605664A true CN103605664A (zh) 2014-02-26
CN103605664B CN103605664B (zh) 2017-01-18

Family

ID=50123889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310499884.5A Expired - Fee Related CN103605664B (zh) 2013-10-22 2013-10-22 满足不同时间粒度的海量动态数据的快速查询方法

Country Status (1)

Country Link
CN (1) CN103605664B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105468728A (zh) * 2015-11-20 2016-04-06 北京先进数通信息技术股份公司 一种获取截面数据的方法和系统
CN105574060A (zh) * 2015-01-13 2016-05-11 北京中体骏彩信息技术有限公司 竞彩统计数据的提取方法
CN105653652A (zh) * 2015-12-28 2016-06-08 上海瀚银信息技术有限公司 一种数据同步方法及系统
CN106919566A (zh) * 2015-12-24 2017-07-04 航天信息股份有限公司 一种基于海量数据的查询统计方法及系统
CN108268588A (zh) * 2017-11-29 2018-07-10 广东神马搜索科技有限公司 广告数据汇总查询方法及装置
CN108460094A (zh) * 2018-01-30 2018-08-28 上海天旦网络科技发展有限公司 存储统计数据的方法和系统
CN108829557A (zh) * 2018-05-10 2018-11-16 北京搜狐新媒体信息技术有限公司 一种基于OpenTSDB数据库的服务器性能监控数据分析方法及系统
CN108959442A (zh) * 2018-06-13 2018-12-07 福建天晴数码有限公司 基于预定义计算规则的流式实时计算方法、存储介质
CN109344037A (zh) * 2018-10-10 2019-02-15 四川新网银行股份有限公司 一种基于实时统计与告警公式的业务监控方法
CN111752786A (zh) * 2019-03-29 2020-10-09 上海哔哩哔哩科技有限公司 压力测试过程中的数据存储方法、汇总方法、设备及介质
CN112199393A (zh) * 2020-09-18 2021-01-08 深圳希施玛数据科技有限公司 基于跨表查询的数据表生成方法、装置、设备及存储介质
CN112395327A (zh) * 2019-08-16 2021-02-23 中移(苏州)软件技术有限公司 一种数据处理方法、装置及计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510203A (zh) * 2009-02-25 2009-08-19 南京联创科技股份有限公司 基于拆分机制并行处理实现大数据量高性能处理的方法
CN101582064A (zh) * 2008-05-15 2009-11-18 阿里巴巴集团控股有限公司 一种大数据量数据处理方法及系统
CN102799651A (zh) * 2012-06-28 2012-11-28 用友软件股份有限公司 查询处理装置和查询处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582064A (zh) * 2008-05-15 2009-11-18 阿里巴巴集团控股有限公司 一种大数据量数据处理方法及系统
CN101510203A (zh) * 2009-02-25 2009-08-19 南京联创科技股份有限公司 基于拆分机制并行处理实现大数据量高性能处理的方法
CN102799651A (zh) * 2012-06-28 2012-11-28 用友软件股份有限公司 查询处理装置和查询处理方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574060A (zh) * 2015-01-13 2016-05-11 北京中体骏彩信息技术有限公司 竞彩统计数据的提取方法
CN105468728A (zh) * 2015-11-20 2016-04-06 北京先进数通信息技术股份公司 一种获取截面数据的方法和系统
CN105468728B (zh) * 2015-11-20 2019-03-19 北京先进数通信息技术股份公司 一种获取截面数据的方法和系统
CN106919566A (zh) * 2015-12-24 2017-07-04 航天信息股份有限公司 一种基于海量数据的查询统计方法及系统
CN105653652B (zh) * 2015-12-28 2019-07-05 上海瀚银信息技术有限公司 一种数据同步方法及系统
CN105653652A (zh) * 2015-12-28 2016-06-08 上海瀚银信息技术有限公司 一种数据同步方法及系统
CN108268588A (zh) * 2017-11-29 2018-07-10 广东神马搜索科技有限公司 广告数据汇总查询方法及装置
CN108460094A (zh) * 2018-01-30 2018-08-28 上海天旦网络科技发展有限公司 存储统计数据的方法和系统
CN108829557A (zh) * 2018-05-10 2018-11-16 北京搜狐新媒体信息技术有限公司 一种基于OpenTSDB数据库的服务器性能监控数据分析方法及系统
CN108959442A (zh) * 2018-06-13 2018-12-07 福建天晴数码有限公司 基于预定义计算规则的流式实时计算方法、存储介质
CN109344037A (zh) * 2018-10-10 2019-02-15 四川新网银行股份有限公司 一种基于实时统计与告警公式的业务监控方法
CN109344037B (zh) * 2018-10-10 2022-02-11 四川新网银行股份有限公司 一种基于实时统计与告警公式的业务监控方法
CN111752786A (zh) * 2019-03-29 2020-10-09 上海哔哩哔哩科技有限公司 压力测试过程中的数据存储方法、汇总方法、设备及介质
CN112395327A (zh) * 2019-08-16 2021-02-23 中移(苏州)软件技术有限公司 一种数据处理方法、装置及计算机存储介质
CN112199393A (zh) * 2020-09-18 2021-01-08 深圳希施玛数据科技有限公司 基于跨表查询的数据表生成方法、装置、设备及存储介质
CN112199393B (zh) * 2020-09-18 2024-05-10 深圳希施玛数据科技有限公司 基于跨表查询的数据表生成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN103605664B (zh) 2017-01-18

Similar Documents

Publication Publication Date Title
CN103605664A (zh) 满足不同时间粒度的海量动态数据的快速查询方法
CN103312544B (zh) 一种控制终端上报日志文件的方法、设备和系统
CN105426467A (zh) 一种用于Presto的SQL查询方法及系统
CN104090889A (zh) 数据处理方法及系统
CN104331421A (zh) 一种大数据的高效处理方法及系统
CN106156047B (zh) 一种快照信息处理方法及装置
CN104361022A (zh) 一种基于采集数据统计以及前台展现的方法
CN105405070A (zh) 一种分布式内存电网系统构建方法
CN102857949B (zh) 一种规划数据一致性保证的方法和装置
CN111078781A (zh) 一种多源流式大数据融合汇聚处理框架模型实现方法
CN104317899A (zh) 一种大数据分析与处理系统及访问方法
CN111343269B (zh) 一种数据下载方法、装置、计算机设备和存储介质
CN106599190A (zh) 基于云计算的动态Skyline查询方法
CN107798111B (zh) 一种分布式环境中大批量导出数据的方法
CN110795431B (zh) 环境监测数据处理方法、装置、设备及存储介质
CN110764747A (zh) 基于Airflow的数据计算调度方法
CN104239470A (zh) 一种面向分布式环境的空间数据复合处理系统和方法
CN110647682A (zh) 一种交易数据的关联推荐系统
Dai et al. Research and implementation of big data preprocessing system based on Hadoop
CN105302827A (zh) 一种事件的搜索方法和设备
CN102201922A (zh) 一种数据计费方法和相关装置
CN113722564A (zh) 基于空间图卷积能源物资供应链的可视化方法及装置
CN104572778A (zh) 一种业务数据库查询统计方法
CN106649097B (zh) 一种基于对象分离管理的移动自动化测试方法
CN110570646B (zh) 一种基于历史数据的四遥信号验收方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170118

Termination date: 20171022