CN108052567A - 一种增量拉取时间序列数据并无遗漏地缓存展示的方法 - Google Patents

一种增量拉取时间序列数据并无遗漏地缓存展示的方法 Download PDF

Info

Publication number
CN108052567A
CN108052567A CN201711277977.8A CN201711277977A CN108052567A CN 108052567 A CN108052567 A CN 108052567A CN 201711277977 A CN201711277977 A CN 201711277977A CN 108052567 A CN108052567 A CN 108052567A
Authority
CN
China
Prior art keywords
data
client
server
time
time series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711277977.8A
Other languages
English (en)
Inventor
梁羽平
杨中良
冯磊
李常聪
吴晓峰
王煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ji Qi (chengdu) Science And Technology Co Ltd
Original Assignee
Ji Qi (chengdu) Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ji Qi (chengdu) Science And Technology Co Ltd filed Critical Ji Qi (chengdu) Science And Technology Co Ltd
Priority to CN201711277977.8A priority Critical patent/CN108052567A/zh
Publication of CN108052567A publication Critical patent/CN108052567A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种增量拉取时间序列数据并无遗漏地缓存展示的方法。本发明中，设备产生的数据保证不会由于网络环境而丢失；服务器端可以根据客户端的请求信息，查询出最新数据和补传数据，保证数据完整；客户端可以获取到已有缓存数据发生时间区间内的补传数据，即使补传数据时间序列与已入库数据时间序列乱序，也可以按时间轴无遗漏的展示数据；在客户端逐页拉取增量数据有效控制请求量的同时，也能保证数据按时间序列连续展示、缓存。

Description

一种增量拉取时间序列数据并无遗漏地缓存展示的方法
技术领域
本发明涉及数据展示技术领域，具体为一种增量拉取时间序列数据并无遗漏地缓存展示的方法。
背景技术
因为数据设备存在网络不稳定的情况，产生数据不能及时上传到服务器，且不能保证先产生的事件先上传，并且可能存在大量的数据补传情况,而客户端因为在磁盘中会缓存已拉取到的数据信息，若出现数据补传的情况，那么客户端便会出现数据时间序列不连续，更早的数据插入到更晚的数据之间和之上等情况。
发明内容
本发明的目的在于提供一种增量拉取时间序列数据并无遗漏地缓存展示的方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种增量拉取时间序列数据并无遗漏地缓存展示的方法,包括以下步骤：
A、数据设备产生数据：数据设备产生与时间相关联的数据，同时暂时将数据保存于设备中，并向服务器并发上传事件信息。但是设备所处网络状态可能存在不稳定的情况，并发上传数据中便可能存在部分数据上传失败，设备便将这部分数据移入一个待补传池中，待后续上传服务器，如此重复，直到全部数据上传成功为止；因此便会出现先产生的事件后上传的情况；
B、数据服务器保存数据：数据服务器收到数据设备上传的数据信息，保存数据信息保存至数据库，并额外增加唯一有序递增字段值；
C、客户端请求数据机制，包括刷新页面请求数据和加载更多数据。
优选的，所述步骤C中刷新页面请求数据包括如下方法：客户端上传参数：本地缓存数据中最小的发生时间，若没有缓存则不传，本地缓存数据中最大唯一有序递增字段值，如果没有缓存的事件则不传；服务端：收到客户端上传参数之后,服务端查询出数据发生时间大于客户端传入最早发生时间且唯一有序递增字段值大于客户端传入的相应值,若查询出的数据多于约定的最大数据条数，则服务端返回参数中给予还有更多数据的标识；客户端：收到数据之后根据服务器标识来判断是否有更多数据未传回，若有更多，则根据服务端返回数据中的最早产生时间，移除本地缓存中所有比这条时间小的数据，其他正常显示，若没有更多，则根据产生时间从大到小显示在界面上，缓存于本地数据库中。
优选的，所述步骤C中加载更多数据包括如下方法：客户端上传参数：客户端当前界面显示数据中最早的发生时间；服务端：只需查找出比该发生时间更小的数据，返回客户端；客户端：得到数据之后，显示在界面上，同时缓存本地数据库中。
与现有技术相比，本发明的有益效果是：本发明中，设备产生的数据保证不会由于网络环境而丢失；服务器端可以根据客户端的请求信息，查询出最新数据和补传数据，保证数据完整；客户端可以获取到已有缓存数据发生时间区间内的补传数据，即使补传数据时间序列与已入库数据时间序列乱序，也可以按时间轴无遗漏的展示数据；在客户端逐页拉取增量数据有效控制请求量的同时，也能保证数据按时间序列连续展示、缓存。
附图说明
图1为本发明流程图；
图2为本发明数据加载流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图2，本发明提供一种技术方案：本发明提供如下技术方案：一种增量拉取时间序列数据并无遗漏地缓存展示的方法,包括以下步骤：
A、数据设备产生数据：数据设备产生与时间相关联的数据，同时暂时将数据保存于设备中，并向服务器并发上传事件信息。但是设备所处网络状态可能存在不稳定的情况，并发上传数据中便可能存在部分数据上传失败，设备便将这部分数据移入一个待补传池中，待后续上传服务器，如此重复，直到全部数据上传成功为止，因此便会出现先产生的事件后上传的情况；
B、数据服务器保存数据：数据服务器收到数据设备上传的数据信息，保存数据信息保存至数据库，并额外增加唯一有序递增字段值；
C、客户端请求数据机制，包括刷新页面请求数据和加载更多数据。
本发明中，步骤C中刷新页面请求数据包括如下方法：客户端上传参数：本地缓存数据中最小的发生时间，若没有缓存则不传，本地缓存数据中最大唯一有序递增字段值，如果没有缓存的事件则不传；服务端：收到客户端上传参数之后,服务端查询出数据发生时间大于客户端传入最早发生时间且唯一有序递增字段值大于客户端传入的相应值,若查询出的数据多于约定的最大数据条数，则服务端返回参数中给予还有更多数据的标识；客户端：收到数据之后根据服务器标识来判断是否有更多数据未传回，若有更多，则根据服务端返回数据中的最早产生时间，移除本地缓存中所有比这条时间小的数据，其他正常显示，若没有更多，则根据产生时间从大到小显示在界面上，缓存于本地数据库中。
本发明中，步骤C中加载更多数据包括如下方法：客户端上传参数：客户端当前界面显示数据中最早的发生时间；服务端：只需查找出比该发生时间更小的数据，返回客户端；客户端：得到数据之后，显示在界面上，同时缓存本地数据库中。
本发明中，设备产生的数据保证不会由于网络环境而丢失；服务器端可以根据客户端的请求信息，查询出最新数据和补传数据，保证数据完整；客户端可以获取到已有缓存数据发生时间区间内的补传数据，即使补传数据时间序列与已入库数据时间序列乱序，也可以按时间轴无遗漏的展示数据；在客户端逐页拉取增量数据有效控制请求量的同时，也能保证数据按时间序列连续展示、缓存。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (3)

1.一种增量拉取时间序列数据并无遗漏地缓存展示的方法,其特征在于：包括以下步骤：
A、数据设备产生数据：数据设备产生与时间相关联的数据，同时暂时将数据保存于设备中，并向服务器并发上传事件信息。但是设备所处网络状态可能存在不稳定的情况，并发上传数据中便可能存在部分数据上传失败，设备便将这部分数据移入一个待补传池中，待后续上传服务器，如此重复，直到全部数据上传成功为止；因此便会出现先产生的事件后上传的情况；
B、数据服务器保存数据：数据服务器收到数据设备上传的数据信息，保存数据信息至数据库，并额外增加唯一有序递增字段值；
C、客户端请求数据机制，包括刷新页面请求数据和加载更多数据。
2.根据权利要求1所述的一种增量拉取时间序列数据并无遗漏地缓存展示的方法，其特征在于：所述步骤C中刷新页面请求数据包括如下方法：客户端上传参数：本地缓存数据中最小的发生时间，若没有缓存则不传，本地缓存数据中最大唯一有序递增字段值，如果没有缓存的事件则不传；服务端：收到客户端上传参数之后,服务端查询出数据发生时间大于客户端传入最早发生时间且唯一有序递增字段值大于客户端传入的相应值,若查询出的数据多于约定的最大数据条数，则服务端返回参数中给予还有更多数据的标识；客户端：收到数据之后根据服务器标识来判断是否有更多数据未传回，若有更多，则根据服务端返回数据中的最早产生时间，移除本地缓存中所有比这条时间小的数据，其他正常显示，若没有更多，则根据产生时间从大到小显示在界面上，缓存于本地数据库中。
3.根据权利要求1所述的一种增量拉取时间序列数据并无遗漏地缓存展示的方法，其特征在于：所述步骤C中加载更多数据包括如下方法：客户端上传参数：客户端当前界面显示数据中最早的发生时间；服务端：只需查找出比该发生时间更小的数据，返回客户端；客户端：得到数据之后，显示在界面上，同时缓存本地数据库中。
CN201711277977.8A 2017-12-06 2017-12-06 一种增量拉取时间序列数据并无遗漏地缓存展示的方法 Pending CN108052567A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711277977.8A CN108052567A (zh) 2017-12-06 2017-12-06 一种增量拉取时间序列数据并无遗漏地缓存展示的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711277977.8A CN108052567A (zh) 2017-12-06 2017-12-06 一种增量拉取时间序列数据并无遗漏地缓存展示的方法

Publications (1)

Publication Number Publication Date
CN108052567A true CN108052567A (zh) 2018-05-18

Family

ID=62122394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711277977.8A Pending CN108052567A (zh) 2017-12-06 2017-12-06 一种增量拉取时间序列数据并无遗漏地缓存展示的方法

Country Status (1)

Country Link
CN (1) CN108052567A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110968640A (zh) * 2018-09-28 2020-04-07 北京国双科技有限公司 油井数据处理方法及装置、油井控制系统
CN116827883A (zh) * 2023-08-25 2023-09-29 明度智云(浙江)科技有限公司 Scada系统离线数据缓存方法、装置和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101018148A (zh) * 2006-02-09 2007-08-15 中兴通讯股份有限公司 网络管理系统与网元管理系统之间数据的增量同步方法
CN102915336A (zh) * 2012-09-18 2013-02-06 北京金和软件股份有限公司 一种基于时间戳和日志的增量数据捕获和抽取方法
CN103379159A (zh) * 2012-04-24 2013-10-30 阿里巴巴集团控股有限公司 一种分布式Web站点数据同步的方法
US20140372379A1 (en) * 2012-07-30 2014-12-18 International Business Machines Corporation Method and system for data backup
CN105760236A (zh) * 2016-05-13 2016-07-13 中国工商银行股份有限公司 一种分布式计算机集群下的数据采集方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101018148A (zh) * 2006-02-09 2007-08-15 中兴通讯股份有限公司 网络管理系统与网元管理系统之间数据的增量同步方法
CN103379159A (zh) * 2012-04-24 2013-10-30 阿里巴巴集团控股有限公司 一种分布式Web站点数据同步的方法
US20140372379A1 (en) * 2012-07-30 2014-12-18 International Business Machines Corporation Method and system for data backup
CN102915336A (zh) * 2012-09-18 2013-02-06 北京金和软件股份有限公司 一种基于时间戳和日志的增量数据捕获和抽取方法
CN105760236A (zh) * 2016-05-13 2016-07-13 中国工商银行股份有限公司 一种分布式计算机集群下的数据采集方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAO PING等: "Research and design of the incremental updates of drug Data Warehouse", 《2010 INTERNATIONAL CONFERENCE ON COMPUTER APPLICATION AND SYSTEM MODELING (ICCASM 2010)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110968640A (zh) * 2018-09-28 2020-04-07 北京国双科技有限公司 油井数据处理方法及装置、油井控制系统
CN116827883A (zh) * 2023-08-25 2023-09-29 明度智云(浙江)科技有限公司 Scada系统离线数据缓存方法、装置和存储介质
CN116827883B (zh) * 2023-08-25 2023-11-17 明度智云(浙江)科技有限公司 Scada系统离线数据缓存方法、装置和存储介质

Similar Documents

Publication Publication Date Title
CN103812849B (zh) 一种本地缓存更新方法、系统、客户端及服务器
CN101127915B (zh) 一种基于增量式的电子节目导航数据同步方法及系统
CN108052567A (zh) 一种增量拉取时间序列数据并无遗漏地缓存展示的方法
CN105472045A (zh) 数据库迁移的方法和装置
DE202014010953U1 (de) Gruppierung von Objekten in einem verteilten Datenspeichersystem basierend auf Protokollen und Platzierungsrichtlinien
CN105224255A (zh) 一种存储文件管理方法及装置
CN107438084B (zh) 多客户端数据同步方法和装置
CN104284201A (zh) 一种视频内容的处理方法和装置
CN107515865A (zh) 页面数据点击量统计方法及装置
CN106326013A (zh) 一种分布式文件系统的磁盘配额管理系统及方法
CN106533944A (zh) 一种分布式api网关、管理方法及管理系统
CN108416609A (zh) 广告灰度投放方法及装置
CN103297291A (zh) 网站实时状态监控方法及系统
CN102984203B (zh) 基于云计算的提高缓存设备利用率的方法、装置及系统
CN105959420A (zh) 多客户端元数据同步更新方法及系统
IL161377A0 (en) Policy based system management
CN106021126A (zh) 缓存数据处理方法及服务器、配置设备
CN104144223B (zh) 一种数据获取方法及装置
DE102018208496B4 (de) Persistente kennung für offline-zugriff auf gestreamte medien
CN103327036B (zh) 互联网浏览设备的标识方法以及Cookie服务器
CN107071007A (zh) 一种获取配置资源的方法、装置及客户端
CN101883079A (zh) 在互联网中用于加速点播多媒体内容的方法与装置
CN103118277B (zh) 一种视频加速方法
CN103416027A (zh) 缓存优化的方法、缓存器和缓存优化的系统
CN105069012B (zh) 一种文件访问方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180518

RJ01 Rejection of invention patent application after publication