CN108322434A - 一种时序数据的发送、接收方法及装置 - Google Patents

一种时序数据的发送、接收方法及装置 Download PDF

Info

Publication number
CN108322434A
CN108322434A CN201711423746.3A CN201711423746A CN108322434A CN 108322434 A CN108322434 A CN 108322434A CN 201711423746 A CN201711423746 A CN 201711423746A CN 108322434 A CN108322434 A CN 108322434A
Authority
CN
China
Prior art keywords
measuring point
data
time series
measuring
version number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711423746.3A
Other languages
English (en)
Inventor
邓敏
黄杵铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Yiyun Information Technology Ltd By Share Ltd
Original Assignee
Guangzhou Yiyun Information Technology Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Yiyun Information Technology Ltd By Share Ltd filed Critical Guangzhou Yiyun Information Technology Ltd By Share Ltd
Priority to CN201711423746.3A priority Critical patent/CN108322434A/zh
Publication of CN108322434A publication Critical patent/CN108322434A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04Protocols for data compression, e.g. ROHC
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种时序数据的发送方法,包括以下步骤:编译步骤:编译测点数据,测点数据包括时间戳、数据索引和数据内容,数据内容由相同时间戳下所有测点的监测值按预先生成的测点列表的顺序转换成二进制后存入;发送步骤:发送已编译好的测点数据。本发明一种的时序数据的发送方法,能够实现测点名称、时间戳的统一发送,对数量庞大的时序数据进行有效的压缩,减少冗余数据,节省网络带宽,便于时序数据的远程传输。

Description

一种时序数据的发送、接收方法及装置
技术领域
本发明涉及数据压缩传输领域,尤其涉及一种时序数据的发送、接收方法及装置。
背景技术
目前,在现代电力、化工等工业生产中,许多类型的实时监测、检查与设备分析都会有时序数据的产生。时序数据,即时间序列数据,这类工业数据具有产生频率快、测点多、数据量大等特点。通常,一个测点的时序数据由测点名称、时间戳、监测值构成,常规的实时监测系统均有成千上万的测点,测点每秒钟都产生数据,每天产生几十千兆字节的数据量,在传输的时候如果每个测点都要传输测点名称、时间戳,面对如此庞大的数据,网络带宽将不堪重负,势必会造成数据传输的延迟,监控的实时性也会大打折扣。为此,现有一种处理时序数据的策略,对时序数据进行文件级别的压缩,类似于WinZip,以实现时序数据的压缩传输。
但是,这种文件级别数据压缩模式压缩实时性差、压缩期运算量巨大且回取时需要解压整个文件,不能很好地解决生产型时序数据的压缩传输。
发明内容
为了克服现有技术的不足,本发明的目的之一在于提供一种时序数据的发送方法,能够减少冗余数据,节省网络带宽,便于时序数据的远程传输。
本发明的目的之二在于提供一种时序数据的接收方法,能够减少冗余数据,节省网络带宽,便于时序数据的远程传输。
本发明的目的之三在于提供一种时序数据的同步服务器,能够减少冗余数据,节省网络带宽,便于时序数据的远程传输。
本发明的目的之四在于提供一种时序数据的远程服务器,能够减少冗余数据,节省网络带宽,便于时序数据的远程传输。
本发明的目的之五在于提供一种时序数据的传输系统,能够减少冗余数据,节省网络带宽,便于时序数据的远程传输。
本发明的目的之六在于提供一种计算机可读存储介质,能够减少冗余数据,节省网络带宽,便于时序数据的远程传输。
本发明的目的之一采用如下技术方案实现:
一种时序数据的发送方法,包括以下步骤:编译步骤:编译测点数据,所述测点数据包括时间戳、数据索引和数据内容,所述数据内容由相同时间戳下所有测点的监测值按预先生成的测点列表的顺序转换成二进制后存入;发送步骤:发送已编译好的测点数据。
进一步地,在所述编译步骤之前,预先进行如下步骤:版本号和测点列表生成步骤:将所有的测点按顺序生成版本号和测点列表,并发送。
进一步地,所述数据索引按所述测点列表顺序用二进制0、1给每个测点标识是否有监测值。
进一步地,所述数据索引用二进制0标识测点无监测值,用二进制1标识测点有监测值。
本发明的目的之二采用如下技术方案实现:
一种时序数据的接收方法,包括以下步骤:数据接收步骤:接收已编译好的测点数据,所述测点数据包括时间戳、数据索引和数据内容,所述数据内容由相同时间戳下所有测点的监测值按预先生成的测点列表顺序转换成二进制后存入;数据翻译步骤:按顺序根据预先保存的测点列表中的所有测点名称翻译测点数据。
进一步地,在所述数据接收步骤之前,还预先进行如下步骤:比对步骤:接收版本号和测点列表数据,并判断版本号和测点列表数据是否有更新,如有,保存新的版本号和测点列表。
本发明的目的之三采用如下技术方案实现:
一种时序数据的同步服务器,包括存储器和处理器,所述存储器存储有可执行程序,所述处理器读取并执行所述程序时,实现以下方法:版本和测点列表生成步骤:将所有的测点按顺序生成版本号和测点列表,并发送;编译步骤:编译测点数据,所述测点数据包括时间戳、数据索引和数据内容,所述数据内容由相同时间戳下所有测点的监测值按所述测点列表顺序转换成二进制后存入;发送步骤:发送已编译好的测点数据。
本发明的目的之四采用如下技术方案实现:
一种时序数据的远程服务器,包括存储器和处理器,所述存储器存储有可执行程序,所述处理器读取并执行所述程序时,实现以下方法:比对步骤:接收版本号和测点列表数据,并判断版本号和测点列表数据是否有更新,如有,保存新的版本号和测点列表;数据接收步骤:接收已编译好的测点数据,所述测点数据包括时间戳、数据索引和数据内容,所述数据内容由相同时间戳下所有测点的监测值按预先生成的测点列表顺序转换成二进制后存入;数据翻译步骤:按顺序根据预先保存的测点列表中的所有测点名称翻译测点数据。
本发明的目的之五采用如下技术方案实现:
一种时序数据的传输系统,包括同步服务器和远程服务器,所述同步服务器和所述远程服务器信号连接;
所述同步服务器包括存储器和处理器,所述存储器存储有可执行程序,所述处理器读取并执行所述程序时,实现以下方法:
版本和测点列表生成步骤:将所有的测点按顺序生成版本号和测点列表,并发送;
编译步骤:编译测点数据,所述测点数据包括时间戳、数据索引和数据内容,所述数据内容由相同时间戳下所有测点的监测值按所述测点列表顺序转换成二进制后存入;
发送步骤:发送已编译好的测点数据。
所述远程服务器包括存储器和处理器,所述存储器存储有可执行程序,所述处理器读取并执行所述程序时,实现以下方法:
比对步骤:接收版本号和测点列表数据,并判断版本号和测点列表数据是否有更新,如有,保存新的版本号和测点列表;
数据接收步骤:接收编译测点数据,所述编译测点数据包括时间戳、数据索引和数据内容,所述数据内容由相同时间戳下所有测点的监测值按预先生成的测点列表顺序转换成二进制后存入;
数据翻译步骤:按顺序根据预先保存的测点列表中的所有测点名称翻译测点数据。
本发明的目的之六采用如下技术方案实现:
一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如本发明目的之一、二所述的方法。
相比现有技术,本发明的有益效果在于:
本发明的一种时序数据的发送方法,通过先发送含有各测点名称、测点类型信息的测点列表,再根据测点列表所有测点的排列顺序将同一时间戳下所有测点对应的监测值按顺序转换成二进制后发送,实现测点名称、时间戳的统一发送,对数量庞大的时序数据进行有效的压缩,减少冗余数据,节省网络带宽,便于时序数据的远程传输。
附图说明
图1为本发明一种时序数据的发送方法流程图;
图2为本发明一种时序数据的接收方法流程图。
具体实施方式
下面,结合附图以及具体实施方式,对本发明做进一步描述,需要说明的是,在不相冲突的前提下,以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
实施例一:
如图1所示的一种时序数据的发送方法,包括以下步骤:
S1编译步骤:编译测点数据,该测点数据包括时间戳、数据索引和数据内容,该数据内容由相同时间戳下所有测点的监测值按预先生成的测点列表的顺序转换成二进制后存入;
S2发送步骤:发送已编译好的测点数据。
其中,测点列表包含同步服务器所有待监测测点的测点名称及测点类型,即在发送测点数据之前,会事先发送该测点数据对应的所有测点的测点名称及测点类型。通常,远程服务器第一次接收到版本号和测点列表后,就会将该数据缓存,就是说第一次连接的时候远程服务器里还没有版本号和测点列表的缓存,所以会直接存储到远程服务器,在第2次及后续的连接,因为远程服务器里有缓存了,就会进行版本号的比对。版本号为测点列表里所有测点的名称构成的哈希值,通过比对版本号,即可得知远程服务器缓存的测点列表信息与接收到的测点列表信息是否一致,如若不一致,远程服务器就要更新其缓存的测点列表,以使后续接收到的测点数据与缓存中的测点列表信息对应。而将相同时间戳下所有测点的监测值按该测点列表顺序转换成二进制后发送,由于所有测点的监测值是在同一时间戳下发送的,这就避免了单独发送多个测点数据时,需要反复地发送时间戳。又因为所有测点的监测值都是按测点列表上其对应的测点名称的排列顺序发送的,这又避免了单独发送多个测点数据时,需要反复地发送测点名称等信息。在编译步骤之前,预先进行如下步骤:版本号和测点列表生成步骤:将所有的测点按顺序生成版本号和测点列表,并发送。需要说明的是,并不是每次发送测点数据之前都要执行该步骤,只是在同步服务器和远端服务器每次建立连接的时候执行,其他时间只需要编译、发送测点数据即可。
通过先发送含有各测点名称、测点类型信息的测点列表,再根据测点列表所有测点的排列顺序将同一时间戳下所有测点对应的监测值按顺序转换成二进制后发送,即可实现测点名称、时间戳的统一发送,对数量庞大的时序数据进行有效的压缩,减少冗余数据,节省网络带宽,便于时序数据的远程传输。
作为优选的实施方式,该数据索引按该测点列表顺序用二进制0、1给每个测点标识是否有监测值。通过二进制0、1给所有测点做标识,方便远程服务器解析测点数据的时候,容易分辨哪些测点数据没有监测值。具体地,该数据索引用二进制0标识测点无监测值,用二进制1标识测点有监测值。需要注意的是二进制0、1只是一个标识,具体代表是否有数据是根据开发人员自定义的。
实施例二:
如图2所示的一种时序数据的接收方法,包括以下步骤:
S1比对步骤:接收版本号和测点列表数据,并判断版本号和测点列表数据是否有更新,如有,保存新的版本号和测点列表。
S2数据接收步骤:接收已编译好的测点数据,所述测点数据包括时间戳、数据索引和数据内容,所述数据内容由相同时间戳下所有测点的监测值按预先生成的测点列表顺序转换成二进制后存入;
S3数据翻译步骤:按顺序根据预先保存的测点列表中的所有测点名称翻译测点数据。
其中,比对步骤只是在同步服务器和远端服务器每次建立连接的时候,或者版本和测点列表发生变化的时候执行,其他时间只需要接收数据并处理数据即可。
通过在接收到版本号和测点列表后,将该数据缓存,就是说第一次连接的时候远程服务器里还没有版本号和测点列表的缓存,所以会直接存储到远程服务器,在第2次及后续的连接,因为远程服务器里有缓存了,就会进行版本号的比对。版本号为测点列表里所有测点的名称构成的哈希值,通过比对版本号,即可得知远程服务器缓存的测点列表信息与接收到的测点列表信息是否一致,如若不一致,远程服务器就要更新其缓存的测点列表,以使后续接收到的测点数据与缓存中的测点列表信息对应。在将接收到的测点数据按测点列表的顺序翻译出来,即对已转换成二进制的同步服务器发送的所有监测测点的测点数据还原成原始数据。
实施例三:
实施例三公开了一种时序数据的同步服务器,包括存储器和处理器,该存储器存储有可执行程序,其中处理器和存储器均可采用一个或多个,程序被存储在存储器中,并且被配置成由处理器执行,该处理器读取并执行所述程序时,实现实施例一的时序数据的发送方法。
实施例四:
实施例四公开了一种时序数据的远程服务器,包括存储器和处理器,该存储器存储有可执行程序,其中处理器和存储器均可采用一个或多个,程序被存储在存储器中,并且被配置成由处理器执行,该处理器读取并执行所述程序时,实现实施例二的时序数据的接收方法。
实施例五:
实施例五公开了一种时序数据的传输系统,包括同步服务器和远程服务器,该同步服务器和远程服务器信号连接,该同步服务器为实施例三公开的一种时序数据的同步服务器,该远程服务器为实施例四公开的一种时序数据的远程服务器。
实施例六:
实施例六公开了一种可读的计算机存储介质,该存储介质用于存储程序,并且该程序被处理器执行时,实现实施例一、二的方法。
上述实施方式仅为本发明的优选实施方式,不能以此来限定本发明保护的范围,本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种时序数据的发送方法,其特征在于,包括以下步骤:
编译步骤:编译测点数据,所述测点数据包括时间戳、数据索引和数据内容,所述数据内容由相同时间戳下所有测点的监测值按预先生成的测点列表的顺序转换成二进制后存入;
发送步骤:发送已编译好的测点数据。
2.如权利要求1所述的一种时序数据的发送方法,其特征在于,在所述编译步骤之前,预先进行如下步骤:
版本号和测点列表生成步骤:将所有的测点按顺序生成版本号和测点列表,并发送。
3.如权利要求1所述的一种时序数据发送方法,其特征在于:所述数据索引按所述测点列表顺序用二进制0、1给每个测点标识是否有监测值。
4.如权利要求3所述的一种时序数据的发送方法,其特征在于:所述数据索引用二进制0标识测点无监测值,用二进制1标识测点有监测值。
5.一种时序数据的接收方法,其特征在于,包括以下步骤:
数据接收步骤:接收已编译好的测点数据,所述测点数据包括时间戳、数据索引和数据内容,所述数据内容由相同时间戳下所有测点的监测值按预先生成的测点列表顺序转换成二进制后存入;
数据翻译步骤:按顺序根据预先保存的测点列表中的所有测点名称翻译测点数据。
6.根据权利要求5所述的方法,其特征在于,在所述数据接收步骤之前,还预先进行如下步骤:
比对步骤:接收版本号和测点列表数据,并判断版本号和测点列表数据是否有更新,如有,保存新的版本号和测点列表。
7.一种时序数据的同步服务器,其特征在于,包括存储器和处理器,所述存储器存储有可执行程序,所述处理器读取并执行所述程序时,实现以下方法:
版本和测点列表生成步骤:将所有的测点按顺序生成版本号和测点列表,并发送;
编译步骤:编译测点数据,所述测点数据包括时间戳、数据索引和数据内容,所述数据内容由相同时间戳下所有测点的监测值按所述测点列表顺序转换成二进制后存入;
发送步骤:发送已编译好的测点数据。
8.一种时序数据的远程服务器,其特征在于,包括存储器和处理器,所述存储器存储有可执行程序,所述处理器读取并执行所述程序时,实现以下方法:
比对步骤:接收版本号和测点列表数据,并判断版本号和测点列表数据是否有更新,如有,保存新的版本号和测点列表;
数据接收步骤:接收已编译好的测点数据,所述测点数据包括时间戳、数据索引和数据内容,所述数据内容由相同时间戳下所有测点的监测值按预先生成的测点列表顺序转换成二进制后存入;
数据翻译步骤:按顺序根据预先保存的测点列表中的所有测点名称翻译测点数据。
9.一种时序数据的传输系统,其特征在于,包括同步服务器和远程服务器,所述同步服务器和所述远程服务器信号连接;
所述同步服务器包括存储器和处理器,所述存储器存储有可执行程序,所述处理器读取并执行所述程序时,实现以下方法:
版本和测点列表生成步骤:将所有的测点按顺序生成版本号和测点列表,并发送;
编译步骤:编译测点数据,所述测点数据包括时间戳、数据索引和数据内容,所述数据内容由相同时间戳下所有测点的监测值按所述测点列表顺序转换成二进制后存入;
发送步骤:发送已编译好的测点数据。
所述远程服务器包括存储器和处理器,所述存储器存储有可执行程序,所述处理器读取并执行所述程序时,实现以下方法:
比对步骤:接收版本号和测点列表数据,并判断版本号和测点列表数据是否有更新,如有,保存新的版本号和测点列表;
数据接收步骤:接收编译测点数据,所述编译测点数据包括时间戳、数据索引和数据内容,所述数据内容由相同时间戳下所有测点的监测值按预先生成的测点列表顺序转换成二进制后存入;
数据翻译步骤:按顺序根据预先保存的测点列表中的所有测点名称翻译测点数据。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1至6所述的方法。
CN201711423746.3A 2017-12-25 2017-12-25 一种时序数据的发送、接收方法及装置 Pending CN108322434A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711423746.3A CN108322434A (zh) 2017-12-25 2017-12-25 一种时序数据的发送、接收方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711423746.3A CN108322434A (zh) 2017-12-25 2017-12-25 一种时序数据的发送、接收方法及装置

Publications (1)

Publication Number Publication Date
CN108322434A true CN108322434A (zh) 2018-07-24

Family

ID=62892502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711423746.3A Pending CN108322434A (zh) 2017-12-25 2017-12-25 一种时序数据的发送、接收方法及装置

Country Status (1)

Country Link
CN (1) CN108322434A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110943797A (zh) * 2019-12-18 2020-03-31 北京邮电大学 一种sdh网络中的数据压缩方法
CN111221894A (zh) * 2020-01-10 2020-06-02 山西西山煤电股份有限公司 基于配置的时序数据库存储方法、装置及服务器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102882926A (zh) * 2012-08-27 2013-01-16 哈尔滨工业大学 燃气轮机传感器数据的远程传输系统及传输方法
CN103577456A (zh) * 2012-07-31 2014-02-12 国际商业机器公司 用于处理时序数据的方法和装置
CN103731182A (zh) * 2012-10-12 2014-04-16 深圳市金正方科技股份有限公司 一种电力载波通信实时监控方法及系统
US20160328432A1 (en) * 2015-05-06 2016-11-10 Squigglee LLC System and method for management of time series data sets
CN106548412A (zh) * 2016-09-21 2017-03-29 广西电网有限责任公司电力科学研究院 一种变电站在线监测时序数据的高效压缩存储方法
CN106648446A (zh) * 2015-10-30 2017-05-10 阿里巴巴集团控股有限公司 一种用于时序数据的存储方法、装置及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577456A (zh) * 2012-07-31 2014-02-12 国际商业机器公司 用于处理时序数据的方法和装置
CN102882926A (zh) * 2012-08-27 2013-01-16 哈尔滨工业大学 燃气轮机传感器数据的远程传输系统及传输方法
CN103731182A (zh) * 2012-10-12 2014-04-16 深圳市金正方科技股份有限公司 一种电力载波通信实时监控方法及系统
US20160328432A1 (en) * 2015-05-06 2016-11-10 Squigglee LLC System and method for management of time series data sets
CN106648446A (zh) * 2015-10-30 2017-05-10 阿里巴巴集团控股有限公司 一种用于时序数据的存储方法、装置及电子设备
CN106548412A (zh) * 2016-09-21 2017-03-29 广西电网有限责任公司电力科学研究院 一种变电站在线监测时序数据的高效压缩存储方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110943797A (zh) * 2019-12-18 2020-03-31 北京邮电大学 一种sdh网络中的数据压缩方法
CN111221894A (zh) * 2020-01-10 2020-06-02 山西西山煤电股份有限公司 基于配置的时序数据库存储方法、装置及服务器
CN111221894B (zh) * 2020-01-10 2023-04-21 山西西山煤电股份有限公司 基于配置的时序数据库存储方法、装置及服务器

Similar Documents

Publication Publication Date Title
CN104378234B (zh) 跨数据中心的数据传输处理方法及系统
CN109710614A (zh) 一种实时数据存储与查询的方法及装置
CN109522316A (zh) 日志处理方法、装置、设备和存储介质
CN106791889A (zh) 一种视频处理方法及系统、分布式对象存储系统
CN104168335B (zh) 一种数据同步方法和装置
CN106713391A (zh) 一种session信息的共享方法和共享系统
CN106161644A (zh) 数据处理的分布式系统及其数据处理方法
CN108322434A (zh) 一种时序数据的发送、接收方法及装置
Gonçalves et al. Workload models and performance evaluation of cloud storage services
CN107329853A (zh) 数据库集群的备份方法、备份系统及电子设备
CN110019539A (zh) 一种数据仓库的数据同步的方法和装置
CN106375362A (zh) 分布式服务器的缓存同步方法及系统
CN109451019A (zh) 用于工业实时数据的高并发采集方法
CN108009089B (zh) 一种基于透明计算的增量机器学习方法及系统
CN112905618A (zh) 数据处理方法以及装置
CN113434312A (zh) 数据血缘关系处理方法及装置
CN112732756A (zh) 数据查询方法、装置、设备及存储介质
CN104182470B (zh) 一种基于svm的移动终端应用分类系统和方法
CN105339906B (zh) 控制对永久存储设备的数据写入的方法
CN104065613B (zh) 一种应用的离线操作数据的同步方法、系统及装置
CN103297477A (zh) 一种数据采集上报系统及数据处理方法和代理服务器
CN109684611A (zh) 一种字典转码方法、装置、存储介质及终端
CN108241639A (zh) 一种数据去重方法
US8335795B2 (en) Data storing system and data processing method of informational household appliance
CN116431324A (zh) 一种基于Kafka高并发数据采集与分发的边缘系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180724