CN114610792A - 数据处理方法、装置及系统、工业设备 - Google Patents
数据处理方法、装置及系统、工业设备 Download PDFInfo
- Publication number
- CN114610792A CN114610792A CN202210223187.6A CN202210223187A CN114610792A CN 114610792 A CN114610792 A CN 114610792A CN 202210223187 A CN202210223187 A CN 202210223187A CN 114610792 A CN114610792 A CN 114610792A
- Authority
- CN
- China
- Prior art keywords
- target
- timestamp
- file
- storage page
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 230000005540 biological transmission Effects 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000015654 memory Effects 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 11
- 230000001174 ascending effect Effects 0.000 claims description 4
- 238000013075 data extraction Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000007906 compression Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000006837 decompression Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 101100437998 Arabidopsis thaliana BZIP2 gene Proteins 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据处理方法、装置及系统、工业设备，涉及数据处理技术领域，当安装在第一设备内的时序数据库接收到第二设备发送的数据传输请求时，先根据时序数据库中存储的每个TS文件的每个存储页的最大时间戳和最小时间戳，确定与数据传输请求中的目标时间戳信息相匹配的目标存储页；然后根据目标存储页，获取目标TS文件，并发送目标TS文件至第二设备，从而第二设备对目标TS文件进行解码、解压，得到目标数据。由于时序数据库未进行读取操作，传输给第二设备的是压缩、编码的目标TS文件，目标TS文件的数据量远小于未压缩的目标数据的数据量，因此显著提高了数据传输效率。
Description
技术领域
本发明涉及数据处理技术领域，尤其是涉及一种数据处理方法、装置及系统、工业设备。
背景技术
目前，随着工业互联网的兴起，越来越多的工业设备需要接入互联网。在接入过程中，通常采用时序数据库进行数据存储。对于两台工业设备-设备一和设备二，假设需要在设备二上使用设备一上的数据库中的数据，则需要设备一先从数据库中读出所需数据，对所需数据执行解码、解压动作，得到未压缩的数据，然后将未压缩的数据传输到设备二上。这样会导致数据传输量比较大，数据传输效率较低。
发明内容
本发明的目的在于提供一种数据处理方法、装置及系统、工业设备，以提高数据传输效率。
第一方面，本发明实施例提供了一种数据处理方法，应用于安装在第一设备内的时序数据库，所述时序数据库中存储的每个TS文件的每个存储页的属性包括最大时间戳和最小时间戳；所述方法包括：
接收第二设备发送的数据传输请求，所述数据传输请求携带有目标时间戳信息；
根据所述时序数据库中存储的每个TS文件的每个存储页的最大时间戳和最小时间戳，确定与所述目标时间戳信息相匹配的目标存储页；
根据所述目标存储页，获取目标TS文件；
发送所述目标TS文件至所述第二设备，以使所述第二设备对所述目标TS文件进行解码、解压，得到目标数据。
进一步地，所述目标时间戳信息包括起始时间戳和结束时间戳；所述根据所述时序数据库中存储的每个TS文件的每个存储页的最大时间戳和最小时间戳，确定与所述目标时间戳信息相匹配的目标存储页，包括：
按照时间戳由小到大的顺序，遍历所述时序数据库中存储的每个TS文件的每个存储页；
当遍历至第一当前存储页时，判断所述起始时间戳是否位于所述第一当前存储页的最大时间戳和最小时间戳之间；
当判断结果为是时，确定所述第一当前存储页为与所述起始时间戳相匹配的第一存储页；
根据所述第一存储页与所述结束时间戳，确定目标存储页。
进一步地，所述结束时间戳是与当前时刻对应的时间戳，所述根据所述第一存储页与所述结束时间戳，确定目标存储页，包括：
将所述时序数据库中最大时间戳大于所述第一存储页的最小时间戳的所有存储页确定为目标存储页。
进一步地，所述结束时间戳不是与当前时刻对应的时间戳，所述根据所述第一存储页与所述结束时间戳，确定目标存储页，包括：
按照时间戳由小到大的顺序，遍历所述时序数据库中最大时间戳大于所述第一存储页的最小时间戳的所有存储页；
当遍历至第二当前存储页时，判断所述结束时间戳是否位于所述第二当前存储页的最大时间戳和最小时间戳之间；
当判断结果为是时，确定所述第二当前存储页为与所述结束时间戳相匹配的第二存储页；
将最大时间戳大于所述第一存储页的最小时间戳且最小时间戳小于所述第二存储页的最大时间戳的所有存储页确定为目标存储页。
进一步地，所述根据所述目标存储页，获取目标TS文件，包括：
确定数据提取的粒度，所述粒度包括TS文件级、存储块级、存储页级或时间戳级；
按照所述粒度，提取与所述目标存储页对应的目标TS文件。
第二方面，本发明实施例还提供了一种数据处理方法，应用于安装在第二设备内的数据库工具；所述方法包括：
发送携带有目标时间戳信息的数据传输请求至第一设备，所述第一设备安装有时序数据库，所述时序数据库中存储的每个TS文件的每个存储页的属性包括最大时间戳和最小时间戳；
接收所述第一设备发送的目标TS文件；所述目标TS文件是基于所述目标时间戳信息从所述时序数据库获取的；
对所述目标TS文件进行解码、解压，得到目标数据。
第三方面，本发明实施例还提供了一种数据处理装置，应用于安装在第一设备内的时序数据库，所述时序数据库中存储的每个TS文件的每个存储页的属性包括最大时间戳和最小时间戳；所述装置包括：
第一接收模块，用于接收第二设备发送的数据传输请求，所述数据传输请求携带有目标时间戳信息；
存储页确定模块，用于根据所述时序数据库中存储的每个TS文件的每个存储页的最大时间戳和最小时间戳，确定与所述目标时间戳信息相匹配的目标存储页；
文件获取模块，用于根据所述目标存储页，获取目标TS文件；
第一发送模块，用于发送所述目标TS文件至所述第二设备，以使所述第二设备对所述目标TS文件进行解码、解压，得到目标数据。
第四方面，本发明实施例还提供了一种数据处理装置，应用于安装在第二设备内的数据库工具；所述装置包括：
第二发送模块，用于发送携带有目标时间戳信息的数据传输请求至第一设备，所述第一设备安装有时序数据库，所述时序数据库中存储的每个TS文件的每个存储页的属性包括最大时间戳和最小时间戳；
第二接收模块，用于接收所述第一设备发送的目标TS文件；所述目标TS文件是基于所述目标时间戳信息从所述时序数据库获取的；
文件处理模块，用于对所述目标TS文件进行解码、解压，得到目标数据。
第五方面，本发明实施例还提供了一种工业设备，包括存储器、处理器；所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面或第二方面所述方法。
第六方面，本发明实施例还提供了一种数据处理系统，包括第一设备和第二设备；所述第一设备安装有时序数据库，所述第二设备安装有数据库工具，所述数据库工具与所述时序数据库连接；
所述时序数据库用于实现第一方面所述的方法，所述数据库工具用于实现第二方面所述的方法。
第七方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面所述方法。
本发明实施例提供的数据处理方法、装置及系统、工业设备中，当安装在第一设备内的时序数据库接收到第二设备发送的数据传输请求时，先根据时序数据库中存储的每个TS文件的每个存储页的最大时间戳和最小时间戳，确定与数据传输请求中的目标时间戳信息相匹配的目标存储页；然后根据目标存储页，获取目标TS文件，并发送目标TS文件至第二设备，从而第二设备对目标TS文件进行解码、解压，得到目标数据。由于时序数据库未进行读取操作，传输给第二设备的是压缩、编码的目标TS文件，目标TS文件的数据量远小于未压缩的目标数据的数据量，因此显著提高了数据传输效率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据处理系统的结构示意图；
图2为本发明实施例提供的一种数据处理方法的流程示意图；
图3为本发明实施例提供的一种数据处理装置的结构示意图；
图4为本发明实施例提供的另一种数据处理装置的结构示意图；
图5为本发明实施例提供的一种工业设备的结构示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前在接入互联网的工业设备中，时序数据库的使用形式如下：IOTDB是存在设备一上的一个IOT的时序数据库，采用列式存储方式将数据存储在磁盘上。对于两台工业设备-设备一和设备二(每台工业设备均可以是独立的一台PC(Personal Computer，个人计算机)设备或工控机或工业盒子)，如果想要在设备二上使用设备一上的数据库中的数据，就需要从数据库中读出数据，并执行解码、解压动作，然后将得到的未压缩的数据从设备一传输到设备二上。这样会导致数据传输量比较大，在资源紧张的边缘侧这个问题尤其突出，进而导致数据传输效率较低。基于此，本发明实施例提供的一种数据处理方法、装置及系统、工业设备，在时序数据存储时增加了最大时间戳和最小时间戳，可以基于每个存储页的最大时间戳和最小时间戳快速定位文件位置，然后将符合条件的TS文件不经过解密、解码、解压就直接传递出去，减少了传输的数据量大小，加快了传输的速度，提高了数据传输效率。
参见图1所示的一种数据处理系统的结构示意图，本发明实施例提供的数据处理系统包括第一设备110和第二设备120；第一设备110安装有时序数据库，第二设备120安装有数据库工具，数据库工具与时序数据库连接。
上述时序数据库通过如下方式进行时序数据存储：第一设备110的上层应用通过时序数据库的上层接口中的写接口，在时序数据库中写入时序数据(流式数据)；时序数据库对该时序数据进行压缩、编码后存储为TS文件，且存储过程中在TS文件的每个存储页的文件头(page Header)增加最大时间戳和最小时间戳，最大时间戳和最小时间戳用于标识整个存储页的时间戳范围。其中，TS文件采用列式存储方式。
当第二设备120需要使用第一设备110上的时序数据库中的数据时，通过数据库工具与第一设备110的时序数据库建立连接，然后发送携带有目标时间戳信息的数据传输请求给第一设备110的时序数据库；时序数据库先根据存储的每个TS文件的每个存储页的最大时间戳和最小时间戳，确定与目标时间戳信息相匹配的目标存储页，然后根据目标存储页，获取目标TS文件，并发送目标TS文件至第二设备120的数据库工具；第二设备120通过数据库工具对目标TS文件进行解码、解压，得到目标数据，第二设备120的上层应用可以通过数据库工具的底层存储中的读接口，获取经解码、解压得到的目标数据。
上述时序数据库可以但不限于为IOTDB。如图1所示，时序数据库和数据库工具均采用列式存储方式。
本发明实施例提供的数据处理系统，由于时序数据库未进行读取操作，传输给第二设备的是压缩、编码的目标TS文件，目标TS文件的数据量远小于未压缩的目标数据的数据量，因此显著提高了数据传输效率。
对应于上述的数据处理系统，本发明实施例还提供了一种数据处理方法，参见图2所示的一种数据处理方法的流程示意图，该方法包括如下步骤：
步骤S202，第二设备的数据库工具发送携带有目标时间戳信息的数据传输请求至第一设备的时序数据库。
步骤S204，第一设备的时序数据库接收数据传输请求。
步骤S206，第一设备的时序数据库根据时序数据库中存储的每个TS文件的每个存储页的最大时间戳和最小时间戳，确定与目标时间戳信息相匹配的目标存储页。
在一些可能的实施例中，目标时间戳信息包括起始时间戳和结束时间戳，上述步骤S206具体包括：按照时间戳由小到大的顺序，遍历时序数据库中存储的每个TS文件的每个存储页；当遍历至第一当前存储页时，判断起始时间戳是否位于第一当前存储页的最大时间戳和最小时间戳之间；当判断结果为否时，查找下一个存储页；当判断结果为是时，确定第一当前存储页为与起始时间戳相匹配的第一存储页；根据第一存储页与结束时间戳，确定目标存储页。
在一种可能的实现方式中，上述结束时间戳是与当前时刻对应的时间戳，也即第二设备需要的是与起始时间戳对应的时间点之后的数据，可以通过如下方式确定目标存储页：将时序数据库中最大时间戳大于第一存储页的最小时间戳的所有存储页确定为目标存储页。
在另一种可能的实现方式中，上述结束时间戳不是与当前时刻对应的时间戳，也即第二设备需要的是由起始时间戳对应的时间点与结束时间戳对应的时间点之间的数据，可以通过如下方式确定目标存储页：按照时间戳由小到大的顺序，遍历时序数据库中最大时间戳大于第一存储页的最小时间戳的所有存储页；当遍历至第二当前存储页时，判断结束时间戳是否位于第二当前存储页的最大时间戳和最小时间戳之间；当判断结果为否时，查找下一个存储页；当判断结果为是时，确定第二当前存储页为与结束时间戳相匹配的第二存储页；将最大时间戳大于第一存储页的最小时间戳且最小时间戳小于第二存储页的最大时间戳的所有存储页确定为目标存储页。
步骤S208，第一设备的时序数据库根据目标存储页，获取目标TS文件。
在一些可能的实施例中，上述步骤S208具体包括：确定数据提取的粒度，该粒度包括TS文件级、存储块级、存储页级或时间戳级；按照该粒度，提取与目标存储页对应的目标TS文件。
上述粒度由大到小依次为TS文件级、存储块级、存储页级、时间戳级。粒度可以是预先配置好的，也可以是根据目标存储页的存储页数量或总数据量确定的，其中，存储页数量的越大或总数据量越大，粒度越大。
步骤S210，第一设备的时序数据库发送目标TS文件至第二设备的数据库工具。
步骤S212，第二设备的数据库工具接收目标TS文件。
步骤S214，第二设备的数据库工具对目标TS文件进行解码、解压，得到目标数据。
在第二设备中，使用数据库工具(此数据库工具可以为IOTDB提供的专门用于TS文件读写的工具)，可以轻松的把目标TS文件中的目标数据提取出来。目标TS文件可能是经过加密的，数据库工具通过对目标TS文件进行解密、解压、解码后传递给上层应用使用，其中，解密算法和解压算法是与时序数据库侧的加密算法和压缩算法对应的。
时序数据库所采用的压缩算法不同，压缩比会有比较大的差异，目前主流的压缩算法：Snappy、LZO(Lempel-Ziv-Oberhumer)、GZIP(GNU zip)、BZIP2(无损压缩软件)，三者的压缩比和压缩速率如下表1所示：
表1
| 压缩算法 | 压缩比 | 压缩速率 |
| GZIP | 13.4％ | 21MB/s |
| LZO | 20.5％ | 135MB/s |
| Snappy | 22.2％ | 172MB/s |
| BZIP2 | 13.2％ | 2.4MB/s |
以Snappy为例，Snappy的压缩比有22％，数据能压缩到1/4左右，大大的增强了传输的效率。
应用本发明实施例提供的数据处理方法进行数据传输时，时序数据库未进行读取操作，传输给第二设备的是压缩、编码的目标TS文件，目标TS文件的数据量远小于未压缩的目标数据的数据量，因此显著提高了数据传输效率。
为了便于理解，本发明实施例还提供了TS文件的存储结构：
1、TS文件的文件头，如下表2所示
表2
其中，MAGIC_STRING：固定的开始字符串，例如为“TsFilev0.8.0”；
metadataSize(元数据长度)：分配一个int的字节数，计算方法为：int的bit数除以一个byte的字节数；当该TS文件中插入的数据量超过metadataSize的大小时，停止插入，新建一个TS文件继续进行存储；
Metadata：元数据。
2、RowGroupHeader(行组文件头)
表3
如表3所示，对流式数据进行反序列化，得到RowGroupHeader的几个属性：deltaObjectID length、deltaObjectID，datasize(Chunk0-ChunkN的总数据量大小)，numOfChunks(块数量)。Chunk0......ChunkN指各个存储块，每个存储块具有固定大小，一旦当前存储块存储至该固定大小，则新增一个存储块继续存储。
3、ChunkHeader(块文件头)
表4
如表4所示，对流式数据进行反序列化，得到ChunkHeader的几个属性：measurementIDlength(测量ID长度)、measurementID(测量ID)、dataSize(Page1-PageN的总数量大小)、dataType(数据类型)、numOfPages(页数)、CompressionType(压缩类型)、Encoding(编码类型)。Page1......PageN指各个存储页，每个存储页也具有固定大小，一旦当前存储页存储至该固定大小，则新增一个存储页继续存储。
4、PageHeader(存储页的文件头)
表5
如表5所示，对流式数据进行反序列化，得到PageHeader的几个属性：uncompressedSize(未压缩大小)、compressedSize(压缩大小)、numOfValues(数据数量)、max_timestamp(最大时间戳)、min_timestamp(最小时间戳)、Statistics(统计)。可以根据PageHeader中的max_timestamp和min_timestamp快速定位要传输的目标数据所在的目标存储页。
将实际的数据进行压缩、编码后存入PageData中。每存一个数据，更新一次PageHeader的属性信息；其中数据可能以压缩方式存储，也可能以未压缩方式存储，例如可以按照数据类型确定是否对数据进行压缩。最大时间戳和最小时间戳的更新方式如下：将当前数据的时间戳分别与当前的最大时间戳和最小时间戳进行比较，若当前数据的时间戳大于最大时间戳，则将最大时间戳更新为当前数据的时间戳；若当前数据的时间戳小于最小时间戳，则将最小时间戳更新为当前数据的时间戳。
本发明实施例提供的数据处理方法，实现了对于数据库底层列式存储文件TS文件的改造，使之方便、快速地进行时间戳定位。数据库工具能直接解析TS文件，直接对TS文件进行解码、解压分离出数据。
对应于上述的数据处理方法，本发明实施例还提供了一种数据处理装置，该装置应用于安装在第一设备内的时序数据库，时序数据库中存储的每个TS文件的每个存储页的属性包括最大时间戳和最小时间戳；参见图3所示的一种数据处理装置的结构示意图，该装置包括：
第一接收模块32，用于接收第二设备发送的数据传输请求，该数据传输请求携带有目标时间戳信息；
存储页确定模块34，用于根据时序数据库中存储的每个TS文件的每个存储页的最大时间戳和最小时间戳，确定与目标时间戳信息相匹配的目标存储页；
文件获取模块36，用于根据目标存储页，获取目标TS文件；
第一发送模块38，用于发送目标TS文件至第二设备，以使第二设备对目标TS文件进行解码、解压，得到目标数据。
进一步地，上述目标时间戳信息包括起始时间戳和结束时间戳；上述存储页确定模块34具体用于：按照时间戳由小到大的顺序，遍历时序数据库中存储的每个TS文件的每个存储页；当遍历至第一当前存储页时，判断起始时间戳是否位于第一当前存储页的最大时间戳和最小时间戳之间；当判断结果为是时，确定第一当前存储页为与起始时间戳相匹配的第一存储页；根据第一存储页与结束时间戳，确定目标存储页。
进一步地，上述结束时间戳是与当前时刻对应的时间戳，上述存储页确定模块34还用于：将时序数据库中最大时间戳大于第一存储页的最小时间戳的所有存储页确定为目标存储页。
进一步地，上述结束时间戳不是与当前时刻对应的时间戳，上述存储页确定模块34还用于：按照时间戳由小到大的顺序，遍历时序数据库中最大时间戳大于第一存储页的最小时间戳的所有存储页；当遍历至第二当前存储页时，判断结束时间戳是否位于第二当前存储页的最大时间戳和最小时间戳之间；当判断结果为是时，确定第二当前存储页为与结束时间戳相匹配的第二存储页；将最大时间戳大于第一存储页的最小时间戳且最小时间戳小于第二存储页的最大时间戳的所有存储页确定为目标存储页。
进一步地，上述文件获取模块36具体用于：确定数据提取的粒度，该粒度包括TS文件级、存储块级、存储页级或时间戳级；按照该粒度，提取与目标存储页对应的目标TS文件。
对应于上述的数据处理方法，本发明实施例还提供了一种数据处理装置，该装置应用于安装在第二设备内的数据库工具；参见图4所示的另一种数据处理装置的结构示意图，该装置包括：
第二发送模块42，用于发送携带有目标时间戳信息的数据传输请求至第一设备，该第一设备安装有时序数据库，时序数据库中存储的每个TS文件的每个存储页的属性包括最大时间戳和最小时间戳；
第二接收模块44，用于接收第一设备发送的目标TS文件；目标TS文件是基于目标时间戳信息从时序数据库获取的；
文件处理模块46，用于对目标TS文件进行解码、解压，得到目标数据。
本实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
如图5所示，本发明实施例提供的一种工业设备500，包括：处理器501、存储器502和总线，存储器502存储有处理器501可执行的机器可读指令，当工业设备500运行时，处理器501与存储器502之间通过总线通信，处理器501执行机器可读指令，以执行如上述数据处理方法的步骤。
具体地，上述存储器502和处理器501能够为通用的存储器和处理器，这里不做具体限定，当处理器501运行存储器502存储的计算机程序时，能够执行上述数据处理方法。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行前面方法实施例中所述的数据处理方法。该计算机可读存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (11)
1.一种数据处理方法，其特征在于，应用于安装在第一设备内的时序数据库，所述时序数据库中存储的每个TS文件的每个存储页的属性包括最大时间戳和最小时间戳；所述方法包括：
接收第二设备发送的数据传输请求，所述数据传输请求携带有目标时间戳信息；
根据所述时序数据库中存储的每个TS文件的每个存储页的最大时间戳和最小时间戳，确定与所述目标时间戳信息相匹配的目标存储页；
根据所述目标存储页，获取目标TS文件；
发送所述目标TS文件至所述第二设备，以使所述第二设备对所述目标TS文件进行解码、解压，得到目标数据。
2.根据权利要求1所述的数据处理方法，其特征在于，所述目标时间戳信息包括起始时间戳和结束时间戳；所述根据所述时序数据库中存储的每个TS文件的每个存储页的最大时间戳和最小时间戳，确定与所述目标时间戳信息相匹配的目标存储页，包括：
按照时间戳由小到大的顺序，遍历所述时序数据库中存储的每个TS文件的每个存储页；
当遍历至第一当前存储页时，判断所述起始时间戳是否位于所述第一当前存储页的最大时间戳和最小时间戳之间；
当判断结果为是时，确定所述第一当前存储页为与所述起始时间戳相匹配的第一存储页；
根据所述第一存储页与所述结束时间戳，确定目标存储页。
3.根据权利要求2所述的数据处理方法，其特征在于，所述结束时间戳是与当前时刻对应的时间戳，所述根据所述第一存储页与所述结束时间戳，确定目标存储页，包括：
将所述时序数据库中最大时间戳大于所述第一存储页的最小时间戳的所有存储页确定为目标存储页。
4.根据权利要求2所述的数据处理方法，其特征在于，所述结束时间戳不是与当前时刻对应的时间戳，所述根据所述第一存储页与所述结束时间戳，确定目标存储页，包括：
按照时间戳由小到大的顺序，遍历所述时序数据库中最大时间戳大于所述第一存储页的最小时间戳的所有存储页；
当遍历至第二当前存储页时，判断所述结束时间戳是否位于所述第二当前存储页的最大时间戳和最小时间戳之间；
当判断结果为是时，确定所述第二当前存储页为与所述结束时间戳相匹配的第二存储页；
将最大时间戳大于所述第一存储页的最小时间戳且最小时间戳小于所述第二存储页的最大时间戳的所有存储页确定为目标存储页。
5.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述目标存储页，获取目标TS文件，包括：
确定数据提取的粒度，所述粒度包括TS文件级、存储块级、存储页级或时间戳级；
按照所述粒度，提取与所述目标存储页对应的目标TS文件。
6.一种数据处理方法，其特征在于，应用于安装在第二设备内的数据库工具；所述方法包括：
发送携带有目标时间戳信息的数据传输请求至第一设备，所述第一设备安装有时序数据库，所述时序数据库中存储的每个TS文件的每个存储页的属性包括最大时间戳和最小时间戳；
接收所述第一设备发送的目标TS文件；所述目标TS文件是基于所述目标时间戳信息从所述时序数据库获取的；
对所述目标TS文件进行解码、解压，得到目标数据。
7.一种数据处理装置，其特征在于，应用于安装在第一设备内的时序数据库，所述时序数据库中存储的每个TS文件的每个存储页的属性包括最大时间戳和最小时间戳；所述装置包括：
第一接收模块，用于接收第二设备发送的数据传输请求，所述数据传输请求携带有目标时间戳信息；
存储页确定模块，用于根据所述时序数据库中存储的每个TS文件的每个存储页的最大时间戳和最小时间戳，确定与所述目标时间戳信息相匹配的目标存储页；
文件获取模块，用于根据所述目标存储页，获取目标TS文件；
第一发送模块，用于发送所述目标TS文件至所述第二设备，以使所述第二设备对所述目标TS文件进行解码、解压，得到目标数据。
8.一种数据处理装置，其特征在于，应用于安装在第二设备内的数据库工具；所述装置包括：
第二发送模块，用于发送携带有目标时间戳信息的数据传输请求至第一设备，所述第一设备安装有时序数据库，所述时序数据库中存储的每个TS文件的每个存储页的属性包括最大时间戳和最小时间戳；
第二接收模块，用于接收所述第一设备发送的目标TS文件；所述目标TS文件是基于所述目标时间戳信息从所述时序数据库获取的；
文件处理模块，用于对所述目标TS文件进行解码、解压，得到目标数据。
9.一种工业设备，其特征在于，包括存储器、处理器；所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-6中任一项所述的方法。
10.一种数据处理系统，其特征在于，包括第一设备和第二设备；所述第一设备安装有时序数据库，所述第二设备安装有数据库工具，所述数据库工具与所述时序数据库连接；
所述时序数据库用于实现权利要求1-5中任一项所述的方法，所述数据库工具用于实现权利要求6所述的方法。
11.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210223187.6A CN114610792A (zh) | 2022-03-09 | 2022-03-09 | 数据处理方法、装置及系统、工业设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210223187.6A CN114610792A (zh) | 2022-03-09 | 2022-03-09 | 数据处理方法、装置及系统、工业设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114610792A true CN114610792A (zh) | 2022-06-10 |
Family
ID=81861423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210223187.6A Withdrawn CN114610792A (zh) | 2022-03-09 | 2022-03-09 | 数据处理方法、装置及系统、工业设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114610792A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117111845A (zh) * | 2023-08-18 | 2023-11-24 | 中电云计算技术有限公司 | 一种数据压缩方法、装置、设备及存储介质 |
-
2022
- 2022-03-09 CN CN202210223187.6A patent/CN114610792A/zh not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117111845A (zh) * | 2023-08-18 | 2023-11-24 | 中电云计算技术有限公司 | 一种数据压缩方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112953550B (zh) | 数据压缩的方法、电子设备及存储介质 | |
| US7924183B2 (en) | Method and system for reducing required storage during decompression of a compressed file | |
| US10116325B2 (en) | Data compression/decompression device | |
| CN107395209B (zh) | 数据压缩方法、数据解压缩方法及其设备 | |
| WO2017097071A1 (zh) | 数据压缩及解压的方法及装置 | |
| CN101667843B (zh) | 嵌入式系统的数据压缩、及解压缩方法与装置 | |
| CN101783788A (zh) | 文件压缩、解压缩方法、装置及压缩文件搜索方法、装置 | |
| CN103023796B (zh) | 网络数据压缩方法和系统 | |
| KR101969848B1 (ko) | 유전자 데이터를 압축하는 방법 및 장치 | |
| US11403017B2 (en) | Data compression method, electronic device and computer program product | |
| CN112527736B (zh) | 基于dna的数据存储方法、数据恢复方法及终端设备 | |
| CN110021369B (zh) | 基因测序数据压缩解压方法、系统及计算机可读介质 | |
| WO2017113124A1 (zh) | 一种服务器以及服务器压缩数据的方法 | |
| CN114764557A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| CN115438114B (zh) | 存储格式转换方法、系统、装置、电子设备及存储介质 | |
| CN114337678A (zh) | 数据压缩方法、装置、设备及存储介质 | |
| CN112544038A (zh) | 存储系统数据压缩的方法、装置、设备及可读存储介质 | |
| CN114610792A (zh) | 数据处理方法、装置及系统、工业设备 | |
| CN104378119A (zh) | 嵌入式设备文件系统数据的快速无损压缩方法 | |
| KR101842420B1 (ko) | 정보 처리 장치 및 데이터 관리 방법 | |
| CN111061428B (zh) | 一种数据压缩的方法及装置 | |
| JP5549177B2 (ja) | 圧縮プログラム、方法及び装置、並びに解凍プログラム、方法及び装置 | |
| CN116303297B (zh) | 文件压缩处理方法、装置、设备及介质 | |
| CN103049388B (zh) | 一种分页存储器件的压缩管理方法及装置 | |
| CN113625965B (zh) | 分布式存储系统的数据存储方法、系统、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220610 |