CN110543496B - 用于时序数据库集群的数据处理方法和装置 - Google Patents
用于时序数据库集群的数据处理方法和装置 Download PDFInfo
- Publication number
- CN110543496B CN110543496B CN201910845493.1A CN201910845493A CN110543496B CN 110543496 B CN110543496 B CN 110543496B CN 201910845493 A CN201910845493 A CN 201910845493A CN 110543496 B CN110543496 B CN 110543496B
- Authority
- CN
- China
- Prior art keywords
- data
- stored
- management node
- storage
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000002123 temporal effect Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 abstract description 5
- 238000007726 management method Methods 0.000 description 131
- 238000013500 data storage Methods 0.000 description 18
- 238000012544 monitoring process Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种用于时序数据库集群的数据处理方法和装置，其中，该方法包括：获取待存储数据；判断待存储数据当前对应的数据块已存储的数据量是否小于预设存储数据量，若是，则将待存储数据存入其当前对应的数据块中；否则，将待存储数据存入新的数据块中，且新的数据块当前已存储的数据量小于预设存储数据量；将待存储数据的存储信息存储至管理节点组中的管理节点，其中，管理节点组为多个管理节点构成的对等计算机网络。采用本发明实施例提供的方法，将各个数据块中数据的存储信息存入具有对等网络结构的管理节点组中，当面对大量对数据的请求时，管理节点组中的多个管理节点均可以用来响应请求，从而提高了数据的响应速度。
Description
技术领域
本发明涉及数据库领域，具体涉及一种用于时序数据库集群的数据处理方法和装置。
背景技术
时序数据库全称为时间序列数据库。时间序列数据库主要用于处理带时间标签(按照时间的顺序变化，即时间序列化)的数据，带时间标签的数据也称为时间序列数据。
时间序列数据主要由电力行业、化工行业等各类型实时监测、检查与分析设备所采集、产生的数据。数据产生频率快，数据量大，一台服务器难以满足数据存储的需要，因此，通常采用集群的方法解决大量数据的存储需求，并使用一个管理节点对集群进行管理，记录数据的存放位置。
然而，在实际应用中，一旦管理节点出现故障，将会造成单点故障，从而导致用户无法查询到数据。另外，当有频繁的查询请求时，也会对管理节点造成压力，导致数据查询速度减慢，无法及时响应。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一，提出了一种用于时序数据库集群的数据处理方法和装置。
为了实现上述目的，本发明提供一种用于时序数据库集群的数据处理方法，其中，所述方法包括：
获取待存储数据；
判断所述待存储数据当前对应的数据块已存储的数据量是否小于预设存储数据量，若是，则将所述待存储数据存入其当前对应的数据块中；否则，将所述待存储数据存入新的数据块中，且所述新的数据块当前已存储的数据量小于所述预设存储数据量；
将所述待存储数据的存储信息存储至管理节点组中的管理节点，其中，所述管理节点组为多个管理节点构成的对等计算机网络。
可选地，所述待存储数据的存储信息包括存储时间信息以及存储地址信息，所述存储地址信息包括存储所述待存储数据的数据块对应的时序数据库地址；
所述方法还包括：
获取查询请求，所述查询请求包括待查询时间信息；
将所述查询请求发送给所述管理节点组中的其中一个管理节点，以供该管理节点根据所述待查询时间信息查询得到待查询数据的存储地址信息；
根据所述待查询数据的存储地址信息，将所述查询请求发送至相应的时序数据库，得到所述待查询数据。
可选地，将所述查询请求发送给所述管理节点组中的其中一个管理节点，包括：
根据所述管理节点组中各个所述管理节点的负载，确定用于接收所述查询请求的管理节点；
将所述查询请求发送给所述用于接收所述查询指令的管理节点。
可选地，所述将所述待存储数据存入新的数据块中，包括：
获取所述时序数据库集群中各个时序数据库的存储余量信息以及负载信息；
根据所述存储余量信息以及所述负载信息，确定各个时序数据库的状态；
根据各个时序数据库的状态，确定所述新的数据块所对应的时序数据库。
可选地，所述将所述待存储数据的存储信息存储至管理节点组中的管理节点的步骤，包括：
将所述待存储数据的存储信息存储至其中一个管理节点，以使该管理节点在所述管理节点组中进行广播，使所述管理节点组中每个管理节点存储所述存储时间信息以及所述地址信息。
本发明还提供一种用于时序数据库集群的数据处理装置，其中，所述装置包括：
存储数据获取模块，用于获取待存储数据；
判断模块，用于判断待存储数据的当前数据块已存储的数据量是否小于预设存储数据量；
第一存储模块，用于在所述第一判断模块判断出待存储数据的当前数据块已存储的数据量小于预设存储数据量时，将所述待存储数据存入所述当前数据块中；并在所述第一判断模块判断出待存储数据的当前数据块已存储的数据量大于或等于预设存储数据量时，将所述待存储数据存入新的数据块中；且所述新的数据块当前已存储的数据量小于预设存储数据量；
第二存储模块，用于将所述待存储数据的存储信息存储至管理节点组中的管理节点，其中，所述管理节点组为多个管理节点构成的对等计算机网络。
可选地，所述待存储数据的存储信息包括存储时间信息以及存储地址信息，所述存储地址信息包括存储所述待存储数据的数据块对应的时序数据库地址；
所述装置还包括：
查询请求获取模块，用于获取查询请求，所述查询请求包括待查询时间信息；
发送模块，用于将所述查询请求发送给所述管理节点组中的其中一个管理节点，以供该管理节点根据所述待查询时间信息查询得到待查询数据的存储地址信息；
查询模块，用于根据所述待查询数据的存储地址信息，将所述查询请求发送至相应的时序数据库，得到所述待查询数据。
可选地，所述发送模块包括：
第一计算单元，用于根据所述管理节点组中各个所述管理节点的负载，确定用于接收所述查询请求的管理节点；
发送单元，用于将所述查询请求发送给所述用于接收所述查询指令的管理节点。
可选地，所述第一存储模块包括：
获取单元，用于获取所述时序数据库集群中各个时序数据库的存储余量信息以及负载信息；
第二计算单元，用于根据所述存储余量信息以及所述负载信息，确定各个时序数据库的状态；
第三计算单元，用于根据各个时序数据库的状态，确定所述新的数据块所对应的时序数据库。
可选地，所述第二存储模块具体用于将所述待存储数据的存储信息存储至其中一个管理节点，以使该管理节点在所述管理节点组中进行广播，使所述管理节点组中每个管理节点存储所述存储时间信息以及所述地址信息。
采用本发明实施例提供的方法，其通过设置预设存储数据量作为条件，使数据库集群中各个数据块的数据存储量相同，同时，将各个数据块中数据的存储信息存入具有对等网络结构的管理节点组中，当面对大量对数据的请求时，管理节点组中的多个管理节点均可以用来响应请求，从而提高了数据的响应速度。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1为本发明实施例提供的用于时序数据库集群的数据存储方法的流程图；
图2为本发明实施例提供的管理节点结构的示意图；
图3为本发明实施例提供的将待存储数据存入新的数据块中的流程图；
图4为本发明实施例提供的数据处理的系统架构图之一；
图5为本发明实施例提供的用于时序数据库集群的数据查询方法的流程图；
图6为本发明实施例提供的将查询请求发送给管理节点组中的其中一个管理节点的流程图；
图7为本发明实施例提供的数据处理的系统架构图之二；
图8为本发明实施例提供的用于时序数据库集群的数据存储结构的示意图；
图9为本发明实施例提供的用于时序数据库集群的数据查询结构的示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
本发明实施例提供一种用于时序数据库集群的数据处理方法，该数据处理方法可以包括数据存储方法和数据查询方法，图1为本发明实施例提供的用于时序数据库集群的数据存储方法的流程图，如图1所示，用于时序数据库集群的数据处理方法包括以下步骤：
S110、获取待存储数据。
具体地，待存储数据包括时序数据，时序数据是按时间顺序记录的数据列，在同一数据列中的各个数据的统计口径相同，具有可比性。
S120、判断待存储数据当前对应的数据块已存储的数据量是否小于预设存储数据量。若当前对应的数据块存储的数据量达到该预设存储量时，执行S130，若当前对应的数据块存储的数据量达到该预设存储量时，执行S140。
具体地，在本发明实施例中，时序数据库集群包括多个时序数据库，每个时序数据库包括多个数据块，数据块用于存储待存储数据。按照获取待存储数据的时间顺序将待存储数据依次存入时序数据库集群中的数据块中。当前对应的数据块是指：在按照时间顺序存储待存储数据时，上一待存储数据存入的数据块。设置数据块的存储数据量上限作为预设存储数据量，并以数据块的存储数据量是否达到预设存储数据量作为时序数据库集群进行数据存储时切换数据块的条件。
现有的时序数据库记录数据通常采用预设时间间隔，并根据预设时间间隔，对数据按照采集的时间顺序进行记录。然而，采用这种方式存储，由于不同时间段采集的数据量可能不同，导致数据块的使用分配不合理，造成资源浪费。采用本发明实施例的方式，由于设置有预设存储数据量以使每个数据块存储的数据量相同，因此可以有效利用各个数据块的存储空间。
S130、将待存储数据存入其当前对应的数据块中。
S140、将待存储数据存入新的数据块中，且新的数据块当前已存储的数据量小于预设存储数据量。
具体地，将待存储数据存入其当前对应的数据块中以及将待存储数据存入新的数据块中之后，更新该数据块的存储量，以便在获取到下一个待存储数据时，重复执行上述判断。在本发明实施例中，新的数据块优选地使用未存储过数据的数据块，这样可以使每个数据块存储的是某一连续时段的数据，便于后续查询。当然，在本发明实施例中，存储的数据也可以不是连续时段的数据。通过对每条待存储数据的存储时间进行记录，在后续查询时，可以根据存储时间找到相应的数据块。
S150、将待存储数据的存储信息存储至管理节点组中的管理节点，其中，管理节点组为多个管理节点构成的对等计算机网络。
具体地，对等网络(Peer-to-peer networking，P2P)，即对等计算机网络，是一种在对等者(Peer)之间分配任务和工作负载的分布式应用架构，是对等计算模型在应用层形成的一种组网或网络形式。在本发明实施例中，管理节点组中的每个管理节点都通过P2P组网技术接入，并通过非对称加密技术生成自身的公私钥来进行唯一标识。在管理节点组中，每一个管理节点均是行为权利对等的个体，共同参与管理节点信息的记录、存储、维护等工作。所有在网管理节点共同审核、生成、记录以及保存元数据描述，从而保证各管理节点中的信息真实有效。而且，各管理节点中的信息一旦生成，无法篡改，在新的数据描述被接受并记录到新的管理节点之前，管理节点组末端生成的数据描述信息将一直有效。
需要说明的是，在本发明实施例中，可以将该数据块的第一条数据的存储时间和该数据块所位于的时序数据库IP存入管理节点组中的一个管理节点中；也可以将该数据块每条记录的存储时间和该数据块所位于的时序数据库IP存入管理节点组中的一个管理节点中，具体根据实际需要而确定。
采用本发明实施例提供的方法，其通过设置预设存储数据量作为条件，使数据库集群中各个数据块的数据存储量相同，同时，将各个数据块中数据的存储信息存入具有对等网络结构的管理节点组中，当面对大量对数据的请求时，管理节点组中的多个管理节点均可以用来响应请求，从而提高了数据的响应速度。
在一具体实施例中，待存储数据的存储信息包括存储时间信息以及存储地址信息，存储地址信息包括存储待存储数据的数据块对应的时序数据库地址。
图2为本发明实施例提供的管理节点结构的示意图，如图2所示，管理节点的结构包括：区块头(Block_Header)和区块体。其中，区块头包括：当前节点ID、父区块哈希值(previous block hash)、默克尔树根(Merkle root)以及时间戳(timestamp)。
区块体包括：管理节点IP、管理节点描述、管理节点编号、数据提供者及相关信息列表以及存储时间信息和存储地址信息。其中，存储时间信息是待存储数据被存入数据块的时间，存储地址信息是该数据块所在的时序数据库的地址。
图3为本发明实施例提供的将待存储数据存入新的数据块中的流程图，如图3所示，S140包括以下步骤：
S141、获取时序数据库集群中各个时序数据库的存储余量信息以及负载信息。
具体地，存储余量信息是指时序数据库的剩余存储空间，负载信息是指时序数据库被调用的频度。
S142、根据存储余量信息以及负载信息，确定各个时序数据库的状态。
具体地，根据时序数据库的存储余量信息以及负载信息进行计算，得到每一个时序数据库的状态，时序数据库的负载越低，存储余量越多，则时序数据库的状态越好。需要说明的是，在实际应用中，可以采用以分数来表征时序数据库的状态，从而使时序数据库的状态量化，便于分析。在计算时序数据库的状态时，可以根据实际需要，对存储余量信息以及负载信息设置相应的权值，以使存储余量信息以及负载信息具有不同的比重。
S143、根据各个时序数据库的状态，确定新的数据块所对应的时序数据库。
具体地，由于上述步骤是对整个时序数据库集群中的每个时序数据库的存储余量和负载信息进行计算，因此，可能存在：当前对应的数据块所处的时序数据库的状态相较于其他时序数据库的状态较佳。此时，继续在该时序数据库中使用新的数据块来存储待存储数据。
在时序数据库集群中，由于各个时序数据库的存储余量和负载不尽相同，采用上述方式从时序数据库集群中挑选出状态较佳的时序数据库来存储待存储数据，可以保证时序数据库集群中各个时序数据库的负载均衡。
在一具体实施例中，将待存储数据的存储信息存储至管理节点组中的管理节点的步骤，包括：
将待存储数据的存储信息存储至其中一个管理节点，以使该管理节点在管理节点组中进行广播，使管理节点组中每个管理节点存储存储时间信息以及地址信息。
图4为本发明实施例提供的数据处理的系统架构图之一，结合图4，首先说明数据存储过程中各节点的交互过程：数据处理的系统架构包括监控节点、管理节点组和时序数据库集群，其中，待存储数据当前对应的数据块已存储的数据量可以由监控节点进行监控。当待存储数据经过监控节点时，监控节点先检测当前对应的数据块已存储的数据量，当该数据量大于预设存储数据量时，监控节点根据时序数据库集群中的时序数据库1-5的存储余量信息以及负载信息，计算得到时序数据库1-5的状态，并从中选择一个状态较佳的时序数据库。监控节点将待存储数据存入该时序数据库的数据块中，之后，再将该待存储数据的存储信息存入管理节点组中的管理节点中，以使管理节点在管理节点组中进行广播，使管理节点组中的每个管理节点都存储该存储信息。
图5为本发明实施例提供的用于时序数据库集群的数据查询方法的流程图，如图5所示，用于时序数据库集群的数据处理方法还包括以下步骤：
S210、获取查询请求，查询请求包括待查询时间信息。
具体地，待查询时间是指待查询数据存储进时序数据库的时间，如上文所述，获取数据进行存储时，将数据的存储时间信息和存储地址信息均存入管理节点中，因此，用户想要查询某一时间的数据时，即可根据待查询数据的存储时间信息找到待查询数据的存储地址信息，从而得到待查询数据。
S220、将查询请求发送给管理节点组中的其中一个管理节点，以供该管理节点根据待查询时间信息查询得到待查询数据的存储地址信息。
具体地，在管理节点组中，每个管理节点均存储有存储时间信息和存储地址信息，因此，将查询请求发送给任意一个管理节点，均可以得到待查询数据的存储地址信息。
S230、根据待查询数据的存储地址信息，将查询请求发送至相应的时序数据库，得到待查询数据。
具体地，由于在上述存储过程中，数据的存储时间信息以及存储地址信息以一一对应的形式存储管理节点，因此，管理节点根据查询请求中的待查询时间，即可找到与该待查询时间相对应的存储地址信息，之后，将存储地址信息返回。在收到返回的存储地址信息后，将查询请求发送至与存储地址信息对应的时序数据库中，从而得到待查询的数据。
图6为本发明实施例提供的将查询请求发送给管理节点组中的其中一个管理节点的流程图，如图6所示，S220包括以下步骤：
S221、根据管理节点组中各个管理节点的负载，确定用于接收查询请求的管理节点。
S222、将查询请求发送给用于接收查询指令的管理节点。
具体地，由于各个管理节点的负载不同，监控节点可以实时监控管理节点组中各个管理节点的负载，在获取查询请求后，监控节点挑选出一个负载较低的管理节点，将查询请求发送至该管理节点。
图7为本发明实施例提供的数据处理的系统架构图之二，结合图7，说明数据查询过程中各节点的交互过程：监控节点在接收到查询请求后，需要将查询请求先发送给管理节点组以获取存储地址信息，进而根据存储地址信息将查询请求再发送给时序数据库集群。具体地，当查询请求经过监控节点时，监控节点先检测管理节点组中各个管理节点的负载，并从中选择一个负载较低的监控节点，将查询请求发送给该管理节点。该管理节点根据查询请求中的待查询时间与该管理节点已存储的存储时间信息进行匹配，之后，将匹配到的存储时间信息对应的存储地址信息返回给监控节点。监控节点根据存储地址信息，将查询请求发送至存储地址信息对应的时序数据库。该时序数据库根据查询请求，找到对应的待查询数据之后，将待查询数据返回给监控节点。
基于相同的发明构思，本发明实施例还提供一种用于时序数据库集群的数据处理装置，该数据处理装置具体可以为上述实施例中的监控节点。其中，数据处理装置可以包括数据存储结构，数据存储结构用于执行上述数据处理方法中的数据存储方法。图8为本发明实施例提供的用于时序数据库集群的数据存储结构的示意图，如图8所示，用于时序数据库集群的数据存储结构包括：存储数据获取模块810、判断模块820、第一存储模块830和第二存储模块840。
存储数据获取模块810用于获取待存储数据。
判断模块820用于判断待存储数据的当前数据块已存储的数据量是否小于预设存储数据量。
第一存储模块830用于在第一判断模块判断出待存储数据的当前数据块已存储的数据量小于预设存储数据量时，将待存储数据存入当前数据块中；并在第一判断模块判断出待存储数据的当前数据块已存储的数据量大于或等于预设存储数据量时，将待存储数据存入新的数据块中；且新的数据块当前已存储的数据量小于预设存储数据量。
在一具体实施例中，第一存储模块830包括：获取单元831、第二计算单元832和第三计算单元833。
获取单元831用于获取时序数据库集群中各个时序数据库的存储余量信息以及负载信息。
第二计算单元832用于根据存储余量信息以及负载信息，确定各个时序数据库的状态。
第三计算单元833用于根据各个时序数据库的状态，确定新的数据块所对应的时序数据库。
第二存储模块840用于将待存储数据的存储信息存储至管理节点组中的管理节点，其中，管理节点组为多个管理节点构成的对等计算机网络。
在一具体实施例中，第二存储模块840具体用于将待存储数据的存储信息存储至其中一个管理节点，以使该管理节点在管理节点组中进行广播，使管理节点组中每个管理节点存储时间信息以及地址信息。
采用本发明实施例提供的装置，其通过设置预设存储数据量作为条件，使数据库集群中各个数据块的数据存储量相同，同时，将各个数据块中数据的存储信息存入具有对等网络结构的管理节点组中，当面对大量对数据的请求时，管理节点组中的多个管理节点均可以用来响应请求，从而提高了数据的响应速度。
在一具体实施例中，待存储数据的存储信息包括存储时间信息以及存储地址信息，存储地址信息包括存储待存储数据的数据块对应的时序数据库地址；
在一具体实施例中，数据处理装置还包括数据查询结构，该数据查询结构用于执行上述数据处理方法中的数据查询方法。图9为本发明实施例提供的用于时序数据库集群的数据查询结构的示意图，如图9所示，用于时序数据库集群的数据查询结构包括查询请求获取模块910、发送模块920、查询模块930。
查询请求获取模块910用于获取查询请求，查询请求包括待查询时间信息。
发送模块920用于将查询请求发送给管理节点组中的其中一个管理节点，以供该管理节点根据待查询时间信息查询得到待查询数据的存储地址信息。
在一具体实施例中，发送模块920包括：第一计算单元921和发送单元922。
第一计算单元921用于根据管理节点组中各个管理节点的负载，确定用于接收查询请求的管理节点。
发送单元922用于将查询请求发送给用于接收查询指令的管理节点。
查询模块930用于根据待查询数据的存储地址信息，将查询请求发送至相应的时序数据库，得到待查询数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例的目的。
另外，在本发明实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种用于时序数据库集群的数据处理方法，其特征在于，所述方法包括：
获取待存储数据，其中，所述待存储数据包括时序数据；
判断所述待存储数据当前对应的数据块已存储的数据量是否小于预设存储数据量，若是，则将所述待存储数据存入其当前对应的数据块中；否则，将所述待存储数据存入新的数据块中，且所述新的数据块当前已存储的数据量小于所述预设存储数据量，其中，所述当前对应的数据块为在按照时间顺序存储待存储数据时，上一待存储数据存入的数据块；
将所述待存储数据的存储信息存储至管理节点组中的管理节点，其中，所述管理节点组为多个管理节点构成的对等计算机网络，所述待存储数据的存储信息包括存储时间信息以及存储地址信息，所述存储地址信息包括存储所述待存储数据的数据块对应的时序数据库地址；
所述将所述待存储数据存入新的数据块中，包括：
获取所述时序数据库集群中各个时序数据库的存储余量信息以及负载信息；
根据所述存储余量信息以及所述负载信息，确定各个时序数据库的状态；
根据各个时序数据库的状态，确定所述新的数据块所对应的时序数据库。
2.根据权利要求1所述的用于时序数据库集群的数据处理方法，其特征在于，所述方法还包括：
获取查询请求，所述查询请求包括待查询时间信息；
将所述查询请求发送给所述管理节点组中的其中一个管理节点，以供该管理节点根据所述待查询时间信息查询得到待查询数据的存储地址信息；
根据所述待查询数据的存储地址信息，将所述查询请求发送至相应的时序数据库，得到所述待查询数据。
3.根据权利要求2所述的用于时序数据库集群的数据处理方法，其特征在于，将所述查询请求发送给所述管理节点组中的其中一个管理节点，包括：
根据所述管理节点组中各个所述管理节点的负载，确定用于接收所述查询请求的管理节点；
将所述查询请求发送给所述用于接收所述查询指令的管理节点。
4.根据权利要求1所述的用于时序数据库集群的数据处理方法，其特征在于，所述将所述待存储数据的存储信息存储至管理节点组中的管理节点的步骤，包括：
将所述待存储数据的存储信息存储至其中一个管理节点，以使该管理节点在所述管理节点组中进行广播，使所述管理节点组中每个管理节点存储所述存储时间信息以及所述地址信息。
5.一种用于时序数据库集群的数据处理装置，其特征在于，所述装置包括：
存储数据获取模块，用于获取待存储数据，其中，所述待存储数据包括时序数据；
第一判断模块，用于判断待存储数据的当前数据块已存储的数据量是否小于预设存储数据量，其中，所述当前对应的数据块为在按照时间顺序存储待存储数据时，上一待存储数据存入的数据块；
第一存储模块，用于在所述第一判断模块判断出待存储数据的当前数据块已存储的数据量小于预设存储数据量时，将所述待存储数据存入所述当前数据块中；并在所述第一判断模块判断出待存储数据的当前数据块已存储的数据量大于或等于预设存储数据量时，将所述待存储数据存入新的数据块中；且所述新的数据块当前已存储的数据量小于预设存储数据量；
第二存储模块，用于将所述待存储数据的存储信息存储至管理节点组中的管理节点，其中，所述管理节点组为多个管理节点构成的对等计算机网络，所述待存储数据的存储信息包括存储时间信息以及存储地址信息，所述存储地址信息包括存储所述待存储数据的数据块对应的时序数据库地址；
所述第一存储模块包括：
获取单元，用于获取所述时序数据库集群中各个时序数据库的存储余量信息以及负载信息；
第二计算单元，用于根据所述存储余量信息以及所述负载信息，确定各个时序数据库的状态；
第三计算单元，用于根据各个时序数据库的状态，确定所述新的数据块所对应的时序数据库。
6.根据权利要求5所述的用于时序数据库集群的数据处理装置，其特征在于，所述装置还包括：
查询请求获取模块，用于获取查询请求，所述查询请求包括待查询时间信息；
发送模块，用于将所述查询请求发送给所述管理节点组中的其中一个管理节点，以供该管理节点根据所述待查询时间信息查询得到待查询数据的存储地址信息；
查询模块，用于根据所述待查询数据的存储地址信息，将所述查询请求发送至相应的时序数据库，得到所述待查询数据。
7.根据权利要求6所述的用于时序数据库集群的数据处理装置，其特征在于，所述发送模块包括：
第一计算单元，用于根据所述管理节点组中各个所述管理节点的负载，确定用于接收所述查询请求的管理节点；
发送单元，用于将所述查询请求发送给所述用于接收所述查询指令的管理节点。
8.根据权利要求5所述的用于时序数据库集群的数据处理装置，其特征在于，所述第二存储模块具体用于将所述待存储数据的存储信息存储至其中一个管理节点，以使该管理节点在所述管理节点组中进行广播，使所述管理节点组中每个管理节点存储所述存储时间信息以及所述地址信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910845493.1A CN110543496B (zh) | 2019-09-06 | 2019-09-06 | 用于时序数据库集群的数据处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910845493.1A CN110543496B (zh) | 2019-09-06 | 2019-09-06 | 用于时序数据库集群的数据处理方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110543496A CN110543496A (zh) | 2019-12-06 |
| CN110543496B true CN110543496B (zh) | 2022-04-15 |
Family
ID=68712902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910845493.1A Active CN110543496B (zh) | 2019-09-06 | 2019-09-06 | 用于时序数据库集群的数据处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110543496B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112199249B (zh) * | 2020-09-16 | 2024-10-01 | 中国建设银行股份有限公司 | 监控数据的处理方法、装置、设备和介质 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013069073A1 (ja) * | 2011-11-07 | 2013-05-16 | 株式会社日立製作所 | 時系列データ管理システム、装置および方法 |
| CN103914449B (zh) * | 2012-12-29 | 2017-06-16 | 上海可鲁系统软件有限公司 | 一种多源时间序列数据压缩存储方法 |
| CN105095106B (zh) * | 2014-04-30 | 2018-04-13 | 广州市动景计算机科技有限公司 | 数据块存储方法及装置 |
| AT516425A2 (de) * | 2014-11-06 | 2016-05-15 | Siemens Ag Oesterreich | Verfahren zum Abspeichern und zur Auswahl von Daten |
| CN106648446B (zh) * | 2015-10-30 | 2020-07-07 | 阿里巴巴集团控股有限公司 | 一种用于时序数据的存储方法、装置及电子设备 |
| JP6614958B2 (ja) * | 2015-12-18 | 2019-12-04 | 株式会社日立製作所 | 系列データ管理システムおよび情報処理装置 |
| CN107229620B (zh) * | 2016-03-23 | 2019-11-22 | 杭州海康威视数字技术股份有限公司 | 一种视频数据的存储方法及装置 |
| CN107544964A (zh) * | 2016-06-24 | 2018-01-05 | 吴建凰 | 一种用于时序数据库的数据块存储方法 |
| CN107249046A (zh) * | 2017-08-15 | 2017-10-13 | 李俊庄 | 一种基于区块链的分布式云存储系统构建方法 |
| CN107426250A (zh) * | 2017-09-12 | 2017-12-01 | 大唐广电科技（武汉）有限公司 | 一种基于区块链的工业数字信息网络化平台 |
| CN109872019A (zh) * | 2017-12-05 | 2019-06-11 | 航天信息股份有限公司 | 农产品质量安全追溯方法及系统 |
| CN108470070A (zh) * | 2018-03-29 | 2018-08-31 | 重庆大学 | 一种多元时间序列数据分布存储及恢复方法 |
| CN109189857B (zh) * | 2018-09-17 | 2021-03-30 | 北京京东尚科信息技术有限公司 | 基于区块链的数据共享系统、方法和装置 |
| CN110175212B (zh) * | 2019-05-22 | 2021-07-06 | 杭州复杂美科技有限公司 | 区块链分布式存储方法、数据读取方法、设备和存储介质 |
-
2019
- 2019-09-06 CN CN201910845493.1A patent/CN110543496B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110543496A (zh) | 2019-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10031671B2 (en) | Method, apparatus, and system for calculating identification threshold to distinguish cold data and hot data | |
| CN108133031B (zh) | 一种过滤推荐视频候选结果的方法及装置 | |
| CN109062769B (zh) | It系统性能风险趋势预测的方法、装置和设备 | |
| CN111221700B (zh) | 一种集群节点状态监控方法、装置、设备及可读存储介质 | |
| CN112130996A (zh) | 数据监控控制系统、方法、装置、电子设备和存储介质 | |
| CN108763046B (zh) | 线程运行监控方法、装置、计算机设备和存储介质 | |
| CN110543496B (zh) | 用于时序数据库集群的数据处理方法和装置 | |
| CN107515807B (zh) | 一种存储监控数据的方法及装置 | |
| CN105069139B (zh) | 文件访问方法和文件访问装置以及服务器 | |
| CN111309686B (zh) | 一种目录配额一致性控制方法、装置、设备及介质 | |
| CN113360094A (zh) | 数据预测方法和装置、电子设备及存储介质 | |
| CN117435335A (zh) | 算力调度方法、装置、计算机设备和存储介质 | |
| CN115374109B (zh) | 数据访问方法、装置、计算设备和系统 | |
| CN113905252B (zh) | 直播间的数据存储方法、装置、电子设备及存储介质 | |
| CN115914668A (zh) | 一种直播流处理方法及直播源站集群 | |
| CN114565325A (zh) | 一种电力物联网的大数据分析方法及系统 | |
| CN111966993B (zh) | 设备标识码识别、生成算法测试方法、装置、设备及介质 | |
| CN111506422B (zh) | 事件分析方法及系统 | |
| CN113626383A (zh) | 一种数据处理方法、装置及设备 | |
| CN109684094B (zh) | 云平台环境下海量文献并行挖掘的负载分配方法及系统 | |
| CN104699697B (zh) | 一种数据处理方法及装置 | |
| CN115766498B (zh) | 一种大数据链路全链路追踪监测方法及系统 | |
| CN109063081B (zh) | 一种nfs业务监控方法、装置、设备及可读存储介质 | |
| Field et al. | How dynamic is the grid? towards a quality metric for grid information systems | |
| CN113590319B (zh) | 一种消息队列的计算资源负载均衡方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |