CN114020721A - 时序数据库集群的数据管理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及数据处理技术领域，揭露一种时序数据库集群的数据管理方法，包括：获取待处理的历史集群的旧分片规则，以及对历史集群进行更新后的新集群的新分片规则；基于新分片规则和旧分片规则，获取与新集群的数据实体相对应的待迁移列表；待迁移列表包括数据实体以及与数据实体相对应的旧流入节点和新流入节点，旧流入节点和新流入节点用于指示数据实体的数据流向；基于预设迁移策略，将待迁移列表中的数据实体从旧流入节点迁移至新流入节点；将待迁移列表中与旧流入节点相对应的数据实体进行删除处理，并对应修改新集群的状态信息。本发明可以提高时序数据库集群的数据管理的灵活性。

Description

时序数据库集群的数据管理方法、装置、设备及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种时序数据库集群的数据管理的方法、装置、电子设备及计算机可读存储介质。

背景技术

现有的时序数据库也可称为时间序列数据库，主要用于处理带有时间标签(按照时间的顺序变化，即时间序列化)的数据，时间序列数据主要由电力行业、化工行业、气象行业、地理信息等各类型实时监测、检查与分析设备所采集、产生的数据，这些工业数据的典型特点是：产生频率快(每一个监测点一秒钟内可产生多条数据)、严重依赖于采集时间(每一条数据均要求对应唯一的时间)、测点多信息量大(常规的实时监测系统均有成千上万的监测点，监测点每秒钟都产生数据，每天产生几十GB的数据量)。

目前，处理时间序列数据的时序数据库具有高性能、数据压缩、过期数据自动清理、支持多种聚合函数等特点，时序数据库在监控、物联网等领域也逐渐成为主流。但是，在大规模的应用场景下，将多个时序数据库组件而成的集群仍需要考虑扩容的问题，例如influxdb数据库，官方提供了集群版和单机版，其中集群版收费昂贵且不开源；单机版虽然免费、开源，但是只支持一个influxdb实例。

此外，现有的基于单机版influxdb的集群发明，虽能通过分片规则实现读写请求的路由，但是在集群扩容方面不能兼顾在线、历史数据迁移、旧数据清理、分片规则无缝切换、进度管理等问题，同时也需要较多的人工操作，导致灵活性差、适用范围受限，影响用户体验。

发明内容

本发明提供一种时序数据库集群的数据管理方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高时序数据库集群的数据管理的灵活性及效率。

为实现上述目的，本发明提供的一种时序数据库集群的数据管理方法，包括：

获取待处理的历史集群的旧分片规则，以及对所述历史集群进行更新后的新集群的新分片规则；

基于所述新分片规则和所述旧分片规则，获取与所述新集群的数据实体相对应的待迁移列表；所述待迁移列表包括所述数据实体以及与所述数据实体相对应的旧流入节点和新流入节点，所述旧流入节点和所述新流入节点用于指示所述数据实体的数据流向；

基于预设迁移策略，将所述待迁移列表中的数据实体从所述旧流入节点迁移至所述新流入节点；

将所述待迁移列表中与所述旧流入节点相对应的数据实体进行删除处理，并对应修改所述新集群的状态信息。

此外，可选的技术发明是，所述基于所述新分片规则和所述旧分片规则，获取与所述新集群的数据实体相对应的待迁移列表包括：

将所述新集群的状态标记为准备状态；

基于新分片规则和旧分片规则遍历所述准备状态下的新集群，并查询所述新集群的数据实体；

基于所述数据实体，获取与所述数据实体相对应的待迁移列表。

此外，可选的技术发明是，所述基于新分片规则和旧分片规则遍历所述准备状态下的新集群，并查询所述新集群的数据实体包括：

基于所述新集群的处理类型、所述新分片规则和所述旧分片规则，分别获取所述新集群的查询节点；

向所述查询节点发送查询请求，获取所述新集群的所有的数据实体。

此外，可选的技术发明是，所述预设迁移策略包括时间策略和实体策略；其中，

基于所述时间策略将所述待迁移列表中的数据实体从所述旧流入节点迁移至所述新流入节点包括：

基于预设配置文件，获取所述数据实体的数据保留时间、迁移间隔和并发数；

当所述迁移列表完成时的结束时间、所述迁移间隔、所述数据保留时间符合预设条件时，遍历所述待迁移列表并根据所述并发数，向所述待迁移列表中的数据实体的旧流入节点发送迁移请求；

基于所述迁移请求获取与所述预设条件相对应的时间范围内的数据实体，并发送至对应的新流入节点；

判断所述结束时间、所述迁移间隔、所述数据保留时间是否符合预设条件，并重复执行上述步骤。

此外，可选的技术发明是，基于所述实体策略将所述待迁移列表中的数据实体从所述旧流入节点迁移至所述新流入节点包括：

基于预设配置文件，获取所述数据实体的数据保留时间、迁移间隔和并发数；

遍历所述待迁移列表，并根据所述并发数，获取所述待迁移列表中的数据实体；

在预设时间范围内，向所述待迁移列表中的数据实体的对应的旧流入节点发送迁移请求；

基于所述迁移请求获取所述预设时间范围内的数据实体，并发送至对应的新流入节点；

将迁移后的所述数据实体的唯一标识作为进度，并记录在数据库中；

重复执行上述步骤，直至所述待迁移列表内的所有数据实体迁移完成。

此外，可选的技术发明是，所述将所述待迁移列表中与所述旧流入节点相对应的数据实体进行删除处理，并对应修改所述新集群的状态信息包括：

将所述新集群的状态标记为清理中；

遍历所述待迁移列表，删除所述将所述待迁移列表中与所述旧流入节点相对应的数据实体；

将所述新集群的状态标记为空闲。

为了解决上述问题，本发明还提供一种时序数据库集群的数据管理装置，所述装置包括：

新分片规则获取单元，用于获取待处理的历史集群的旧分片规则，以及对所述历史集群进行更新后的新集群的新分片规则；

待迁移列表获取单元，用于基于所述新分片规则和所述旧分片规则，获取与所述新集群的数据实体相对应的待迁移列表；所述待迁移列表包括所述数据实体以及与所述数据实体相对应的旧流入节点和新流入节点，所述旧流入节点和所述新流入节点用于指示所述数据实体的数据流向；

数据迁移单元，用于基于预设迁移策略，将所述待迁移列表中的数据实体从所述旧流入节点迁移至所述新流入节点；

状态修改单元，用于将所述待迁移列表中与所述旧流入节点相对应的数据实体进行删除处理，并对应修改所述新集群的状态信息。

为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：

存储器，存储至少一个指令；及

处理器，执行所述存储器中存储的指令以实现上述所述的时序数据库集群的数据管理方法。

为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的时序数据库集群的数据管理方法。

本发明实施例通过获取待处理的历史集群的旧分片规则以及新分片规则；基于新分片规则和旧分片规则，获取与新集群的数据实体相对应的待迁移列表，然后基于预设迁移策略，将待迁移列表中的数据实体从旧流入节点迁移至新流入节点；最后，将待迁移列表中与旧流入节点相对应的数据实体进行删除处理，并对应修改新集群的状态信息，在集群因新增节点集合或减少节点集合时，能实现在线扩容或缩容，在不影响集群使用的同时，实现了数据迁移与清理、分片规则无缝切换、进度管理等功能，极大减轻了人工的操作，提高集群数据库的数据管理的灵活性及效率。

附图说明

图1为本发明一实施例提供的时序数据库集群的数据管理方法的流程示意图；

图2为本发明一实施例提供的时序数据库集群的数据管理方法逻辑框图；

图3为本发明一实施例提供的时序数据库集群的数据管理装置的模块示意图；

图4为本发明一实施例提供的实现时序数据库集群的数据管理方法的电子设备的内部结构示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种时序数据库集群的数据管理方法。具体地，参照图1所示，为本发明一实施例提供的时序数据库集群的数据管理方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。

在本实施例中，时序数据库集群的数据管理方法包括：

S100：获取待处理的历史集群的旧分片规则，以及对所述历史集群进行更新后的新集群的新分片规则。

其中，历史集群主要是指原有的数据库集群，对历史集群的更新主要是指历史集群中的数据库发生了变化，即历史集群发生了扩容、缩容或分片规则变更能情况，当历史集群更新后，对应的数据的分片规则也会发生变化，进而会出现旧分片规则和新分片规则。

具体地，分片规则主要是指通过某种特定的条件，将存放在数据库中的数据分散存放至多个数据库中，从而达到分散设备负载的效果。其中，分片规则主要包括两种模式，一种是按照不同的表来切分，也可称为数据的垂直切分，另外一种是根据表中的数据的逻辑关系，将同一表中的数据按照某种条件拆分到多台数据库上，也可称为数据的水平切分。

换言之，旧分片规则主要是指数据在数据库中的处理规则，新分片规则为集群中的数据库增加或减少时，对数据的处理会带来一定的影响，此时的数据处理规则，可理解为新分片规则。

S200：基于所述新分片规则和所述旧分片规则，获取与所述新集群的数据实体相对应的待迁移列表；所述待迁移列表包括所述数据实体以及与所述数据实体相对应的旧流入节点和新流入节点，所述旧流入节点和所述新流入节点用于指示所述数据实体的数据流向。

其中，在获取待迁移列表时，可按照新分片规则和旧分片规则分别计算流入节点，获取新流入节点和旧流入节点，如果二者相同则忽略，否则，将数据实体、新流入节点和旧流入节点组合成迁移实体，放入待迁移列表中。当计算完所有的数据实体后，即可查询数据库的数据保留时间段，并待迁移列表的结束时间属性设置为当前时间，开始时间属性为结束时间与数据保留时间段的差值，并从预设在配置文件获取并发数和迁移时间等，以便后续的数据迁移使用。

具体的，该步骤S200可进一步包括:

S210：将所述新集群的状态标记为准备状态；

S220：基于新分片规则和旧分片规则遍历所述准备状态下的新集群，并查询所述新集群的数据实体；

S230：基于所述数据实体，获取与所述数据实体相对应的待迁移列表。

在该步骤S200中，新分片规则可通过分片规则引擎获取，该分片规则引擎可根据数据对应的实体特征，计算与实体对应的节点，该节点可理解为与基于分片规则引擎形成的新分片规则相对应的数据的新流入节点。在本发明中，分片规则引擎并不限制具体算法，例如可采用一致性hash算法等。

此外，所述待迁移列表是由多个需要进行数据迁移的迁移实体构成的，待迁移列别的确定，即是对需要进行迁移的数据实体(即迁移实体)的确定。其中，迁移实体包括数据实体、旧流入节点和新流入节点。

其中，在上述步骤S220中，查询所述新集群的所有的数据实体的步骤进一步包括：

S221：基于所述新集群的处理类型、所述新分片规则和所述旧分片规则，分别获取所述新集群的查询节点；

其中，处理类型可包括读请求或写请求，当所述处理类型为写请求时，按照新分片规则和旧分片规则，分别确定所述新集群的流入节点，如果所述新分片规则的新流入节点和所述旧分片规则的旧流入节点不同，则确定所述新流入节点和所述旧流入节点均为查询节点，并同时向所述新流入节点和所述旧流入节点发送写请求；当所述处理类型为读请求时，直接按照旧分片规则，确定对应的查询节点。

S222：向所述查询节点发送查询请求，获取所述新集群的所有的数据实体。

其中，可遍历所述新集群中的所有数据库，并向该新集群中的所有数据库的查询节点发送对应的查询请求，并基于查询请求获取对应的数据实体，该数据实体为唯一数据实体。

具体地，假设待处理的历史集群中原有5个数据库，当进行扩容操作后，形成的新集群中的数据库数量可能增加至10，如对应旧集群的旧分片规则是从数据库1中读取数据，则扩容后的新集群的新分片规则可能是从数据库6中读取数据，此时，由于分片规则发生变化，就需要对原有的5个数据库中的数据按照新分片规则重新划分至10个数据库中。

在上述过程中就需要对新分片规则对应的流入节点(新流入节点)和旧分片规则对应的流入节点(旧流入节点)进行比较判断，如果相同表明该数据不用进行迁移，保持现有存储位置即可，否则需要对其进行迁移，并将对应的写请求分别发送至新流入节点和旧流入节点中。而针对读请求，则不用考虑新分片规则，直接按照旧分片规则，确定旧流入节点作为查询节点即可。

作为具体示例，在数据库中，数据会有一个或多个特征表明该数据是属于哪个实体，例如，服务器A的磁盘B的指标为读取速度的数据，对应的实体就存在三个特征：服务器＝A，磁盘＝B，指标＝读取速度。上述计算查询节点(流入节点)就是将实体的所有特征进行一定的分片计算，获取该实体对应的数据应该写入哪个节点或应该从哪个节点进行读取。最后，基于确定后的查询节点，获取需要进行数据迁移的唯一数据实体，并构成待迁移列表。

S300：基于预设迁移策略，将所述待迁移列表中的数据实体从所述旧流入节点迁移至所述新流入节点。

其中，预设迁移策略主要包括时间策略和实体策略两种，在应用过程中，可根据场景或要求灵活选用这两种策略。

针对第一种策略，基于时间策略将所述待迁移列表中的数据实体从所述就流入阶段迁移至所述新流入节点的步骤包括：

S310：基于预设配置文件，获取所述数据实体的数据保留时间、迁移间隔和并发数；

S320：当所述迁移列表完成时的结束时间、所述迁移间隔、所述数据保留时间符合预设条件时，遍历所述待迁移列表并根据所述并发数，向所述待迁移列表中的数据实体的旧流入节点发送迁移请求；

S330：基于所述迁移请求获取与所述预设条件相对应的时间范围内的数据实体，并发送至对应的新流入节点；

S340：判断所述结束时间、所述迁移间隔、所述数据保留时间是否符合预设条件，并重复执行上述步骤S320至S340。

具体地，设R＝结束时间，L＝R-迁移间隔，开始时间设置为结束时间与数据保留时间的差值，预设条件主要是指若L小于所述开始时间，则使L＝开始时间，并遍历所述待迁移列表发送对应的迁移请求；当步骤S330执行完毕后，将L时间作为一个进度，记录与对一个的数据库中，然后通过步骤S340进一步设R＝L，L＝L-迁移时间，并重复上述步骤，直至R小于等于结束时间，则表明数据实体迁移完成。

针对第二种策略，基于实体策略将所述待迁移列表中的数据实体从所述就流入阶段迁移至所述新流入节点的步骤包括：

S350：基于预设配置文件，获取所述数据实体的数据保留时间、迁移间隔和并发数；

S360：遍历所述待迁移列表，并根据所述并发数，获取所述待迁移列表中的数据实体；

S370：在预设时间范围内，向所述待迁移列表中的数据实体的对应的旧流入节点发送迁移请求；

S380：基于所述迁移请求获取所述预设时间范围内的数据实体，并发送至对应的新流入节点；

S390：将迁移后的所述数据实体的唯一标识作为进度，并记录在数据库中；

S340：重复执行所述步骤S350至S390，直至所述待迁移列表内的所有数据实体迁移完成。

其中，预设时间范围可根据时间策略中的L和R进行确定，预设时间范围主要是指时间范围[L，R)，其中R＝结束时间(迁移列表完成时的结束时间)，L＝R-迁移间隔。

作为具体示例，假设迁移间隔设置为1天，数据保留时间设置为30天，则每次对数据实体的一天的数据量进行迁移，从旧流入节点读取出来，并写入到新流入节点，一次可完成30天数据量的迁移，则表示这个实体的数据都完成了。而待迁移列表中含有多个数据实体，假设有10个实体，若并发数设置为3，则每次对3个数据实体进行数据迁移，而每个数据实体均是按照时间段，按照一天的数据量进行迁移，直到列表里的10个数据实体均完成迁移，表示完成所有的迁移工作。

S400：将所述待迁移列表中与所述旧流入节点相对应的数据实体进行删除处理，并对应修改所述新集群的状态信息。

具体的，待迁移列表中的数据实体均迁移完成后，还需要进一步对迁移列表中的旧流入节点的数据实体进行删除，该步骤可进一步包括：

S410：将所述新集群的状态标记为清理中；

S420：遍历所述待迁移列表，删除所述将所述待迁移列表中与所述旧流入节点相对应的数据实体；

S430：将所述新集群的状态标记为空闲。

在本发明的一个具体实施方式中，当数据实体在迁移过程中出现意外中断，或者管理节点因某些原因中断迁移操作时，还可以进行恢复，并在恢复的时候检查中断前的新集群状态，进而根据异常中断之前的新集群状态，继续进行相应的操作。

具体地，若异常中断之前的状态为准备中，则异常中断恢复后，可重新从准备阶段开始进行数据管理；其中，数据管理可包括集群的扩容、缩容、分片规则调整、分片算法变更等场景中对数据的管理；

若异常中断之前的状态为数据迁移中，则获取迁移进度，并继续进行数据实体的迁移；

若异常中断之前的状态为清理中，则继续进行数据清理操作。

图2示出了根据本发明一实施例的时序数据库集群的数据管理方法的示意框图。

作为具体示例，如图2所示，客户端可通过路由计算请求需要路由到的时序数据库节点，并通过数据库连接池对时序数据库进行读写，数据库连接池主要用于管理各个时序数据库节点的连接；分片规则主要是根据一定算法和规则，将入参转化为所管理的时序数据库的标识，扩容模块是执行扩容操作时的主要模块，包括调整分片规则、进度管理、恢复、集群状态转移等功能；当然，除了扩容外，还可适用于缩容、分片规则调整、分片算法变更等场景。

根据上述本发明的基于时序数据库集群的数据管理方法，能够在集群因新增节点集合或减少节点集合时，能实现在线扩容或缩容，在不影响集群使用的同时，实现了数据迁移与清理、分片规则无缝切换、进度管理等功能，极大减轻了人工的操作，提高集群数据库的数据管理的灵活性及效率。

如图3所示，是本发明时序数据库集群的数据管理装置的功能模块图。

本发明所述时序数据库集群的数据管理装置100可以安装于电子设备中。根据实现的功能，所述时序数据库集群的数据管理装置可以包括新分片规则获取单元101、待迁移列表获取单元102、数据迁移单元103和状态修改单元104。本发所述单元也可以称之为模块，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。

在本实施例中，关于各模块/单元的功能如下：

新分片规则获取单元101，用于获取待处理的历史集群的旧分片规则，以及对所述历史集群进行更新后的新集群的新分片规则。

其中，历史集群主要是指原有的数据库集群，对历史集群的更新主要是指历史集群中的数据库发生了变化，即历史集群发生了扩容、缩容或分片规则变更能情况，当历史集群更新后，对应的数据的分片规则也会发生变化，进而会出现旧分片规则和新分片规则。

具体地，分片规则主要是指通过某种特定的条件，将存放在数据库中的数据分散存放至多个数据库中，从而达到分散设备负载的效果。其中，分片规则主要包括两种模式，一种是按照不同的表来切分，也可称为数据的垂直切分，另外一种是根据表中的数据的逻辑关系，将同一表中的数据按照某种条件拆分到多台数据库上，也可称为数据的水平切分。

换言之，旧分片规则主要是指数据在数据库中的处理规则，新分片规则为集群中的数据库增加或减少时，对数据的处理会带来一定的影响，此时的数据处理规则，可理解为新分片规则。

待迁移列表获取单元102，用于基于所述新分片规则和所述旧分片规则，获取与所述新集群的数据实体相对应的待迁移列表；所述待迁移列表包括所述数据实体以及与所述数据实体相对应的旧流入节点和新流入节点，所述旧流入节点和所述新流入节点用于指示所述数据实体的数据流向。

其中，在获取待迁移列表时，可按照新分片规则和旧分片规则分别计算流入节点，获取新流入节点和旧流入节点，如果二者相同则忽略，否则，将数据实体、新流入节点和旧流入节点组合成迁移实体，放入待迁移列表中。当计算完所有的数据实体后，即可查询数据库的数据保留时间段，并待迁移列表的结束时间属性设置为当前时间，开始时间属性为结束时间与数据保留时间段的差值，并从预设在配置文件获取并发数和迁移时间等，以便后续的数据迁移使用。

具体的，该待迁移列表获取单元102可进一步包括:

状态标记模块1021，用于将所述新集群的状态标记为准备状态；

数据实体查询模块2022，用于基于新分片规则和旧分片规则遍历所述准备状态下的新集群，并查询所述新集群的数据实体；

待迁移列表获取模块2023，用于基于所述数据实体，获取与所述数据实体相对应的待迁移列表。

在该单元中，新分片规则可通过分片规则引擎获取，该分片规则引擎可根据数据对应的实体特征，计算与实体对应的节点，该节点可理解为与基于分片规则引擎形成的新分片规则相对应的数据的新流入节点。在本发明中，分片规则引擎并不限制具体算法，例如可采用一致性hash算法等。

此外，所述待迁移列表是由多个需要进行数据迁移的迁移实体构成的，待迁移列别的确定，即是对需要进行迁移的数据实体(即迁移实体)的确定。其中，迁移实体包括数据实体、旧流入节点和新流入节点。

其中，在上述数据实体查询模块2022查询所述新集群的所有的数据实体的进一步包括：

查询节点获取模块，用于基于所述新集群的处理类型、所述新分片规则和所述旧分片规则，分别获取所述新集群的查询节点；

其中，处理类型可包括读请求或写请求，当所述处理类型为写请求时，按照新分片规则和旧分片规则，分别确定所述新集群的流入节点，如果所述新分片规则的新流入节点和所述旧分片规则的旧流入节点不同，则确定所述新流入节点和所述旧流入节点均为查询节点，并同时向所述新流入节点和所述旧流入节点发送写请求；当所述处理类型为读请求时，直接按照旧分片规则，确定对应的查询节点。

数据实体获取模块，用于向所述查询节点发送查询请求，获取所述新集群的所有的数据实体。

其中，可遍历所述新集群中的所有数据库，并向该新集群中的所有数据库的查询节点发送对应的查询请求，并基于查询请求获取对应的数据实体，该数据实体为唯一数据实体。

具体地，假设待处理的历史集群中原有5个数据库，当进行扩容操作后，形成的新集群中的数据库数量可能增加至10，如对应旧集群的旧分片规则是从数据库1中读取数据，则扩容后的新集群的新分片规则可能是从数据库6中读取数据，此时，由于分片规则发生变化，就需要对原有的5个数据库中的数据按照新分片规则重新划分至10个数据库中。

在上述过程中就需要对新分片规则对应的流入节点(新流入节点)和旧分片规则对应的流入节点(旧流入节点)进行比较判断，如果相同表明该数据不用进行迁移，保持现有存储位置即可，否则需要对其进行迁移，并将对应的写请求分别发送至新流入节点和旧流入节点中。而针对读请求，则不用考虑新分片规则，直接按照旧分片规则，确定旧流入节点作为查询节点即可。

作为具体示例，在数据库中，数据会有一个或多个特征表明该数据是属于哪个实体，例如，服务器A的磁盘B的指标为读取速度的数据，对应的实体就存在三个特征：服务器＝A，磁盘＝B，指标＝读取速度。上述计算查询节点(流入节点)就是将实体的所有特征进行一定的分片计算，获取该实体对应的数据应该写入哪个节点或应该从哪个节点进行读取。最后，基于确定后的查询节点，获取需要进行数据迁移的唯一数据实体，并构成待迁移列表。

数据迁移单元103，用于基于预设迁移策略，将所述待迁移列表中的数据实体从所述旧流入节点迁移至所述新流入节点。

其中，预设迁移策略主要包括时间策略和实体策略两种，在应用过程中，可根据场景或要求灵活选用这两种策略。

针对第一种策略，基于时间策略将所述待迁移列表中的数据实体从所述就流入阶段迁移至所述新流入节点进一步包括：

第一模块，用于基于预设配置文件，获取所述数据实体的数据保留时间、迁移间隔和并发数；

第二模块，用于当所述迁移列表完成时的结束时间、所述迁移间隔、所述数据保留时间符合预设条件时，遍历所述待迁移列表并根据所述并发数，向所述待迁移列表中的数据实体的旧流入节点发送迁移请求；

第三模块，用于基于所述迁移请求获取与所述预设条件相对应的时间范围内的数据实体，并发送至对应的新流入节点；

第四模块，用于判断所述结束时间、所述迁移间隔、所述数据保留时间是否符合预设条件，并重复执行上述步骤S320至S340。

具体地，设R＝结束时间，L＝R-迁移间隔，开始时间设置为结束时间与数据保留时间的差值，预设条件主要是指若L小于所述开始时间，则使L＝开始时间，并遍历所述待迁移列表发送对应的迁移请求；当步骤S330执行完毕后，将L时间作为一个进度，记录与对一个的数据库中，然后通过步骤S340进一步设R＝L，L＝L-迁移时间，并重复上述步骤，直至R小于等于结束时间，则表明数据实体迁移完成。

针对第二种策略，基于实体策略将所述待迁移列表中的数据实体从所述就流入阶段迁移至所述新流入节点的步骤包括：

第五模块，用于基于预设配置文件，获取所述数据实体的数据保留时间、迁移间隔和并发数；

第六模块，用于遍历所述待迁移列表，并根据所述并发数，获取所述待迁移列表中的数据实体；

第七模块，用于在预设时间范围内，向所述待迁移列表中的数据实体的对应的旧流入节点发送迁移请求；

第八模块，用于基于所述迁移请求获取所述预设时间范围内的数据实体，并发送至对应的新流入节点；

第九模块，用于将迁移后的所述数据实体的唯一标识作为进度，并记录在数据库中；

第十模块：重复执行所述各模块，直至所述待迁移列表内的所有数据实体迁移完成。

其中，预设时间范围可根据时间策略中的L和R进行确定，预设时间范围主要是指时间范围[L，R)，其中R＝结束时间(迁移列表完成时的结束时间)，L＝R-迁移间隔。

作为具体示例，假设迁移间隔设置为1天，数据保留时间设置为30天，则每次对数据实体的一天的数据量进行迁移，从旧流入节点读取出来，并写入到新流入节点，一次可完成30天数据量的迁移，则表示这个实体的数据都完成了。而待迁移列表中含有多个数据实体，假设有10个实体，若并发数设置为3，则每次对3个数据实体进行数据迁移，而每个数据实体均是按照时间段，按照一天的数据量进行迁移，直到列表里的10个数据实体均完成迁移，表示完成所有的迁移工作。

状态修改单元104，用于将所述待迁移列表中与所述旧流入节点相对应的数据实体进行删除处理，并对应修改所述新集群的状态信息。

具体的，状态修改单元104可进一步包括：

状态标记模块，用于将所述新集群的状态标记为清理中；

数据删除模块，用于遍历所述待迁移列表，删除所述将所述待迁移列表中与所述旧流入节点相对应的数据实体；

状态更换模块，用于将所述新集群的状态标记为空闲。

在本发明的一个具体实施方式中，当数据实体在迁移过程中出现意外中断，或者管理节点因某些原因中断迁移操作时，还可以进行恢复，并在恢复的时候检查中断前的新集群状态，进而根据异常中断之前的新集群状态，继续进行相应的操作。

具体地，若异常中断之前的状态为准备中，则异常中断恢复后，可重新从准备阶段开始进行数据管理；其中，数据管理可包括集群的扩容、缩容、分片规则调整、分片算法变更等场景中对数据的管理；

若异常中断之前的状态为数据迁移中，则获取迁移进度，并继续进行数据实体的迁移；

若异常中断之前的状态为清理中，则继续进行数据清理操作。

作为具体示例，如图2所示，客户端可通过路由计算请求需要路由到的时序数据库节点，并通过数据库连接池对时序数据库进行读写，数据库连接池主要用于管理各个时序数据库节点的连接；分片规则主要是根据一定算法和规则，将入参转化为所管理的时序数据库的标识，扩容模块是执行扩容操作时的主要模块，包括调整分片规则、进度管理、恢复、集群状态转移等功能；当然，除了扩容外，还可适用于缩容、分片规则调整、分片算法变更等场景。

如图4所示，是本发明实现时序数据库集群的数据管理方法的电子设备的结构示意图。

所述电子设备1可以包括处理器10、存储器11和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如时序数据库集群的数据管理程序12。

其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如时序数据库集群的数据管理程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如时序数据库集群的数据管理程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。

所述总线可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。

图4仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图4示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。

可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

所述电子设备1中的所述存储器11存储的时序数据库集群的数据管理程序12是多个指令的组合，在所述处理器10中运行时，可以实现：

获取待处理的历史集群的旧分片规则，以及对所述历史集群进行更新后的新集群的新分片规则；

基于所述新分片规则和所述旧分片规则，获取与所述新集群的数据实体相对应的待迁移列表；所述待迁移列表包括所述数据实体以及与所述数据实体相对应的旧流入节点和新流入节点，所述旧流入节点和所述新流入节点用于指示所述数据实体的数据流向；

基于预设迁移策略，将所述待迁移列表中的数据实体从所述旧流入节点迁移至所述新流入节点；

将所述待迁移列表中与所述旧流入节点相对应的数据实体进行删除处理，并对应修改所述新集群的状态信息。

此外，可选的技术发明是，所述基于所述新分片规则和所述旧分片规则，获取与所述新集群的数据实体相对应的待迁移列表包括：

将所述新集群的状态标记为准备状态；

基于新分片规则和旧分片规则遍历所述准备状态下的新集群，并查询所述新集群的数据实体；

基于所述数据实体，获取与所述数据实体相对应的待迁移列表。

此外，可选的技术发明是，所述基于新分片规则和旧分片规则遍历所述准备状态下的新集群，并查询所述新集群的数据实体包括：

基于所述新集群的处理类型、所述新分片规则和所述旧分片规则，分别获取所述新集群的查询节点；

向所述查询节点发送查询请求，获取所述新集群的所有的数据实体。

此外，可选的技术发明是，所述预设迁移策略包括时间策略和实体策略；其中，

基于所述时间策略将所述待迁移列表中的数据实体从所述旧流入节点迁移至所述新流入节点包括：

基于预设配置文件，获取所述数据实体的数据保留时间、迁移间隔和并发数；

当所述迁移列表完成时的结束时间、所述迁移间隔、所述数据保留时间符合预设条件时，遍历所述待迁移列表并根据所述并发数，向所述待迁移列表中的数据实体的旧流入节点发送迁移请求；

基于所述迁移请求获取与所述预设条件相对应的时间范围内的数据实体，并发送至对应的新流入节点；

判断所述结束时间、所述迁移间隔、所述数据保留时间是否符合预设条件，并重复执行上述步骤。

此外，可选的技术发明是，基于所述实体策略将所述待迁移列表中的数据实体从所述旧流入节点迁移至所述新流入节点包括：

基于预设配置文件，获取所述数据实体的数据保留时间、迁移间隔和并发数；

遍历所述待迁移列表，并根据所述并发数，获取所述待迁移列表中的数据实体；

在预设时间范围内，向所述待迁移列表中的数据实体的对应的旧流入节点发送迁移请求；

基于所述迁移请求获取所述预设时间范围内的数据实体，并发送至对应的新流入节点；

将迁移后的所述数据实体的唯一标识作为进度，并记录在数据库中；

重复执行上述步骤，直至所述待迁移列表内的所有数据实体迁移完成。

此外，可选的技术发明是，所述将所述待迁移列表中与所述旧流入节点相对应的数据实体进行删除处理，并对应修改所述新集群的状态信息包括：

将所述新集群的状态标记为清理中；

遍历所述待迁移列表，删除所述将所述待迁移列表中与所述旧流入节点相对应的数据实体；

将所述新集群的状态标记为空闲。

具体地，所述处理器10对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。

进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例发明的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术发明而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术发明进行修改或等同替换，而不脱离本发明技术发明的精神和范围。

Claims (10)

1.一种时序数据库集群的数据管理方法，其特征在于，所述方法包括：

获取待处理的历史集群的旧分片规则，以及对所述历史集群进行更新后的新集群的新分片规则；

基于所述新分片规则和所述旧分片规则，获取与所述新集群的数据实体相对应的待迁移列表；所述待迁移列表包括所述数据实体以及与所述数据实体相对应的旧流入节点和新流入节点，所述旧流入节点和所述新流入节点用于指示所述数据实体的数据流向；

基于预设迁移策略，将所述待迁移列表中的数据实体从所述旧流入节点迁移至所述新流入节点；

将所述待迁移列表中与所述旧流入节点相对应的数据实体进行删除处理，并对应修改所述新集群的状态信息。

2.如权利要求1所述的时序数据库集群的数据管理方法，其特征在于，所述基于所述新分片规则和所述旧分片规则，获取与所述新集群的数据实体相对应的待迁移列表包括：

将所述新集群的状态标记为准备状态；

基于新分片规则和旧分片规则遍历所述准备状态下的新集群，并查询所述新集群的数据实体；

基于所述数据实体，获取与所述数据实体相对应的待迁移列表。

3.如权利要求2所述的时序数据库集群的数据管理方法，其特征在于，所述基于新分片规则和旧分片规则遍历所述准备状态下的新集群，并查询所述新集群的数据实体包括：

基于所述新集群的处理类型、所述新分片规则和所述旧分片规则，分别获取所述新集群的查询节点；

向所述查询节点发送查询请求，获取所述新集群的所有的数据实体。

4.如权利要求1至3任一项所述的时序数据库集群的数据管理方法，其特征在于，所述预设迁移策略包括时间策略和实体策略；其中，

基于所述时间策略将所述待迁移列表中的数据实体从所述旧流入节点迁移至所述新流入节点包括：

基于预设配置文件，获取所述数据实体的数据保留时间、迁移间隔和并发数；

当所述迁移列表完成时的结束时间、所述迁移间隔、所述数据保留时间符合预设条件时，遍历所述待迁移列表并根据所述并发数，向所述待迁移列表中的数据实体的旧流入节点发送迁移请求；

基于所述迁移请求获取与所述预设条件相对应的时间范围内的数据实体，并发送至对应的新流入节点；

判断所述结束时间、所述迁移间隔、所述数据保留时间是否符合预设条件，并重复执行上述步骤。

5.如权利要求4所述的时序数据库集群的数据管理方法，其特征在于，基于所述实体策略将所述待迁移列表中的数据实体从所述旧流入节点迁移至所述新流入节点包括：

基于预设配置文件，获取所述数据实体的数据保留时间、迁移间隔和并发数；

遍历所述待迁移列表，并根据所述并发数，获取所述待迁移列表中的数据实体；

在预设时间范围内，向所述待迁移列表中的数据实体的对应的旧流入节点发送迁移请求；

基于所述迁移请求获取所述预设时间范围内的数据实体，并发送至对应的新流入节点；

将迁移后的所述数据实体的唯一标识作为进度，并记录在数据库中；

重复执行上述步骤，直至所述待迁移列表内的所有数据实体迁移完成。

6.如权利要求1所述的时序数据库集群的数据管理方法，其特征在于，所述将所述待迁移列表中与所述旧流入节点相对应的数据实体进行删除处理，并对应修改所述新集群的状态信息包括：

将所述新集群的状态标记为清理中；

遍历所述待迁移列表，删除所述将所述待迁移列表中与所述旧流入节点相对应的数据实体；

将所述新集群的状态标记为空闲。

7.一种时序数据库集群的数据管理装置，其特征在于，所述装置包括：

新分片规则获取单元，用于获取待处理的历史集群的旧分片规则，以及对所述历史集群进行更新后的新集群的新分片规则；

待迁移列表获取单元，用于基于所述新分片规则和所述旧分片规则，获取与所述新集群的数据实体相对应的待迁移列表；所述待迁移列表包括所述数据实体以及与所述数据实体相对应的旧流入节点和新流入节点，所述旧流入节点和所述新流入节点用于指示所述数据实体的数据流向；

数据迁移单元，用于基于预设迁移策略，将所述待迁移列表中的数据实体从所述旧流入节点迁移至所述新流入节点；

状态修改单元，用于将所述待迁移列表中与所述旧流入节点相对应的数据实体进行删除处理，并对应修改所述新集群的状态信息。

8.如权利要求7所述的时序数据库集群的数据管理装置，其特征在于，

所述基于所述新分片规则和所述旧分片规则，获取与所述新集群的数据实体相对应的待迁移列表包括：

将所述新集群的状态标记为准备状态；

基于新分片规则和旧分片规则遍历所述准备状态下的新集群，并查询所述新集群的数据实体；

基于所述数据实体，获取与所述数据实体相对应的待迁移列表。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任一所述的时序数据库集群的数据管理方法中的步骤。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一所述的时序数据库集群的数据管理方法中的步骤。

Images