CN113297324B - 一种数据写入的优化方法及终端 - Google Patents

Abstract

本发明公开了一种数据写入的优化方法：当节点集合中的节点接收一条写入数据所对应的多个写入数据包时，监控每一个所述写入数据包的响应时间；标记响应时间超过预设的第一阈值的第一写入数据包，标记第一写入数据包的数量超过预设的第二阈值的节点为第一节点；将第一节点所对应的第一写入数据写入节点集合中的第二节点。本发明在进行数据写入时，对于每个节点都监控写入其中的每个写入数据包的响应时间，若该节点此时的状态不佳，则更换节点进行数据写入而不是等待该节点的响应结果，提升了对客户端写入请求的处理效率。

Description

一种数据写入的优化方法及终端

技术领域

本发明涉及分布式数据库领域，尤其涉及一种数据写入的优化方法及终端。

背景技术

现在很多的服务端基础软件，为了满足高并发、高吞吐等功能都是采用分布式部署的方式，即存在一个元数据管理中心与多个数据节点，由元数据管理中心管理元数据信息，由数据节点专门进行数据的存储，并且元数据管理中心决定数据向哪些数据节点写入。在这样的架构方式下，为了提高数据的安全性，一般场景下一份数据会同时写入多个的不同节点，以提高安全。为了提高写入性能，一般场景下一份数据会分成多份更小的数据块，分别同时写入多个不同的节点以提高写入效率。

不管是何种方式，在此种分布式基础软件中，当数据分别向多个不同的数据节点写入数据时，都可能会存在慢响应的问题。比如多个节点中的某个节点存在网络故障，或者节点资源不足，或者某一时刻该节点负载已经较高的情况，再次向该节点写入数据时，将会导致慢响应。由于服务端每次数据写入必须保证所有节点均写入成功后，才可向客户端响应结果。只要有一个节点写入数据时出现慢响应，将导致本次写入请求耗时增加，进而造成请求延迟的现象。

发明内容

本发明所要解决的技术问题是：提供一种数据写入的优化方法及终端，提高分布式数据库的响应速度。

为了解决上述技术问题，本发明采用的一种技术方案为：

一种数据写入的优化方法，包括步骤：

S1、当节点集合中的节点接收一条写入数据所对应的多个写入数据包时，监控每一个所述写入数据包的响应时间；

S2、标记所述响应时间超过预设的第一阈值的第一写入数据包，标记所述第一写入数据包的数量超过预设的第二阈值的所述节点为第一节点；

S3、将所述第一节点所对应的第一写入数据写入所述节点集合中的第二节点。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种数据写入的优化终端，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、当节点集合中的节点接收一条写入数据所对应的多个写入数据包时，监控每一个所述写入数据包的响应时间；

S2、标记所述响应时间超过预设的第一阈值的第一写入数据包，标记所述第一写入数据包的数量超过预设的第二阈值的所述节点为第一节点；

S3、将所述第一节点所对应的第一写入数据写入所述节点集合中的第二节点。

本发明的有益效果在于：在进行数据写入时，对于每个节点都监控写入其中的每个写入数据包的响应时间，若超过预设数量的写入数据包的响应时间都超过阈值，则说明该节点此时的状态不佳，若继续向该节点写入数据可能造成对客户端的响应延迟，此时更换节点进行数据写入而不是等待该节点的响应结果，通过健康节点完成数据写入，提升了对客户端写入请求的处理效率，实现了分布式数据库的响应速度。

附图说明

图1为本发明实施例的一种数据写入的优化方法的步骤流程图；

图2为本发明实施例的一种数据写入的优化终端的结构示意图；

标号说明：

1、一种数据写入的优化终端；2、处理器；3、存储器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1，一种数据写入的优化方法，包括步骤：

S1、当节点集合中的节点接收一条写入数据所对应的多个写入数据包时，监控每一个所述写入数据包的响应时间；

S2、标记所述响应时间超过预设的第一阈值的第一写入数据包，标记所述第一写入数据包的数量超过预设的第二阈值的所述节点为第一节点；

S3、将所述第一节点所对应的第一写入数据写入所述节点集合中的第二节点。

从上述描述可知，本发明的有益效果在于：在进行数据写入时，对于每个节点都监控写入其中的每个写入数据包的响应时间，若超过预设数量的写入数据包的响应时间都超过阈值，则说明该节点此时的状态不佳，若继续向该节点写入数据可能造成对客户端的响应延迟，此时更换节点进行数据写入而不是等待该节点的响应结果，通过健康节点完成数据写入，提升了对客户端写入请求的处理效率，实现了分布式数据库的响应速度。

进一步地，所述S3具体为：

判断所述第一节点中的所述第一写入数据的已写入比例，若所述已写入比例超过预设的第三阈值，则继续将所述第一写入数据中的未写入数据写入所述第一节点；

否则，将所述第一节点所对应的第一写入数据写入所述节点集合中的第二节点。

由上述描述可知，若第一节点中的第一写入数据的已写入比例超过阈值，则说明第一写入数据的绝大部分已写入第一节点，虽然第一节点存在慢响应的问题，但若此时更换节点进行写入需要写入全部的第一写入数据，效率会比将未写入的第一写入数据继续写入第一节点更低，在第一节点出现慢响应现象时根据第一写入数据的写入比例进行是否需要更换节点写入的判断，整体提高第一写入数据的写入效率。

进一步地，所述S3具体为：

获取所述第一节点所对应的所述第一写入数据中的未写入数据，将所述未写入数据写入所述第二节点；

将所述第一写入数据中的已写入数据迁移至所述第二节点。

由上述描述可知，直接将未写入数据写入第二节点，并将第一写入数据中的已写入数据迁移至第二节点，迁移的过程中只需从第一节点中读取数据，相较于继续向第一节点中写入数据的处理效率更高。

进一步地，所述S3具体为：

停止将所述第一写入数据写入所述第一节点，并将所述第一写入数据完整写入所述第二节点。

由上述描述可知，停止向第一节点写入数据并直接将第一写入数据完整写入第二节点，避免了第一节点出现的慢响应问题的影响。

进一步地，所述S3具体为：

将所述第一节点所对应的第一写入数据写入所述节点集合中的第二节点后，将所述第一节点所对应的慢反应次数增加1；

若所述第一节点的所述慢反应次数达到预设的第四阈值，则标记所述第一节点为慢响应节点，发送慢响应节点预警并设置所述慢响应节点的状态为不可写入。

由上述描述可知，统计节点出现慢响应的总次数即所对应的写入数据被转至其他节点写入的次数，若出现慢响应的次数过多，则可能是该节点出现了故障导致频繁的慢响应，此时将该节点标记为慢响应节点并发出警告，使得工作人员能够及时排查节点的故障，并且标记节点状态为不可写入，使得数据不会继续写入该慢响应节点，提高了数据写入的效率。

请参照图2，一种数据写入的优化终端，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、当节点集合中的节点接收一条写入数据所对应的多个写入数据包时，监控每一个所述写入数据包的响应时间；

S2、标记所述响应时间超过预设的第一阈值的第一写入数据包，标记所述第一写入数据包的数量超过预设的第二阈值的所述节点为第一节点；

S3、将所述第一节点所对应的第一写入数据写入所述节点集合中的第二节点。

本发明的有益效果在于：在进行数据写入时，对于每个节点都监控写入其中的每个写入数据包的响应时间，若超过预设数量的写入数据包的响应时间都超过阈值，则说明该节点此时的状态不佳，若继续向该节点写入数据可能造成对客户端的响应延迟，此时更换节点进行数据写入而不是等待该节点的响应结果，通过健康节点完成数据写入，提升了对客户端写入请求的处理效率，实现了分布式数据库的响应速度。

进一步地，所述S3具体为：

判断所述第一节点中的所述第一写入数据的已写入比例，若所述已写入比例超过预设的第三阈值，则继续将所述第一写入数据中的未写入数据写入所述第一节点；

否则，将所述第一节点所对应的第一写入数据写入所述节点集合中的第二节点。

由上述描述可知，若第一节点中的第一写入数据的已写入比例超过阈值，则说明第一写入数据的绝大部分已写入第一节点，虽然第一节点存在慢响应的问题，但若此时更换节点进行写入需要写入全部的第一写入数据，效率会比将未写入的第一写入数据继续写入第一节点更低，在第一节点出现慢响应现象时根据第一写入数据的写入比例进行是否需要更换节点写入的判断，整体提高第一写入数据的写入效率。

进一步地，所述S3具体为：

获取所述第一节点所对应的所述第一写入数据中的未写入数据，将所述未写入数据写入所述第二节点；

将所述第一写入数据中的已写入数据迁移至所述第二节点。

由上述描述可知，直接将未写入数据写入第二节点，并将第一写入数据中的已写入数据迁移至第二节点，迁移的过程中只需从第一节点中读取数据，相较于继续向第一节点中写入数据的处理效率更高。

进一步地，所述S3具体为：

停止将所述第一写入数据写入所述第一节点，并将所述第一写入数据完整写入所述第二节点。

由上述描述可知，停止向第一节点写入数据并直接将第一写入数据完整写入第二节点，避免了第一节点出现的慢响应问题的影响。

进一步地，所述S3具体为：

将所述第一节点所对应的第一写入数据写入所述节点集合中的第二节点后，将所述第一节点所对应的慢反应次数增加1；

若所述第一节点的所述慢反应次数达到预设的第四阈值，则标记所述第一节点为慢响应节点，发送慢响应节点预警并设置所述慢响应节点的状态为不可写入。

由上述描述可知，统计节点出现慢响应的总次数即所对应的写入数据被转至其他节点写入的次数，若出现慢响应的次数过多，则可能是该节点出现了故障导致频繁的慢响应，此时将该节点标记为慢响应节点并发出警告，使得工作人员能够及时排查节点的故障，并且标记节点状态为不可写入，使得数据不会继续写入该慢响应节点，提高了数据写入的效率。

请参照图1，本发明的实施例一为：

一种数据写入的优化方法，包括步骤：

S1、当节点集合中的节点接收一条写入数据所对应的多个写入数据包时，监控每一个所述写入数据包的响应时间；

S2、标记所述响应时间超过预设的第一阈值的第一写入数据包，标记所述第一写入数据包的数量超过预设的第二阈值的所述节点为第一节点；

S3、将所述第一节点所对应的第一写入数据写入所述节点集合中的第二节点，具体为：

获取所述第一节点所对应的所述第一写入数据中的未写入数据，将所述未写入数据写入所述第二节点，将所述第一写入数据中的已写入数据迁移至所述第二节点；

或，停止将所述第一写入数据写入所述第一节点，并将所述第一写入数据完整写入所述第二节点；

即在一种可选的实施方式中，由客户端重新像分布式系统中的元数据管理中心申请新的数据节点，重新写入第一写入数据中未写入第一节点的数据包，同时元数据管理中心发送数据迁移命令至第一节点，由第一节点向第二节点同步已写入的第一写入数据中的数据包；

在一种可选的实施方式中，由客户端直接重新向新的第二节点写入完整的第一写入数据。

本发明的实施例二为：

一种数据写入的优化方法，其与实施例一的不同之处在于：

所述S3具体为：

判断所述第一节点中的所述第一写入数据的已写入比例，若所述已写入比例超过预设的第三阈值，则继续将所述第一写入数据中的未写入数据写入所述第一节点；

否则，将所述第一节点所对应的第一写入数据写入所述节点集合中的第二节点，并所述第一节点所对应的慢反应次数增加1；

若所述第一节点的所述慢反应次数达到预设的第四阈值，则标记所述第一节点为慢响应节点，发送慢响应节点预警并设置所述慢响应节点的状态为不可写入；

在一种可选的实施方式中，每隔预设时间间隔则将节点中的慢反应次数清空。

本发明的实施例三为：

将上述的一种数据写入的优化方法应用于实际场景中：

假设存在一分布式软件(如MongoDB、Elasticsearch或Hadoop)，其中存在1个元数据管理中心，6个数据节点，分别记为A、B、C、D、E及F，设此时若有一份数据写入，将会按照预设的规则(不同的分布式软件预设的规则不同，如Hadoop系统中为写入hdfs文件中)选择3个数据节点进行数据写入，当3个数据节点的数据均写入成功后，本次数据写入返回成功状态；

在本实施例中，存在一条写入数据，需写入A、B及C三个数据节点，则此时需执行以下步骤：

S1、监控写入数据所对应的每一个写入数据包的响应时长；

S2、若A节点所对应对的写入数据包的响应时长超过阈值，则将A节点的统计记录增加1，该统计记录在本地内存中存储，不会影响写入数据的写入耗时；

当统计记录超过第二阈值后，标记A节点为第一节点；

S3、判断A节点中的写入数据的已写入比例，若已写入比例超过预设的第三阈值，则执行S4，否则，执行S5；

S4、继续将写入数据的未写入部分写入A节点；

S5、将写入数据的未写入部分写入统计记录未超过第二阈值的D节点，并将写入数据的已写入部分从A节点中迁移至D节点；或停止向A节点中写入写入数据，将完整的写入数据写入D节点，并从A节点中删除写入数据的已写入部分；

将A节点对应对的慢反应次数增加1；

若在预设时间间隔内慢反应次数达到预设的第四阈值，则标记A节点为慢响应节点，发送慢响应节点预警通知管理员并设置A节点的状态为不可写入；

在一种可选的实施方式中，发送预警至元数据管理中心，由元数据管理中心设置A节点为慢响应节点。

请参照图2，本发明的实施例四为：

一种数据写入的优化终端1，包括处理器2、存储器3及存储在存储器3上并可在所述处理器2上运行的计算机程序，所述处理器2执行所述计算机程序时实现实施例一、实施例二或实施例三中的各个步骤。

综上所述，本发明提供了一种数据写入的优化方法及终端，区别于传统判断节点为慢响应节点之后再进行数据迁移等操作，针对每一次数据写入的场景都进行监控；首先，由于存在慢响应的节点中，不是每次的数据写入都是慢的，只是一份写数据的写入慢，另一部分其实是正常的，甚至对于一份完整的写入数据，只有部分写入数据包的写入是慢的，本发明针对节点中不正常的，慢的写入数据进行数据迁移，其他正常的还是继续写入；即监控一条写入数据所对应的每一个写入数据包的响应时间，若一节点中响应时间超过阈值的写入数据包的数量超过阈值，则标记该节点并将对应的写入数据更换节点进行写入。并且，针对某次慢写入的操作，也是有判断的，当该次数据写入第一节点中的数据包占写入数据总数据包量的百分比达到预设阀值时，不再进行变更节点处理，当小于预设阀值时，才进行写入数据的迁移或者使用新的节点。在更换写入数据的写入节点时，若采用把剩余的数据写入新节点，再迁移历史数据方式时，由于写入的新节点不存在慢响应，会比把剩余数据继续写入慢节点效率更快，并且迁移历史数据，只是从慢节点中读取数据，而不是写入数据，也不会占用太多资源；若采用把全部数据重新写入新节点的方式时，由于存在较多比例的写入数据还未写入第一节点(慢节点)，也比把剩余数据继续写入慢节点效率更快，实现了写入数据时的效率提高。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (2)

1.一种数据写入的优化方法，其特征在于，包括步骤：

S1、当节点集合中的节点接收一条写入数据所对应的多个写入数据包时，监控每一个所述写入数据包的响应时间；

S2、标记所述响应时间超过预设的第一阈值的第一写入数据包，标记所述第一写入数据包的数量超过预设的第二阈值的所述节点为第一节点；

S3、判断所述第一节点中的所述第一写入数据的已写入比例，若所述已写入比例超过预设的第三阈值，则执行S4，否则，执行S5；

S4、将所述第一写入数据中的未写入数据写入所述第一节点；

S5、将所述第一节点所对应的第一写入数据写入所述节点集合中的第二节点；

所述S5具体为：

获取所述第一节点所对应的所述第一写入数据中的未写入数据，将所述未写入数据写入所述第二节点；将所述第一写入数据中的已写入数据迁移至所述第二节点；

或，停止将所述第一写入数据写入所述第一节点，并将所述第一写入数据完整写入所述第二节点；

所述S5后，将所述第一节点所对应的慢反应次数增加1；若所述第一节点的所述慢反应次数达到预设的第四阈值，则标记所述第一节点为慢响应节点，发送慢响应节点预警并设置所述慢响应节点的状态为不可写入。

2.一种数据写入的优化终端，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

S1、当节点集合中的节点接收一条写入数据所对应的多个写入数据包时，监控每一个所述写入数据包的响应时间；

S2、标记所述响应时间超过预设的第一阈值的第一写入数据包，标记所述第一写入数据包的数量超过预设的第二阈值的所述节点为第一节点；

S3、判断所述第一节点中的所述第一写入数据的已写入比例，若所述已写入比例超过预设的第三阈值，则执行S4，否则，执行S5；

S4、将所述第一写入数据中的未写入数据写入所述第一节点；

S5、将所述第一节点所对应的第一写入数据写入所述节点集合中的第二节点；

所述S5具体为：

获取所述第一节点所对应的所述第一写入数据中的未写入数据，将所述未写入数据写入所述第二节点；将所述第一写入数据中的已写入数据迁移至所述第二节点；

或，停止将所述第一写入数据写入所述第一节点，并将所述第一写入数据完整写入所述第二节点；

所述S5后，将所述第一节点所对应的慢反应次数增加1；

若所述第一节点的所述慢反应次数达到预设的第四阈值，则标记所述第一节点为慢响应节点，发送慢响应节点预警并设置所述慢响应节点的状态为不可写入。

Images