CN109981744A - 数据的分发方法、装置、存储介质及电子设备 - Google Patents

数据的分发方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN109981744A
CN109981744A CN201910152924.6A CN201910152924A CN109981744A CN 109981744 A CN109981744 A CN 109981744A CN 201910152924 A CN201910152924 A CN 201910152924A CN 109981744 A CN109981744 A CN 109981744A
Authority
CN
China
Prior art keywords
collector
data
acquisition
receiving end
distribution policy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910152924.6A
Other languages
English (en)
Other versions
CN109981744B (zh
Inventor
李琛
张德阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Dongsoft System Integration Technology Co Ltd
Neusoft Corp
Original Assignee
Shenyang Dongsoft System Integration Technology Co Ltd
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Dongsoft System Integration Technology Co Ltd, Neusoft Corp filed Critical Shenyang Dongsoft System Integration Technology Co Ltd
Priority to CN201910152924.6A priority Critical patent/CN109981744B/zh
Publication of CN109981744A publication Critical patent/CN109981744A/zh
Application granted granted Critical
Publication of CN109981744B publication Critical patent/CN109981744B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Abstract

本公开涉及一种数据的分发方法、装置、存储介质及电子设备，所述方法包括：根据采集器在当前时刻对应的历史采集数据信息以及与所述采集器对应的采集数据预测模型，预测所述采集器在所述当前时刻之后的下一采集时刻的采集数据信息；根据预测出的所述采集器在所述下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据，确定与所述采集器对应的分发策略；当接收到所述采集器在所述下一采集时刻采集的数据时，按照与所述采集器对应的所述分发策略对该数据进行分发。因此，可以在下一采集时刻之前提前预估出该下一采集时刻对应的分发策略，有效提高数据分发的效率，并降低数据分发的延迟率，提高整体资源利用率。

Description

数据的分发方法、装置、存储介质及电子设备
技术领域
本公开涉及数据传输领域，具体地，涉及一种数据的分发方法、装置、存储介质及电子设备。
背景技术
在生产生活中，常常需要将上游系统数据生产者产生的数据，高效准确地传递给下端系统订阅者。这里就需要一个位于生产者和订阅者之间的中间件，其能实时采集上游生产者产生的数据，并能高效地将数据分发到下端订阅者。
图1示出现有的数据分发过程的示例。如图1所示，数据分发的核心是以数据为中心的发布-订阅过程，即：能以某种方式将发布者(即生产者)产生的数据通过某种方式或某个中间件的处理高效准确地传递给适当的订阅者。
随着上端生产者产生数据规模的增大和上端生产者应用系统种类增多，相应的下端订阅者也随之增加，数据分发过程变得更加复杂。现有的数据的分发方法大多会浪费计算机资源，产生数据传输延时。例如，对于以轮询的方式分发给所有的消费者的方式，每一次数据分发都只会发给一个消费者，在大部分时间内，许多消费者都是空闲的，非常浪费系统资源；对于采用负载均衡算法将数据分发给消费者的方式，每一次数据分发都需要进行负载均衡计算，由于负载均衡算法相对复杂，会导致额外的计算资源占用和数据传输I/O延时；对于基于数据发送-接收延迟率来调整数据分发策略的方式，只将上一次数据分发时产生的数据发送-接收延迟率，作为调整当前数据分发策略的依据，会较大概率的出现判断不准确的情况。
发明内容
本公开的目的是提供数据的分发方法、装置、存储介质及电子设备，以解决现有的数据分发方法存在浪费系统资源以及数据传输延时的技术问题。
根据本公开的第一方面，提供一种数据的分发方法，所述方法包括：
根据采集器在当前时刻对应的历史采集数据信息以及与所述采集器对应的采集数据预测模型，预测所述采集器在所述当前时刻之后的下一采集时刻的采集数据信息，其中，所述历史采集数据信息包括所述采集器在多个历史采集时刻的采集数据信息，所述历史采集时刻不晚于所述当前时刻；
根据预测出的所述采集器在所述下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据，确定与所述采集器对应的分发策略，所述分发策略指示了接收所述采集器在所述下一采集时刻采集的数据的目标接收端以及每个所述目标接收端接收的数据量；
当接收到所述采集器在所述下一采集时刻采集的数据时，按照与所述采集器对应的所述分发策略对该数据进行分发。
可选地，所述采集器为多个；
所述根据预测出的所述采集器在所述下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据，确定与所述采集器对应的分发策略，包括：
根据预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据，获得与每个所述采集器对应的分发策略。
可选地，所述根据预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据，获得与每个所述采集器对应的分发策略，包括：
将预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据输入至分发策略预测模型，获得与每个所述采集器对应的分发策略，其中，所述分发策略预测模型表征每个所述采集器的采集数据信息、每个所述接收端的资源使用情况数据以及与每个所述采集器对应的分发策略之间的对应关系。
可选地，所述根据预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据，获得与每个所述采集器对应的分发策略，包括：
根据预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据，按照使得各个所述接收端的资源使用情况处于均衡的准则，确定与每个所述采集器对应的分发策略。
可选地，所述采集数据信息包括以下中至少一项：采集速率、采集规模、采集容量。
可选地，所述资源使用情况数据包括以下至少一项：CPU使用率、内存使用率、数据接收速率、数据阻塞率。
根据本公开的第二方面，提供一种数据的分发装置，包括：
预测模块，用于根据采集器在当前时刻对应的历史采集数据信息以及与所述采集器对应的采集数据预测模型，预测所述采集器在所述当前时刻之后的下一采集时刻的采集数据信息，其中，所述历史采集数据信息包括所述采集器在多个历史采集时刻的采集数据信息，所述历史采集时刻不晚于所述当前时刻；
确定模块，用于根据预测出的所述采集器在所述下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据，确定与所述采集器对应的分发策略，所述分发策略指示了接收所述采集器在所述下一采集时刻采集的数据的目标接收端以及每个所述目标接收端接收的数据量；
分发模块，用于当接收到所述采集器在所述下一采集时刻采集的数据时，按照与所述采集器对应的所述分发策略对该数据进行分发。
可选地，所述采集器为多个；
所述确定模块用于根据预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据，获得与每个所述采集器对应的分发策略。
可选地，所述确定模块包括：
第一确定子模块，用于将预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据输入至分发策略预测模型，获得与每个所述采集器对应的分发策略，其中，所述分发策略预测模型表征每个所述采集器的采集数据信息、每个所述接收端的资源使用情况数据以及与每个所述采集器对应的分发策略之间的对应关系。
可选地，所述确定模块包括：
第二确定子模块，用于根据预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据，按照使得各个所述接收端的资源使用情况处于均衡的准则，确定与每个所述采集器对应的分发策略。
可选地，所述采集数据信息包括以下中至少一项：采集速率、采集规模、采集容量。
可选地，所述资源使用情况数据包括以下至少一项：CPU使用率、内存使用率、数据接收速率、数据阻塞率。
根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面任一所述方法的步骤。
根据本公开的第四方面，提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面任一所述方法的步骤。
在上述技术方案中，通过采集器的历史采集数据信息可以确定该采集器在下一采集时刻的采集数据信息，从而可以根据该下一采集时刻的采集数据信息和接收端当前的资源使用情况数据确定分发策略；并在接收到采集器在下一采集时刻采集的数据时，根据分发策略对该数据进行分发。因此，通过上述技术方案，一方面，可以对采集器在下一采集时刻的采集数据信息进行有效预估，从而结合接收端当前的资源使用情况数据确定出分发策略，即，在下一采集时刻之前提前预估出该下一采集时刻对应的分发策略，从而可以对下一采集时刻的数据分发提供数据参考，有效提高数据分发的效率，并降低数据分发的延迟率。另一方面，可以对采集器在数据采集时刻对应的采集数据信息以及对接收端的当前资源使用情况数据进行监控，使得根据上述两者确定出的分发策略与接收端的资源使用情况相匹配，提高整体资源利用率。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是现有的数据分发过程的示例；
图2是本公开提供的数据的分发方法的一个示例性应用场景；
图3是根据一示例性实施例示出的数据的分发方法的流程图；
图4是根据一示例性实施例示出的数据的分发装置的框图；
图5是根据一示例性实施例示出的电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
为了使本领域技术人员更容易理解本发明实施例提供的技术方案，下面首先对一示例性应用场景进行简单介绍。
图2所示，为本公开提供的数据的分发方法的一个示例性应用场景，如图2所示，该系统为一日志数据的分发系统，其中，该系统包括日志采集器21，用于采集日志数据；监听管理器22，用于对一组日志数据采集器进行统一管理；分发策略学习器23，用于生成分发策略；数据分发调度器24，用于控制、管理分发策略，根据分发策略对采集到的数据进行分发；自监控指标收集器25，用于收集日志数据采集器21、监听管理器22、数据分发调度器24的性能指标。
其中，分发策略学习器23、数据分发调度器24、自监控指标收集器25可以集成为一数据的分发装置，以将日志采集器21采集的数据分发到相应的接收端。以下，根据具体实施例对数据的分发方法进行详细描述。
图3所示，为根据一示例性实施例示出的数据的分发方法的流程图。如图3所示，所述方法包括：
在S31中，根据采集器在当前时刻对应的历史采集数据信息以及与采集器对应的采集数据预测模型，预测采集器在当前时刻之后的下一采集时刻的采集数据信息，其中，所述历史采集数据信息包括所述采集器在多个历史采集时刻的采集数据信息，所述历史采集时刻不晚于所述当前时刻。
示例地，采集器的数量可以为一个或多个，可根据数据生产者产生的数据量大小以及采集器采集数据的能力进行设置。
示例地，采集数据信息可以为用于表示采集器的工作状态的信息。采集数据信息可以包括以下中的至少一项：采集速率、采集规模、采集容量。作为示例，采集规模是指采集的每条数据的大小，采集容量是指采集的所有数据的大小。
作为示例，当采集器为多个时，该多个采集器可以对应于同一个采集数据预测模型，即，可以将任一采集器在当前时刻对应的历史采集数据信息输入至该采集数据预测模型，从而可以输出与该采集器对应的在当前时刻之后的下一采集时刻的采集数据信息。
作为另一示例，该多个采集器可以分别对应一个采集数据预测模型。因此，可以将采集器在当前时刻对应的历史采集数据信息输入至与该采集器对应的采集数据预测模型，从而输出采集器在当前时刻之后的下一采集时刻的采集数据信息。在该实施例中，为每个采集器训练其对应的采集数据预测模型可以有效提高采集数据预测模型的精度，从而有效保证预测出的下一采集时刻的采集数据信息的准确性，为后续步骤提供准确的数据支持。需要进行说明的是，采集数据预测模型的训练方式可以根据任一现有的学习模型训练方式进行训练，本公开对此不进行限定。
在S32中，根据预测出的采集器在下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据，确定与采集器对应的分发策略，所述分发策略指示了接收所述采集器在所述下一采集时刻采集的数据的目标接收端以及每个所述目标接收端接收的数据量。
示例地，所述资源使用情况数据包括以下至少一项：CPU使用率、内存使用率、数据接收速率、数据阻塞率。因此，基于接收端当前的资源使用情况数据，可以为确定该接收端当前可处理的数据量提供参考。示例地，CPU使用率越高，表示接收端当前可处理的数据量越少；内存使用率越高，表示接收端当前可处理的数据量越少；数据接收速率越低，表示接收端当前可处理的数据量越少；数据阻塞率越大，表示接收端当前可处理的数据量越少。
在该实施例中，预测出的采集器在下一采集时刻的采集数据信息可以表征采集器在下一采集时刻的工作状态，接收端当前的资源使用情况数据则可以表征出接收端当前的可处理的数据量的信息，因此，基于上述两者确定出采集器的分发策略，既可以对采集器接收到的数据进行有效分发，也可以使得该分发策略与接收端的性能相适应。
在S33中，当接收到采集器在下一采集时刻采集的数据时，按照与采集器对应的分发策略对该数据进行分发。
在分发策略中指示了接收该采集器在下一采集时刻采集的数据的目标接收端以及每个目标接收端接收的数据量，因此，在接收到采集器在下一采集时刻采集的数据时，可以将其采集的数据分别按照每个目标接收端接收的数据量发送至每个目标接收端。
在上述技术方案中，通过采集器的历史采集数据信息可以确定该采集器在下一采集时刻的采集数据信息，从而可以根据该下一采集时刻的采集数据信息和接收端当前的资源使用情况数据确定分发策略；并在接收到采集器在下一采集时刻采集的数据时，根据分发策略对该数据进行分发。因此，通过上述技术方案，一方面，可以对采集器在下一采集时刻的采集数据信息进行有效预估，从而结合接收端当前的资源使用情况数据确定出分发策略，即，在下一采集时刻之前提前预估出该下一采集时刻对应的分发策略，从而可以对下一采集时刻的数据分发提供数据参考，有效提高数据分发的效率，并降低数据分发的延迟率。另一方面，可以对采集器在数据采集时刻对应的采集数据信息以及对接收端的当前资源使用情况数据进行监控，使得根据上述两者确定出的分发策略与接收端的资源使用情况相匹配，提高整体资源利用率。
为了使本领域技术人员更容易理解本发明实施例提供的技术方案，下面对上述方法中的步骤进行详细说明。
可选地，所述采集器为多个；
在S32中，根据预测出的采集器在下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据，确定与采集器对应的分发策略的一种示例性实现方式如下，包括：
根据预测出的每个采集器各自在下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据，获得与每个采集器对应的分发策略。
在一实施例中，根据预测出的每个采集器各自在下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据，获得与每个采集器对应的分发策略，包括：
将预测出的每个采集器各自在下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据输入至分发策略预测模型，获得与每个采集器对应的分发策略，其中，分发策略预测模型表征每个采集器的采集数据信息、每个接收端的资源使用情况数据以及与每个采集器对应的分发策略之间的对应关系。
可选地，在该实施例中，可以预先训练该分发策略预测模型。示例地，可以根据各个采集器的采集数据信息和接收端的资源使用情况数据，通过人工标注的方式确定出与采集数据信息和资源使用情况数据对应的最优的分发策略，从而根据该采集数据信息、资源使用情况数据和该最优的分发策略所形成的训练样本对分发策略预测模型进行训练。其中，分发策略预测模型可以根据各个训练样本基于任一现有的线性回归模型或学习模型进行训练，在此不再赘述。因此，在该分发策略预测模型训练完成之后，输入采集数据信息与资源使用情况数据，便可以得出与该输入的采集数据信息和资源使用情况数据相对应的分发策略。
示例地，确定出的与一采集数据信息和一资源使用情况数据对应的分发策略如表1所示：
表1
在一实施例中，分发速率与数据分发时间间隔的乘积即为对应的接收端接收的数据量。其中，该分发时间间隔为相邻两个采集时刻之间的时间间隔，记为TD。如表1所示，分发策略表示，采集器1以分发速率v1向接收端1发送数据，数据量为v1*TD；采集器1同时以分发速率v2向接收端2发送数据，数据量为v2*TD，其他对应关系与上述相似，在此不再赘述。
在另一实施例中，对数据进行分发时，会将数据切分成多个数据分片进行分发，每个数据分片可以包含多条数据事件，如，每条日志数据都可以作为一条数据事件。则，分发策略也可以表示为“采集器-接收端-数据分片”之间的对应关系。示例地，如，“采集器2-接收端2-数据分片1-4”，在根据该分发策略进行数据分发时，可以将采集器2中的数据分片1-4发送至接收端2。其中，各个数据分片的数据量之和即为对应的接收端接收的数据量。
由此，在上述技术方案中，可以通过训练完成的分发策略预测模型，基于采集数据信息和资源使用情况数据获得对应的分发策略。一方面可以有效保证分发策略的准确性和实时性，另一方面，也可以有效降低确定分发策略所需的计算量，节省系统计算开支，有效提高资源整体的利用率。
在另一实施例中，根据预测出的每个采集器各自在下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据，获得与每个采集器对应的分发策略，包括：
根据预测出的每个采集器各自在下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据，按照使得各个接收端的资源使用情况处于均衡的准则，确定与每个采集器对应的分发策略。
在该实施例中，初始确定分发策略时，示例地，在采集器和接收端的数量相同时，初始分发策略可以是将各个采集器的采集数据的数据量按照由大到小的顺序进行排序，将各个接收端的资源使用情况数据指示的当前可处理数据量由大到小的顺序进行排序，从而按照上述顺序将排序相同的采集器和接收端生成一一对应的关系，作为初始分发策略。当采集器和接收端的数量不同时，可以根据预先设置的默认分发策略进行分发。
在根据分发策略进行数据分发后，则可以基于已分发的数据对应的历史采集数据信息预测下一采集时刻的采集数据信息，同时，也可以获得各个接收端在接收到已分发的数据之后对应的资源使用情况数据，即各个接收端当前的资源使用情况数据。
在一实施例中，使得各个接收端的资源使用情况处于均衡的准则可以是，在该接收端当前的资源使用情况数据表示该接收端当前可处理的数据量较少时，可以降低发送至该接收端的数据量，在接收端当前的资源使用情况数据表示该接收端当前可处理的数据量较多时，可以增加发送至该接收端的数据量，从而使得各个接收端的资源使用情况处于均衡。
示例地，当接收端1当前的内存使用率为20％，接收端2当前的内存使用率为55％，则在确定分发策略时，可以通过在上一次采集器1分发至接收端1的数据量的基础上增加数据量以确定本次发送至接收端1的数据量，在上一次采集器1分发至接收端2的数据量的基础上降低数据量以确定本次发送至接收端2的数据量，从而使得接收端1和接收端2的资源使用情况处于均衡。
其中，在降低或增加数据量时，可以按照第一预设数量逐次递增，示例地，接上述示例，接收端1需要增加数据量，则将上次采集器1分发至接收端1的数据量与第一预设数量之和确定为本次采集器1发送至接收端1的数据量；示例地，接收端2需要降低数据量，则将上次采集器1分发至接收端2的数据量与第一预设数量之差确定为本次采集器1发送至接收端2的数据量。需要进行说明的是，当确定出本次发送的数据量小于等于零时，可以直接忽略或删除该项分发策略。并且，在采集器1采集的数据剩余量(即，采集的数据总量中除发送至接收端1和接收端2之外的数据量)超过预设阈值时，在调整完本次的分发策略后，确定出当前可处理的数据量中最大的接收端M，新增“采集器1-接收端M-分发速率v”的分发策略。其中，分发速率v*分发时间间隔TD＝第二预设数量，该第二预设数量表示新增分发策略项对应的初始数据量，第一预设数量和第二预设数量可以相同，也可以不同，本公开对此不进行限定。
通过上述技术方案，可以基于下一采集时刻的采集数据信息和各个接收端当前的资源使用情况数据，动态调整采集器对应的分发策略，既可以使得下一采集时刻的分发策略与接收端性能相匹配，又可以使得各个接收端的资源使用情况处于均衡的状态。因此，可以使得该分发策略与采集器和接收端的对应实时信息相匹配，既可以提高数据分发效率，又可以有效保证资源使用均衡，降低整体数据分发-接收延迟率，提高分发策略的判断准确性。
综上，在采集器为多个时，通过综合考量多个采集器在下一采集时刻的采集数据信息，从而确定出每个采集器对应的分发策略，既可以对各个采集器采集的数据进行有效分发，也可以提高整体资源的利用率。
需要进行说明的是，图2所示应用场景为本公开所提供的数据的分发方法的示例性应用场景，仅为示例性说明，本公开的应用场景并不限于日志分发的场景，本公开所提供的方法还可以应用于其他采集数据并进行数据分发的应用场景。
本公开还提供一种数据的分发装置，如图4所示，所述装置10包括：
预测模块100，用于根据采集器在当前时刻对应的历史采集数据信息以及与所述采集器对应的采集数据预测模型，预测所述采集器在所述当前时刻之后的下一采集时刻的采集数据信息，其中，所述历史采集数据信息包括所述采集器在多个历史采集时刻的采集数据信息，所述历史采集时刻不晚于所述当前时刻。示例地，如图2所示应用场景，该预测模块可以是自监控指标收集器25。
确定模块200，用于根据预测出的所述采集器在所述下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据，确定与所述采集器对应的分发策略，所述分发策略指示了接收所述采集器在所述下一采集时刻采集的数据的目标接收端以及每个所述目标接收端接收的数据量。示例地，如图2所示应用场景，该确定模块可以是分发策略学习器23。
分发模块300，用于当接收到所述采集器在所述下一采集时刻采集的数据时，按照与所述采集器对应的所述分发策略对该数据进行分发。示例地，如图2所示应用场景，该分发模块可以是数据分发调度器24。
可选地，所述采集器为多个；
所述确定模块200用于根据预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据，获得与每个所述采集器对应的分发策略。
可选地，所述确定模块200包括：
第一确定子模块，用于将预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据输入至分发策略预测模型，获得与每个所述采集器对应的分发策略，其中，所述分发策略预测模型表征每个所述采集器的采集数据信息、每个所述接收端的资源使用情况数据以及与每个所述采集器对应的分发策略之间的对应关系。
可选地，所述确定模块200包括：
第二确定子模块，用于根据预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据，按照使得各个所述接收端的资源使用情况处于均衡的准则，确定与每个所述采集器对应的分发策略。
可选地，所述采集数据信息包括以下中至少一项：采集速率、采集规模、采集容量。
可选地，所述资源使用情况数据包括以下至少一项：CPU使用率、内存使用率、数据接收速率、数据阻塞率。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种电子设备500的框图。例如，电子设备500可以被提供为一服务器。参照图5，电子设备500包括处理器522，其数量可以为一个或多个，以及存储器532，用于存储可由处理器522执行的计算机程序。存储器532中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器522可以被配置为执行该计算机程序，以执行上述的数据的分发方法。
另外，电子设备500还可以包括电源组件526和通信组件550，该电源组件526可以被配置为执行电子设备500的电源管理，该通信组件550可以被配置为实现电子设备500的通信，例如，有线或无线通信。此外，该电子设备500还可以包括输入/输出(I/O)接口558。电子设备500可以操作基于存储在存储器532的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM,LinuxTM等等。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的数据的分发方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器532，上述程序指令可由电子设备500的处理器522执行以完成上述的数据的分发方法。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种数据的分发方法，其特征在于，包括：
根据采集器在当前时刻对应的历史采集数据信息以及与所述采集器对应的采集数据预测模型，预测所述采集器在所述当前时刻之后的下一采集时刻的采集数据信息，其中，所述历史采集数据信息包括所述采集器在多个历史采集时刻的采集数据信息，所述历史采集时刻不晚于所述当前时刻；
根据预测出的所述采集器在所述下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据，确定与所述采集器对应的分发策略，所述分发策略指示了接收所述采集器在所述下一采集时刻采集的数据的目标接收端以及每个所述目标接收端接收的数据量；
当接收到所述采集器在所述下一采集时刻采集的数据时，按照与所述采集器对应的所述分发策略对该数据进行分发。
2.根据权利要求1所述的方法，其特征在于，所述采集器为多个；
所述根据预测出的所述采集器在所述下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据，确定与所述采集器对应的分发策略，包括：
根据预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据，获得与每个所述采集器对应的分发策略。
3.根据权利要求2所述的方法，其特征在于，所述根据预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据，获得与每个所述采集器对应的分发策略，包括：
将预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据输入至分发策略预测模型，获得与每个所述采集器对应的分发策略，其中，所述分发策略预测模型表征每个所述采集器的采集数据信息、每个所述接收端的资源使用情况数据以及与每个所述采集器对应的分发策略之间的对应关系。
4.根据权利要求2所述的方法，其特征在于，所述根据预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据，获得与每个所述采集器对应的分发策略，包括：
根据预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据，按照使得各个所述接收端的资源使用情况处于均衡的准则，确定与每个所述采集器对应的分发策略。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述采集数据信息包括以下中至少一项：采集速率、采集规模、采集容量。
6.根据权利要求1-4中任一项所述的方法，其特征在于，所述资源使用情况数据包括以下至少一项：CPU使用率、内存使用率、数据接收速率、数据阻塞率。
7.一种数据的分发装置，其特征在于，包括：
预测模块，用于根据采集器在当前时刻对应的历史采集数据信息以及与所述采集器对应的采集数据预测模型，预测所述采集器在所述当前时刻之后的下一采集时刻的采集数据信息，其中，所述历史采集数据信息包括所述采集器在多个历史采集时刻的采集数据信息，所述历史采集时刻不晚于所述当前时刻；
确定模块，用于根据预测出的所述采集器在所述下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据，确定与所述采集器对应的分发策略，所述分发策略指示了接收所述采集器在所述下一采集时刻采集的数据的目标接收端以及每个所述目标接收端接收的数据量；
分发模块，用于当接收到所述采集器在所述下一采集时刻采集的数据时，按照与所述采集器对应的所述分发策略对该数据进行分发。
8.根据权利要求7所述的装置，其特征在于，所述采集器为多个；
所述确定模块用于根据预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据，获得与每个所述采集器对应的分发策略。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-6中任一项所述方法的步骤。
CN201910152924.6A 2019-02-28 2019-02-28 数据的分发方法、装置、存储介质及电子设备 Active CN109981744B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910152924.6A CN109981744B (zh) 2019-02-28 2019-02-28 数据的分发方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910152924.6A CN109981744B (zh) 2019-02-28 2019-02-28 数据的分发方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN109981744A true CN109981744A (zh) 2019-07-05
CN109981744B CN109981744B (zh) 2022-03-04

Family

ID=67077556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910152924.6A Active CN109981744B (zh) 2019-02-28 2019-02-28 数据的分发方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN109981744B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110502469A (zh) * 2019-08-29 2019-11-26 上海燧原智能科技有限公司 一种数据分发方法、装置、设备及存储介质
CN110891087A (zh) * 2019-11-22 2020-03-17 深圳市网心科技有限公司 一种日志传输方法、装置及电子设备和存储介质
CN110968483A (zh) * 2019-12-20 2020-04-07 支付宝实验室(新加坡)有限公司 业务数据采集方法、装置及电子设备
CN111143161A (zh) * 2019-12-09 2020-05-12 东软集团股份有限公司 日志文件的处理方法、装置、存储介质和电子设备
CN111782640A (zh) * 2020-09-04 2020-10-16 苏州浪潮智能科技有限公司 一种云平台的数据处理方法、系统、电子设备及存储介质
CN112751892A (zh) * 2019-10-30 2021-05-04 腾讯科技（深圳）有限公司 一种信息分发方法、装置、设备及存储介质
CN113422734A (zh) * 2021-06-16 2021-09-21 北京百度网讯科技有限公司 资源分发方法、装置、电子设备以及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547756A (zh) * 2010-12-29 2012-07-04 中国移动通信集团公司 一种数据处理系统、节点及方法
CN103580960A (zh) * 2013-11-19 2014-02-12 佛山市络思讯环保科技有限公司 一种基于机器学习的在线管网异常侦测系统
CN105338061A (zh) * 2015-09-29 2016-02-17 华中科技大学 一种轻量级消息中间件的实现方法与系统
CN105450537A (zh) * 2014-09-02 2016-03-30 阿尔卡特朗讯 确定节点负载信息及据此进行负载均衡和过载控制
CN106161485A (zh) * 2015-03-23 2016-11-23 腾讯科技（深圳）有限公司 一种基础服务集群的资源调度方法、装置和系统
CN106330558A (zh) * 2016-08-31 2017-01-11 哈尔滨工业大学（威海） 应用于软件定义网络的控制器负载预测系统及方法
US20170019307A1 (en) * 2007-05-04 2017-01-19 Time Warner Cable Enterprises Llc Methods and apparatus for predictive capacity allocation
CN108632159A (zh) * 2017-03-16 2018-10-09 哈尔滨英赛克信息技术有限公司 一种基于预测的网络业务流量负载均衡方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170019307A1 (en) * 2007-05-04 2017-01-19 Time Warner Cable Enterprises Llc Methods and apparatus for predictive capacity allocation
CN102547756A (zh) * 2010-12-29 2012-07-04 中国移动通信集团公司 一种数据处理系统、节点及方法
CN103580960A (zh) * 2013-11-19 2014-02-12 佛山市络思讯环保科技有限公司 一种基于机器学习的在线管网异常侦测系统
CN105450537A (zh) * 2014-09-02 2016-03-30 阿尔卡特朗讯 确定节点负载信息及据此进行负载均衡和过载控制
CN106161485A (zh) * 2015-03-23 2016-11-23 腾讯科技（深圳）有限公司 一种基础服务集群的资源调度方法、装置和系统
CN105338061A (zh) * 2015-09-29 2016-02-17 华中科技大学 一种轻量级消息中间件的实现方法与系统
CN106330558A (zh) * 2016-08-31 2017-01-11 哈尔滨工业大学（威海） 应用于软件定义网络的控制器负载预测系统及方法
CN108632159A (zh) * 2017-03-16 2018-10-09 哈尔滨英赛克信息技术有限公司 一种基于预测的网络业务流量负载均衡方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冷枫麒: ""基于发布/订阅的分布式数据分发技术的研究与实现"", 《中国优秀硕士学位论文全文数据库-信息科技辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110502469A (zh) * 2019-08-29 2019-11-26 上海燧原智能科技有限公司 一种数据分发方法、装置、设备及存储介质
CN112751892A (zh) * 2019-10-30 2021-05-04 腾讯科技（深圳）有限公司 一种信息分发方法、装置、设备及存储介质
CN112751892B (zh) * 2019-10-30 2022-06-17 腾讯科技（深圳）有限公司 一种信息分发方法、装置、设备及存储介质
CN110891087A (zh) * 2019-11-22 2020-03-17 深圳市网心科技有限公司 一种日志传输方法、装置及电子设备和存储介质
CN110891087B (zh) * 2019-11-22 2022-10-25 深圳市网心科技有限公司 一种日志传输方法、装置及电子设备和存储介质
CN111143161B (zh) * 2019-12-09 2024-04-09 东软集团股份有限公司 日志文件的处理方法、装置、存储介质和电子设备
CN111143161A (zh) * 2019-12-09 2020-05-12 东软集团股份有限公司 日志文件的处理方法、装置、存储介质和电子设备
CN110968483A (zh) * 2019-12-20 2020-04-07 支付宝实验室(新加坡)有限公司 业务数据采集方法、装置及电子设备
CN110968483B (zh) * 2019-12-20 2023-08-11 支付宝实验室(新加坡)有限公司 业务数据采集方法、装置及电子设备
CN111782640A (zh) * 2020-09-04 2020-10-16 苏州浪潮智能科技有限公司 一种云平台的数据处理方法、系统、电子设备及存储介质
WO2022048356A1 (zh) * 2020-09-04 2022-03-10 苏州浪潮智能科技有限公司 一种云平台的数据处理方法、系统、电子设备及存储介质
US11960506B2 (en) 2020-09-04 2024-04-16 Inspur Suzhou Intelligent Technology Co., Ltd Data processing method and system for cloud platform, and electronic apparatus and storage medium
CN113422734A (zh) * 2021-06-16 2021-09-21 北京百度网讯科技有限公司 资源分发方法、装置、电子设备以及存储介质
CN113422734B (zh) * 2021-06-16 2022-08-26 北京百度网讯科技有限公司 资源分发方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
CN109981744B (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
CN109981744A (zh) 数据的分发方法、装置、存储介质及电子设备
You et al. Scheduling of EV battery swapping—Part I: Centralized solution
US10218201B2 (en) Charge and discharge control apparatus and method
US9465772B2 (en) Calculating device, calculating system, and computer product
CN105075184B (zh) 用于表示负荷变化对多链路上业务中断的影响的方法和系统
CN104901989B (zh) 一种现场服务提供系统及方法
US9991718B2 (en) Power interchange system, power transmitting/receiving device, power interchange method, and program
CN112020098B (zh) 负荷均衡方法、装置、计算设备及计算机存储介质
CN105979532B (zh) 一种业务处理系统的性能容量分析预警方法及装置
Li et al. Method of resource estimation based on QoS in edge computing
CN104778112B (zh) 自适应电压频率调整的系统和方法
CN104102875A (zh) 基于加权朴素贝叶斯分类器的软件服务质量监控方法及系统
CN112332404B (zh) 采暖服务智能管理系统及方法
CN105376157A (zh) 一种路由路径选择的方法和装置
CN106161485A (zh) 一种基础服务集群的资源调度方法、装置和系统
ZHANG et al. Heterogeneous wireless network selection algorithm based on group decision
JP7102182B2 (ja) 電力システム、制御装置、電力管理方法、プログラム、及び、電力管理サーバ
CN114205374B (zh) 基于信息时效性的传输和计算联合调度方法、装置及系统
CN105260245A (zh) 一种资源调度方法及装置
Hu et al. A stochastic ADMM approach to distributed coordinated multicell beamforming for renewables powered wireless cellular networks
CN106203750A (zh) 一种资源配置的方法及装置
EP3116081A1 (en) Received electrical power control method, received electrical power control device, and electrical instrument
CN109948908A (zh) 一种电力企业发展效率评价方法、装置、系统及存储介质
CN102025539A (zh) 一种认知网络中基于Agent的可用资源评估方法
US9736704B1 (en) Providing an overlay network using multiple underlying networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant