CN116634024A - 数据处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提出一种数据处理方法、装置、设备及存储介质，涉及通信技术领域，用于提高单一数据源多条数据流向的应用场景下的数据处理效率。该方法应用于业务系统中的数据网关设备，业务系统还包括数据源设备以及边缘节点设备，数据网关设备分别与数据源设备以及边缘节点设备连接，该数据处理方法包括：数据网关设备接收数据源设备发送的源数据。进一步的，数据网关设备确定对源数据进行预处理的工作节点的目标数量。进一步的，数据网关设备基于目标数量个工作节点对源数据进行处理，并向边缘节点设备发送处理后的源数据。

Description

数据处理方法、装置、设备及存储介质

技术领域

本申请涉及通信技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术

在实际生产场景中，由信息化、智能化手段构建的系统，往往依托海量的数据支撑，传统的中心云统一对数据源进行数据处理，可以保证数据安全不被泄露，同时中心云的存储计算资源更加丰富，也便于统一管控。

然而，在某些特定行业，如工业控制领域，业务应用对于数据的实时性要求越来越高，往往从设备数据源产生数据，到展示到人机交互终端，其间时延要求往往都在毫秒级，甚至更低的微秒级，以保证设备数据监控或者控制的有效性。在这样的场景下，传统的中心云统一调度处理往往是大数据批处理，再算上处理完成后传送给相应终端的时延，难以保证数据的实时性。

发明内容

本申请提出一种数据处理方法、装置、设备及存储介质，用于提高单一数据源多条数据流向的应用场景下的数据处理效率。

为了达到上述目的，本申请采用如下技术方案：

第一方面，提供一种数据处理方法、装置、设备及存储介质，应用于业务系统中的数据网关设备，业务系统还包括数据源设备以及边缘节点设备，数据网关设备分别与数据源设备以及边缘节点设备连接，该数据处理方法包括：数据网关设备接收数据源设备发送的源数据。进一步的，数据网关设备确定对源数据进行预处理的工作节点的目标数量。进一步的，数据网关设备基于目标数量个工作节点对源数据进行处理，并向边缘节点设备发送处理后的源数据。

在本申请提供的数据处理方法中，数据网关设备在接收到数据源设备发送的源数据后，确定对源数据进行预处理的工作节点的目标数量，并创建目标数量个工作节点，对源数据进行处理，进而向对应的边缘节点设备发送处理后的源数据，以使得源数据无需等待便可立即处理，降低了数据处理的时延。并且由于边缘节点参与了后续的数据处理，从而实现了计算压力分摊，进一步降低了数据处理的时延。

一种可能的设计中，上述数据网关设备确定对源数据进行预处理的工作节点的目标数量，包括：数据网关设备在发送频率大于或等于预设频率的情况下，确定源数据对应的处理时长；发送频率为数据源设备发送源数据的频率，处理时长为数据网关设备在接收到源数据后，并将处理后的源数据发送至边缘节点设备所需的时长；并根据发送频率以及处理时长，确定目标数量。该设计中提供了一种数据网关设备确定对源数据进行预处理的工作节点的目标数量的实现方式。

一种可能的设计中，上述数据网关设备确定对源数据进行预处理的工作节点的目标数量，包括：数据网关设备在发送频率小于预设频率的情况下，确定源数据对应的预处理流程；并将预处理流程包括的步骤数量确定为目标数量。该设计中提供了一种数据网关设备确定对源数据进行预处理的工作节点的目标数量的实现方式。

一种可能的设计中，上述数据网关设备确定对源数据进行预处理的工作节点的目标数量，包括：数据网关设备在发送频率小于预设频率的情况下，确定边缘节点设备需求的数据类型；并将数据类型的数量确定为目标数量。该设计中提供了一种数据网关设备确定对源数据进行预处理的工作节点的目标数量的实现方式。

一种可能的设计中，上述数据网关设备确定对源数据进行预处理的工作节点的目标数量，包括：数据网关设备在发送频率小于预设频率，且源数据中每条数据存在对应的边缘节点设备的情况下，将源数据对应的边缘节点设备的数量确定为目标数量。该设计中提供了一种数据网关设备确定对源数据进行预处理的工作节点的目标数量的实现方式。

一种可能的设计中，上述数据方法还包括：数据网关设备在超过预设时长未接收到所述数据源设备发送的所述源数据后，释放所述目标数量个工作节点。该设计中实现了在数据源设备不再进行数据上报后，释放占用的算力资源，避免造成算力资源的浪费。

第二方面，提供一种数据处理装置，部署于业务系统中的数据网关设备，业务系统还包括数据源设备以及边缘节点设备，数据网关设备分别与数据源设备以及边缘节点设备连接，数据处理装置包括接收单元、确定单元、处理单元以及发送单元。接收单元，用于接收数据源设备发送的源数据。确定单元，用于确定对源数据进行预处理的工作节点的目标数量。处理单元，用于基于目标数量个工作节点对源数据进行处理。发送单元，用于向边缘节点设备发送处理后的源数据。

一种可能的设计中，确定单元，具体用于在发送频率大于或等于预设频率的情况下，确定源数据对应的处理时长；发送频率为数据源设备发送源数据的频率，处理时长为数据网关设备在接收到源数据后，并将处理后的源数据发送至边缘节点设备所需的时长；根据发送频率以及处理时长，确定目标数量。

一种可能的设计中，确定单元，具体用于在发送频率小于预设频率的情况下，确定源数据对应的预处理流程；将预处理流程包括的步骤数量确定为目标数量。

一种可能的设计中，确定单元，具体用于在发送频率小于预设频率的情况下，确定边缘节点设备需求的数据类型；将数据类型的数量确定为目标数量。

一种可能的设计中，确定单元，具体用于在发送频率小于预设频率，且源数据中每条数据存在对应的边缘节点设备的情况下，将源数据对应的边缘节点设备的数量确定为目标数量。

一种可能的设计中，处理单元，还用于在超过预设时长未接收到数据源设备发送的源数据后，释放目标数量个工作节点。

第三方面，提供了一种网络设备，该网络设备包括存储器和处理器；存储器和处理器耦合，该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，当处理器执行该计算机指令时，该网络设备执行如第一方面或其任一种可能的设计提供的数据处理方法。

第四方面，提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在网络设备上运行时，使得该网络设备执行如第一方面或其任一种可能的实现方式提供的数据处理方法。

第五方面，提供一种计算机程序产品，计算机程序产品包括计算机指令，当计算机指令在网络设备上运行时，网络设备能够执行如第一方面或其任一种可能的实现方式提供的数据处理方法。

附图说明

图1为本申请的实施例提供的一种业务系统的结构示意图；

图2为本申请的实施例提供的一种分流模块的结构示意图；

图3为本申请的实施例提供的一种数据处理方法流程示意图一；

图4为本申请的实施例提供的一种数据处理方法流程示意图二；

图5为本申请的实施例提供的一种数据处理方法流程示意图三；

图6为本申请的实施例提供的一种数据处理方法流程示意图四；

图7为本申请的实施例提供的一种数据处理方法流程示意图五；

图8为本申请的实施例提供的一种节点配置示意图；

图9为本申请的实施例提供的一种数据处理装置结构示意图；

图10为本申请的实施例提供的一种网络设备结构示意图一；

图11为本申请的实施例提供的一种网络设备结构示意图二。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请的描述中，除非另有说明，“/”表示“或”的意思，例如，A/B可以表示A或B。本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。此外，“至少一个”“多个”是指两个或两个以上。“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

相关技术中，在某些特定行业，如工业控制领域，业务应用对于数据的实时性要求越来越高，往往从设备数据源产生数据，到展示到人机交互终端，其间时延要求往往都在毫秒级，甚至更低的微秒级，以保证设备数据监控或者控制的有效性。在这样的场景下，传统的中心云统一调度处理往往是大数据批处理，再算上处理完成后传送给相应终端的时延，难以保证数据的实时性。

在单一数据源，多条数据流向的应用场景下，往往采用消息中间件的方式实现数据分流转发，而增设消息中间件，会导致系统的复杂性增高，降低可用性，且一旦消息中间件出现故障，将导致整个系统的数据流转被迫停止。另外，消息中间件往往采用异步处理的消息队列模型(MQ)，导致更加不适合实时性要求较高的行业。

为解决上述问题，本申请提出一种数据处理方法、装置、设备及存储介质，应用于业务系统中的数据网关设备，业务系统还包括数据源设备以及边缘节点设备，数据网关设备分别与数据源设备以及边缘节点设备连接，该数据处理方法包括：数据网关设备接收数据源设备发送的源数据。进一步的，数据网关设备确定对源数据进行预处理的工作节点的目标数量。进一步的，数据网关设备基于目标数量个工作节点对源数据进行处理，并向边缘节点设备发送处理后的源数据。

这样一来，数据网关设备在接收到数据源设备发送的源数据后，确定对源数据进行预处理的工作节点的目标数量，并创建目标数量个工作节点，对源数据进行处理，进而向对应的边缘节点设备发送处理后的源数据，以使得源数据无需等待便可立即处理，降低了数据处理的时延。并且由于边缘节点参与了后续的数据处理，从而实现了计算压力分摊，进一步降低了数据处理的时延。

图1示出一种业务系统，本申请实施例提供的数据处理方法可以适用于如图1所示的业务系统，用于提高单一数据源多条数据流向的应用场景的数据处理效率。如图1所示，业务系统10中包括数据网关设备11、数据源设备12以及多个边缘节点设备13。

需要说明的，附图1中示例性示出了3个边缘节点设备13，并不构成对于边缘节点设备的数量上的限定，仅用于表明本申请实施例提供的数据处理方法，可以应用于包括多个边缘节点设备的业务系统。并且，多个边缘节点设备13中，边缘节点设备可以同一类型、同一型号的边缘节点设备，也可以为不同类型、不同型号的边缘节点设备，本申请实施例对此不作具体限定。

其中，数据网关设备11分别与数据源设备12以及多个边缘节点设备13连接，上述连接关系中，可以采用有线方式连接，也可以采用无线方式连接，本申请实施例对此不作限定。

如图1所示，数据网关设备11包括分流模块111以及配置模块112。需要说明的，多个边缘节点设备13中的每个边缘节点设备13中，均包括数据处理模块131以及业务调用模块132。

其中，数据源设备12为业务系统10的单一数据来源，实时逐条或分批次向数据网关设备11发送数据。

需要说明的，数据源设备12可以为烟雾传感器、距离传感器、监控摄像头等传感器设备，用于获取采集的数据，并推送至数据网关设备。数据源设备12还可以为连接多个传感器设备的中间设备，用于将多个传感器设备采集到的数据汇总后，推送至数据网关设备，本申请对此不作具体限定。

数据网关设备11为一个服务网关，用于对数据进行预处理，并且按照预设规则，将处理后的数据发送至相应的边缘节点设备13。

配置模块112承载业务系统10的运维人员预先配置的数据分流逻辑，数据分流逻辑包括针对单条、多条数据预处理流程以及分流策略。

分流模块111可以用于根据配置模块112配置的分流策略，执行数据预处理和数据分流任务。

可以理解的，分流模块111为保障数据传递的实时性，根据源数据的数据量和分流策略对源数据进行处理，与消息队列提供数据缓存机制不同，源数据在数据网关设备11处为“即来即算即走”。

如图2所示，分流模块111包括多个工作节点21和调度模块22，工作节点21用于对源数据进行分流处理工作，调度模块根据设置的测量，动态调整工作节点个数。

边缘节点设备13为针对某个子系统或者某项子业务，部署专属的具有计算能力的小型服务器，用于实时处理数据网关设备发送的数据，由于数据结构已在网关设备进行预处理，因此，边缘节点设备在接收到数据后，只需简单的处理逻辑对数据进行处理即可。

数据处理模块131用于执行数据的查询或者抽取。

业务调用模块132为对应边缘节点设备13的应用、客户端等。

在一些实施例中，本申请实施例提供的数据处理方法可以适用于部署于数据网关设备的数据处理装置，也可以直接应用于数据网关设备，本申请实施例以应用于数据网关设备为例，对数据处理方法进行说明。

数据源设备12可以用于向数据网关设备11推送采集到的源数据。

相应的，数据网关设备11可以用于接收数据源设备12发送的源数据。

数据网关设备11还可以用于确定对源数据进行预处理的工作节点的目标数量。

数据网关设备11还可以用于创建目标数量个工作节点。进一步的，数据网关设备基于目标数量个工作节点对源数据进行处理。

数据网关设备11还可以用于向边缘节点设备13发送处理后的源数据。

相应的，边缘节点设备13可以用于在接收到处理后的源数据后，根据配置的规则，从处理后的源数据中，获取相应的特征数据，以满足用户对于业务系统10的数据需求。

图3是根据一些示例性实施例示出的一种数据处理方法的流程示意图。在一些实施例中，上述数据处理方法可以应用到如图1所示的业务系统10中的数据网关设备11。以下，本申请实施例以数据处理方法应用于数据网关设备11为例，对上述数据处理方法进行说明。

如图3所示，本申请实施例提供的数据处理方法，包括下述S301-S304。

S301、数据网关设备接收数据源设备发送的源数据。

作为一种可能的实现方式，数据源设备根据自身的配置信息，采集数据并向数据网关设备上报。

相应的，数据网关设备接收数据源设备上报的源数据。

需要说明的，数据源设备自身的配置信息可以为在采集到的数据后即发送，也可为周期性发送采集到的数据，也即数据源设备发送的源数据中，源数据可以为单条数据，也可以为包括多条数据，本申请实施例对此不作具体限定。

示例性的，数据源设备可以为监控摄像头，用于监控仪表设备，其配置信息为每秒定时推送监控图像帧，相应的，数据网关设备接收数据源设备发送的监控图像帧。

S302、数据网关设备确定对源数据进行预处理的工作节点的目标数量。

作为一种可能的实现方式，数据网关设备确定数据源设备的发送源数据的发送频率，并根据源数据的发送频率确定所需工作节点的目标数量。

示例性的，若数据网关设备确定发送频率大于预设频率，则确定工作节点的目标数量为第一数量；若数据网关设备确定发送频率小于预设频率，则确定工作节点的目标数量为第二数量，其中，第一数量大于第二数量，以使得数据网关设备内部的工作节点能够满足业务系统对源数据需求的处理时延。

需要说明的，预设频率可以由业务系统的运维人员，预先在数据网关设备中设置，本申请实施例对此不作具体限定。

在一些实施例中，数据网关设备确定对源数据进行预处理的工作节点的目标数量的一种实现方式，如下所示。

数据网关设备在发送频率小于预设频率，且源数据中每条数据存在对应的边缘节点设备的情况下，将源数据对应的边缘节点设备的数量确定为目标数量。

示例性的，若源数据包括数据A、数据B、数据C、数据D四条数据，且数据A以及数据B对应的边缘节点设备为边缘节点设备1，数据B对应的边缘节点设备为边缘节点设备2，数据C对应的边缘节点设备为边缘节点设备3。则数据网关设备确定源数据对应的边缘节点设备分别为边缘节点设备1、边缘节点设备2以及边缘节点设备3，进而确定源数据对应的边缘节点设备的数量为3，也即确定目标数量为3。

需要说明的，数据网关设备具体如何确定对源数据进行预处理的工作节点的目标数量，可以参照本申请实施例的后续记载，此处不再赘述。

S303、数据网关设备基于目标数量个工作节点对源数据进行处理。

作为一种可能的实现方式，数据网关设备基于上述步骤S302中确定到的目标数量，创建目标数量个工作节点，并为目标数量个工作节点中的每个工作节点配置处理规则。进一步的，数据网关设备基于目标数量个工作节点中的每个工作节点，同时对源数据进行处理规则相对应的处理。

需要说明的，处理规则可以由业务系统的运维人员，预先在数据网关设备的配置模块中设置，调度模块根据处理规则对每个工作节点进行配置处理规则，示例性的，处理规则可以包括解码、转换、加工等操作，本申请实施例对此不作具体限定。

S304、数据网关设备向边缘节点设备发送处理后的源数据。

作为一种可能的实现方式，在数据网关设备中，目标数量个工作节点中的每个工作节点的处理规则，为根据边缘节点设备需求的数据而定制的。故在数据网关设备中各个工作节点对源数据进行预处理后，数据网关设备将处理后的源数据，传输至对应的边缘节点设备。

在一些示例中，边缘节点设备1需求源数据中的数据A，边缘节点设备2需求源数据中的数据B，边缘节点设备3需求源数据中的数据C，而数据A包含在工作节点1生成处理后的源数据中，数据B包含在工作节点2生成的处理后的源数据中，数据C包含在工作节点3生成的处理后的源数据中。则数据网关设备建立工作节点1与边缘节点设备1、工作节点2与边缘节点设备2、以及工作节点3与边缘节点设备3之间的端到端关系，以使得各工作节点在得到处理后的源数据后，将处理后的源数据传输至对应的边缘节点设备，满足边缘节点设备的数据需求。

在一些实施例中，数据网关设备在接收到数据源设备发送的源数据后，开始计时，若再次接收到数据网关设备发送的源数据后，重新计时。

为了避免工作节点太多，造成资源浪费，数据网关设备在超过预设时长未接收到数据源设备发送的源数据后，释放该目标数量个工作节点，以停止对计算资源的占用。

需要说明的，预设时长可以由业务系统的运维人员，根据业务系统对源数据的时延需求，预先在数据网关设备中设置，本申请实施例对此不作具体限定。

可以理解的，在本申请实施例提供的数据处理方法中，数据网关设备在接收到数据源设备发送的源数据后，确定对源数据进行预处理的工作节点的目标数量，并创建目标数量个工作节点，对源数据进行处理，进而向对应的边缘节点设备发送处理后的源数据，以使得源数据无需等待便可立即处理，降低了数据处理的时延。并且由于边缘节点参与了后续的数据处理，从而实现了计算压力分摊，进一步降低了数据处理的时延。

在一种设计中，为了满足业务系统对源数据的时延需求，数据网关设备确定为源数据分配的工作节点的目标数量，如图4所示，本申请实施例提供的数据处理方法，还包括S401-S402。

S401、数据网关设备在发送频率大于或等于预设频率的情况下，确定源数据对应的处理时长。

其中，发送频率为数据源设备发送源数据的频率，处理时长为数据网关设备在接收到源数据后，并将处理后的源数据发送至边缘节点设备所需的时长。

作为一种可能的实现方式，数据网关设备首先根据数据源设备的配置信息，确定数据源设备的发送源数据的发送频率。进一步的，数据网关设备判断发送频率与预设频率之间的大小关系，并在发送频率大于或等于预设频率的情况下，确定源数据对应的处理时长。

需要说明的，源数据对应的处理时长，可以由数据网关设备根据源数据的数据结构和数据类型，以及数据网关设备分配工作节点的算力，计算得到。另外，由于单一数据源设备上报的源数据具有一定的相似性，故源数据对应的处理时长，还可以由业务系统的运维人员，预先在数据网关设备中设置，本申请实施例对此不作具体限定。

S402、数据网关设备根据发送频率以及处理时长，确定目标数量。

作为一种可能的实现方式，数据网关设备基于预设计算公式，根据发送频率以及处理时长进行计算，并进一步将得到的计算结果确定为目标数量。

需要说明的，预设计算公式可以为发送频率×处理时长，并对乘积进行向上取整；还可以为系数K×发送频率×处理时长，并对乘积进行向上取整，本申请实施例对此不作具体限定。

示例性的，在预设计算公式为发送频率×处理时长，并向上取整的情况下，若数据源设备发送源数据的发送频率为500条/秒，处理时长为10毫秒，则数据网关设备根据发送频率以及处理时长进行计算500×0.01＝5，则数据网关设备确定目标数量为5。

若数据源设备发送源数据的发送频率为325条/秒，处理时长为10毫秒，则数据网关设备根据发送频率以及处理时长进行计算325×0.01＝3.25，则数据网关设备确定目标数量为4。

可以理解的，本申请实施例提供的数据处理方法中，在数据源设备发送频率过快而导致单一工作节点处理不过来的情况下，根据数据源设备的发送频率以及源数据的处理时长，确定工作节点的数量，以使得多个工作节点同时对源数据进行处理，且由于工作节点的数量与待处理源数据相关，不会过多的建立工作节点而造成算力资源的浪费。

在一种设计中，为了满足业务系统对源数据的时延需求，数据网关设备确定为源数据分配的工作节点的目标数量，如图5所示，本申请实施例提供的数据处理方法，还包括S501-S502。

S501、数据网关设备在发送频率小于预设频率的情况下，确定源数据对应的预处理流程。

作为一种可能的实现方式，数据网关设备首先根据数据源设备的配置信息，确定数据源设备的发送源数据的发送频率。进一步的，数据网关设备判断发送频率与预设频率之间的大小关系，并在发送频率小于预设频率的情况下，确定源数据对应的预处理流程中包括的步骤。

需要说明的，预处理流程中包括的步骤可以从配置模块中获取，由业务系统的运维人员，预先在配置模块中设置。另外，还可以由数据网关设备根据源数据的数据类型和边缘节点设备的数据需求来确定，例如，源数据为图片数据，边缘节点设备的数据需求为图片中拍摄到的信息，则确定预处理流程可以包括对图像进行识别，以及关键字段提取，本申请实施例对此不作具体限定。

S502、数据网关设备将预处理流程包括的步骤数量确定为目标数量。

作为一种可能的实现方式，数据网关设备基于上述步骤S501中确定到的预处理流程中包括的步骤，将包括的步骤数量确定为目标数量，这样一来，可以创建目标数量个工作节点，针对每个步骤进行处理，以保障对源数据的处理效率。

在一种设计中，为了满足业务系统对源数据的时延需求，数据网关设备确定为源数据分配的工作节点的目标数量，如图6所示，本申请实施例提供的数据处理方法，还包括S601-S602。

S601、数据网关设备在发送频率小于预设频率的情况下，确定边缘节点设备需求的数据类型。

作为一种可能的实现方式，数据网关设备首先根据数据源设备的配置信息，确定数据源设备的发送源数据的发送频率。进一步的，数据网关设备判断发送频率与预设频率之间的大小关系，并在发送频率小于预设频率的情况下，确定边缘节点设备需求的数据类型。

需要说明的，边缘节点设备需求的数据类型可以由业务系统的运维人员，预先在数据网关设备中设置。例如，源数据为监控图像帧，且监控图像帧中包括多个仪表的图像，仪表上显示有仪表数据，则数据类型可以为各个仪表的仪表数据；又例如，边缘节点设备需求的数据类型包括图像数据以及关键字数据，本申请实施例对此不作具体限定。

S602、数据网关设备将数据类型的数量确定为目标数量。

作为一种可能的实现方式，数据网关设备基于上述步骤S601中确定到的数据类型，将包括的数据类型的数量确定为目标数量，这样一来，可以创建目标数量个工作节点，针对每个数据类型进行处理，以保障对源数据的处理效率。

在一种设计中，结合本申请上述实施例，如图7所示，本申请实施例提供的数据处理方法，还包括S701-S706。

S701、数据网关设备确定数据源设备的发送频率，与预设频率之间的大小关系。

需要说明的，在发送频率大于或等于预设频率的情况下，数据网关设备执行步骤S702；在发送频率小于预设频率的情况下，数据网关设备执行步骤S703。

S702、数据网关设备根据发送频率以及处理时长，确定对源数据进行预处理的工作节点的目标数量。

S703、数据网关设备确定源数据是否为单条数据。

需要说明的，在源数据为单条数据的情况下，数据网关设备执行步骤S704；在源数据不为单条数据的情况下，数据网关设备执行步骤S705。

S704、数据网关设备根据源数据对应的预处理流程，或者边缘节点设备需求的数据类型，确定对源数据进行预处理的工作节点的目标数量。

S705、数据网关设备确定源数据中每条数据是否存在对应的边缘节点设备。

需要说明的，在源数据中每条数据存在对应的边缘节点设备的情况下，数据网关设备执行步骤S706；在源数据中每条数据不存在对应的边缘节点设备的情况下，数据网关设备执行步骤S704。

S706、数据网关设备根据源数据对应的边缘节点设备的数量，确定对源数据进行预处理的工作节点的目标数量。

需要说明的，上述步骤S701-S706的具体实现方式，可以参照本申请上述实施例的记载，此处不再进行赘述。

在一些实施例中，若源数据为监控图像帧，且监控图像用于拍摄5个仪表的仪表数据，其中，5个仪表包括仪表A、仪表B、仪表C、仪表D以及仪表E，边缘节点设备1对应仪表A的仪表数据，边缘节点设备2对应仪表B的仪表数据，边缘节点设备3对应仪表C的仪表数据，边缘节点设备4对应仪表D的仪表数据，边缘节点设备5对应仪表E的仪表数据。

则数据网关设备确定需要工作节点1对监控图像帧进行识别解析，并将识别解析得到的数据，分别传输至工作节点2-6，如图8所示，由工作节点2对数据进行预处理后，将仪表A的仪表数据传输至边缘节点设备1，由工作节点3对数据进行预处理后，将仪表B的仪表数据传输至边缘节点设备2，由工作节点4对数据进行预处理后，将仪表C的仪表数据传输至边缘节点设备3，由工作节点5对数据进行预处理后，将仪表D的仪表数据传输至边缘节点设备4，由工作节点6对数据进行预处理后，将仪表E的仪表数据传输至边缘节点设备5。进一步的，以使得各边缘节点设备提取相应的数据，满足业务系统的需求。

上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对用户设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。可选的，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图9为本申请实施例提供的一种数据处理装置的结构示意图。该数据处理装置用于执行上述数据处理方法。如图9所示，该数据处理装置80包括接收单元801、确定单元802、处理单元803以及发送单元804。

接收单元801，用于接收数据源设备发送的源数据。例如，如图3所示，接收单元801可以用于执行S301。

确定单元802，用于确定对源数据进行预处理的工作节点的目标数量。例如，如图3所示，确定单元802可以用于执行S302。

处理单元803，用于基于目标数量个工作节点对源数据进行处理。例如，如图3所示，处理单元803可以用于执行S303。

发送单元804，用于向边缘节点设备发送处理后的源数据。例如，如图3所示，发送单元804可以用于执行S304。

可选的，如图9所示，本申请实施例提供的数据处理装置80中，确定单元802，具体用于在发送频率大于或等于预设频率的情况下，确定源数据对应的处理时长；发送频率为数据源设备发送源数据的频率，处理时长为数据网关设备在接收到源数据后，并将处理后的源数据发送至边缘节点设备所需的时长；根据发送频率以及处理时长，确定目标数量。

可选的，如图9所示，本申请实施例提供的数据处理装置80中，确定单元802，具体用于在发送频率小于预设频率的情况下，确定源数据对应的预处理流程；将预处理流程包括的步骤数量确定为目标数量。

可选的，如图9所示，本申请实施例提供的数据处理装置80中，确定单元802，具体用于在发送频率小于预设频率的情况下，确定边缘节点设备需求的数据类型；将数据类型的数量确定为目标数量。

可选的，如图9所示，本申请实施例提供的数据处理装置80中，确定单元802，具体用于在发送频率小于预设频率，且源数据中每条数据存在对应的边缘节点设备的情况下，将源数据对应的边缘节点设备的数量确定为目标数量。

可选的，如图9所示，本申请实施例提供的数据处理装置80中，处理单元803，还用于在超过预设时长未接收到数据源设备发送的源数据后，释放目标数量个工作节点。

在采用硬件的形式实现上述集成的模块的功能的情况下，本申请实施例提供了一种网络设备的一种可能的结构示意图。该网络设备用于执行上述实施例中数据处理装置执行的数据处理方法。如图10所示，该网络设备90包括处理器901，存储器902以及总线903。处理器901与存储器902之间可以通过总线903连接。

处理器901是网络设备的控制中心，可以是一个处理器，也可以是多个处理元件的统称。例如，处理器901可以是一个通用中央处理单元(central processing unit，CPU)，也可以是其他通用处理器等。其中，通用处理器可以是微处理器或者是任何常规的处理器等。

作为一种实施例，处理器901可以包括一个或多个CPU，例如图10中所示的CPU 0和CPU 1。

存储器902可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

作为一种可能的实现方式，存储器902可以独立于处理器901存在，存储器902可以通过总线903与处理器901相连接，用于存储指令或者程序代码。处理器901调用并执行存储器902中存储的指令或程序代码时，能够实现本申请实施例提供的数据处理方法。

另一种可能的实现方式中，存储器902也可以和处理器901集成在一起。

总线903，可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外围设备互连(Peripheral Component Interconnect，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

需要指出的是，图10示出的结构并不构成对该网络设备90的限定。除图10所示部件之外，该网络设备90可以包括比图10示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

作为一个示例，结合图9，数据处理装置80中的接收单元801、确定单元802、处理单元803以及发送单元804实现的功能与图10中的处理器901的功能相同。

可选的，如图10所示，本申请实施例提供的网络设备还可以包括通信接口904。

通信接口904，用于与其他设备通过通信网络连接。该通信网络可以是以太网，无线接入网，无线局域网(wireless local area networks，WLAN)等。通信接口904可以包括用于接收数据的获取单元，以及用于发送数据的发送单元。

在一种设计中，本申请实施例提供的网络设备中，通信接口还可以集成在处理器中。

图11示出了本申请实施例中网络设备的另一种硬件结构。如图11所示，网络设备100可以包括处理器1001以及通信接口1002。处理器1001与通信接口1002耦合。

处理器1001的功能可以参考上述处理器901的描述。此外，处理器1001还具备存储功能，可以参考上述存储器902的功能。

通信接口1002用于为处理器1001提供数据。该通信接口1002可以是网络设备的内部接口，也可以是网络设备对外的接口(相当于通信接口904)。

需要指出的是，图11中示出的结构并不构成对网络设备的限定，除图11所示部件之外，该网络设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能单元的划分进行举例说明。在实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将装置的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行该指令时，该计算机执行上述方法实施例所示的方法流程中的各个步骤。

本申请的实施例提供一种包含指令的计算机程序产品，当指令在计算机上运行时，使得计算机执行上述方法实施例中的数据处理方法。

其中，计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘。随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、寄存器、硬盘、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的人以合适的组合、或者本领域数值的任何其他形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(Application Specific Integrated Circuit，ASIC)中。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

由于本申请的实施例中的装置、设备计算机可读存储介质、计算机程序产品可以应用于上述方法，因此，其所能获得的技术效果也可参考上述方法实施例，本申请实施例在此不再赘述。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (14)

1.一种数据处理方法，其特征在于，应用于业务系统中的数据网关设备，所述业务系统还包括数据源设备以及边缘节点设备，所述数据网关设备分别与所述数据源设备以及所述边缘节点设备连接，所述方法包括：

接收所述数据源设备发送的源数据；

确定对所述源数据进行预处理的工作节点的目标数量；

基于所述目标数量个工作节点对所述源数据进行处理，并向所述边缘节点设备发送处理后的源数据。

2.根据权利要求1所述的数据处理方法，其特征在于，所述确定对所述源数据进行预处理的工作节点的目标数量，包括：

在发送频率大于或等于预设频率的情况下，确定所述源数据对应的处理时长；所述发送频率为所述数据源设备发送所述源数据的频率，所述处理时长为所述数据网关设备在接收到所述源数据后，并将处理后的源数据发送至所述边缘节点设备所需的时长；

根据所述发送频率以及所述处理时长，确定所述目标数量。

3.根据权利要求2所述的数据处理方法，其特征在于，所述确定对所述源数据进行预处理的工作节点的目标数量，包括：

在所述发送频率小于所述预设频率的情况下，确定所述源数据对应的预处理流程；

将所述预处理流程包括的步骤数量确定为所述目标数量。

4.根据权利要求2所述的数据处理方法，其特征在于，所述确定对所述源数据进行预处理的工作节点的目标数量，包括：

在所述发送频率小于所述预设频率的情况下，确定所述边缘节点设备需求的数据类型；

将所述数据类型的数量确定为所述目标数量。

5.根据权利要求2所述的数据处理方法，其特征在于，所述确定对所述源数据进行预处理的工作节点的目标数量，包括：

在所述发送频率小于所述预设频率，且所述源数据中每条数据存在对应的所述边缘节点设备的情况下，将所述源数据对应的所述边缘节点设备的数量确定为所述目标数量。

6.根据权利要求1-5中任意一项所述的数据处理方法，其特征在于，所述方法还包括：

在超过预设时长未接收到所述数据源设备发送的所述源数据后，释放所述目标数量个工作节点。

7.一种数据处理装置，其特征在于，部署于业务系统中的数据网关设备，所述业务系统还包括数据源设备以及边缘节点设备，所述数据网关设备分别与所述数据源设备以及所述边缘节点设备连接，所述数据处理装置包括接收单元、确定单元、处理单元以及发送单元；

所述接收单元，用于接收所述数据源设备发送的源数据；

所述确定单元，用于确定对所述源数据进行预处理的工作节点的目标数量；

所述处理单元，用于基于所述目标数量个工作节点对所述源数据进行处理；

所述发送单元，用于向所述边缘节点设备发送处理后的源数据。

8.根据权利要求7所述的数据处理装置，其特征在于，所述确定单元，具体用于在发送频率大于或等于预设频率的情况下，确定所述源数据对应的处理时长；所述发送频率为所述数据源设备发送所述源数据的频率，所述处理时长为所述数据网关设备在接收到所述源数据后，并将处理后的源数据发送至所述边缘节点设备所需的时长；

根据所述发送频率以及所述处理时长，确定所述目标数量。

9.根据权利要求8所述的数据处理装置，其特征在于，所述确定单元，具体用于在所述发送频率小于所述预设频率的情况下，确定所述源数据对应的预处理流程；

将所述预处理流程包括的步骤数量确定为所述目标数量。

10.根据权利要求8所述的数据处理装置，其特征在于，所述确定单元，具体用于在所述发送频率小于所述预设频率的情况下，确定所述边缘节点设备需求的数据类型；

将所述数据类型的数量确定为所述目标数量。

11.根据权利要求8所述的数据处理装置，其特征在于，所述确定单元，具体用于在所述发送频率小于所述预设频率，且所述源数据中每条数据存在对应的所述边缘节点设备的情况下，将所述源数据对应的所述边缘节点设备的数量确定为所述目标数量。

12.根据权利要求7-11中任意一项所述的数据处理装置，其特征在于，所述处理单元，还用于在超过预设时长未接收到所述数据源设备发送的所述源数据后，释放所述目标数量个工作节点。

13.一种网络设备，其特征在于，包括存储器和处理器；

所述存储器和所述处理器耦合；

所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；

当所述处理器执行所述计算机指令时，所述网络设备执行如权利要求1-6中任意一项所述的数据处理方法。

14.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令在网络设备上运行时，使得所述网络设备执行如权利要求1-6中任意一项所述的数据处理方法。