CN114265873A - 数据处理方法及装置、存储介质、终端、服务端 - Google Patents
数据处理方法及装置、存储介质、终端、服务端 Download PDFInfo
- Publication number
- CN114265873A CN114265873A CN202210191813.8A CN202210191813A CN114265873A CN 114265873 A CN114265873 A CN 114265873A CN 202210191813 A CN202210191813 A CN 202210191813A CN 114265873 A CN114265873 A CN 114265873A
- Authority
- CN
- China
- Prior art keywords
- processing
- task
- node
- information
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Multi Processors (AREA)
Abstract
本申请公开了一种数据处理方法及装置、存储介质、终端、服务端，涉及数据处理技术领域，主要目的在于改善现有基于单一处理器对数据进行集中处理而无法满足快速且庞大的数据处理需求的技术问题。包括：获取待处理的目标数据以及与所述目标数据匹配的任务信息；对所述目标数据、所述任务信息进行任务处理拆分，并将任务处理拆分后的目标数据、任务信息分发至至少一个执行节点处理端，以使所述执行节点处理端按照任务处理拆分后的目标数据、任务信息进行数据处理；获取所述执行节点处理端反馈的数据处理结果，并对所述数据处理结果进行任务处理聚合，输出任务处理聚合后的数据处理结果。主要用于数据处理。
Description
技术领域
本申请涉及一种数据处理技术领域，特别是涉及一种数据处理方法及装置、存储介质、终端、服务端。
背景技术
随着大数据技术的快速发展，现有的对海量且任务繁多的数据的处理方法通常是通过单一处理器对数据进行集中处理，但是，由于数据过于庞大，且不同的数据处理任务不同的，基于单一处理器已无法满足快速且庞大的数据处理需求，因此，如何对海量且任务繁多的数据进行处理显得尤为重要，即亟需一种数据处理方法来解决上述问题。
发明内容
有鉴于此，本申请提供一种数据处理方法及装置、存储介质、终端、服务端，主要目的在于改善现有基于单一处理器对数据进行集中处理而无法满足快速且庞大的数据处理需求的技术问题。
依据本申请第一个方面，提供了一种数据处理方法，包括：
获取待处理的目标数据以及与所述目标数据匹配的任务信息；
对所述目标数据、所述任务信息进行任务处理拆分，并将任务处理拆分后的目标数据、任务信息分发至至少一个执行节点处理端，以使所述执行节点处理端按照任务处理拆分后的目标数据、任务信息进行数据处理；
获取所述执行节点处理端反馈的数据处理结果，并对所述数据处理结果进行任务处理聚合，输出任务处理聚合后的数据处理结果。
优选的，所述对所述目标数据、所述任务信息进行任务处理拆分，并将任务处理拆分后的目标数据、任务信息分发至至少一个执行节点处理端之前，所述方法还包括：
结合至少一个执行节点处理端传输的节点资源信息确定节点状态，所述节点状态包括中心节点、执行节点；
若所述节点状态为中心节点，则建立与服务端之间的数据通信，并接收所述服务端发送的任务处理拆分逻辑信息，所述任务处理拆分逻辑信息用于表征对不同任务信息拆分为至少两个子任务信息的逻辑内容。
优选的，所述对所述目标数据、所述任务信息进行任务处理拆分，并将任务处理拆分后的目标数据、任务信息分发至至少一个执行节点处理端包括：
基于所述任务处理拆分逻辑对所述任务信息进行拆分，得到至少两个子任务信息；
从所述目标数据中确定与所述子任务信息匹配的执行节点目标数据，并将所述执行节点目标数据、所述子任务信息分发至至少一个执行节点处理端，以使所述执行节点处理端按照接收到的子任务信息对匹配的执行节点目标数据进行数据处理，所述执行节点处理端的节点状态确定为执行节点。
优选的，所述获取所述执行节点处理端反馈的数据处理结果，并对所述数据处理结果进行任务处理聚合，输出任务处理聚合后的数据处理结果包括：
接收至少一个执行节点处理端反馈的数据处理结果，并基于分发至所述执行节点处理端的子任务信息提取任务处理聚合逻辑信息，所述任务处理聚合逻辑信息用于表征按照任务信息对至少两个数据处理结果进行聚合的逻辑内容；
按照所述任务处理聚合逻辑信息对所述数据处理结果进行任务处理聚合，并将任务处理聚合后的数据处理结果输出至服务端，以使服务端进行可视化输出。
优选的，所述方法还包括：
构建与至少一个节点处理端之间的网络结构，并通过所述网络结构与所述节点处理端之间进行节点资源信息的传输，以获取所述节点处理端所对应的节点资源信息并确定节点状态；
若所述节点状态为执行节点，则基于所述网络结构传输节点状态的确认信息以及节点资源信息，以作为执行节点处理端进行数据处理。
优选的，所述方法还包括：
若确定所述节点状态为中心节点，且检测到数据通信传输失败，则向所述执行节点处理端发送中心节点确认指令，以使重新确定中心节点服务端。
优选的，所述结合至少一个执行节点处理端传输的节点资源信息确定节点状态包括：
解析全部节点资源信息中的内存资源、环境资源、接口资源至少一项；
若当前节点处理端的所述内存资源、所述环境资源、所述接口资源至少一项符合预设处理条件，则将当前节点处理端的节点状态确定为中心节点。
依据本申请第二个方面，提供了另一种数据处理方法，包括：
确定待处理的目标数据后，获取与所述目标数据匹配的任务信息；
发送所述目标数据以及所述任务信息，以使中心节点处理端对所述目标数据、所述任务信息确定任务处理拆分后，分发至执行节点处理端进行数据处理生成数据处理结果；
接收经过所述中心节点处理端进行任务处理聚合后的数据处理结果。
优选的，所述方法还包括：
确定待处理的目标数据，并进行输出；
接收基于所述目标数据录入的任务脚本，生成任务信息以及与所述任务信息匹配的任务处理拆分逻辑信息、任务处理聚合逻辑信息，所述任务处理拆分逻辑信息用于表征对不同任务信息拆分为至少两个子任务信息的逻辑内容，所述任务处理聚合逻辑信息用于表征按照任务信息对至少两个数据处理结果进行聚合的逻辑内容；
响应于所述中心节点处理端的数据通信请求，输出所述目标数据、所述任务信息、所述任务处理拆分逻辑信息，以及所述任务处理聚合逻辑信息。
依据本申请第三个方面，提供了一种数据处理装置，包括：
第一获取模块，用于获取待处理的目标数据以及与所述目标数据匹配的任务信息；
拆分模块，用于对所述目标数据、所述任务信息进行任务处理拆分，并将任务处理拆分后的目标数据、任务信息分发至至少一个执行节点处理端，以使所述执行节点处理端按照任务处理拆分后的目标数据、任务信息进行数据处理；
聚合模块，用于获取所述执行节点处理端反馈的数据处理结果，并对所述数据处理结果进行任务处理聚合，输出任务处理聚合后的数据处理结果。
优选的，所述拆分模块之前，所述装置还包括：
第一确定模块，用于结合至少一个执行节点处理端传输的节点资源信息确定节点状态，所述节点状态包括中心节点、执行节点；
接收模块，用于若所述节点状态为中心节点，则建立与服务端之间的数据通信，并接收所述服务端发送的任务处理拆分逻辑信息，所述任务处理拆分逻辑信息用于表征对不同任务信息拆分为至少两个子任务信息的逻辑内容。
优选的，所述拆分模块包括：
拆分单元，用于基于所述任务处理拆分逻辑对所述任务信息进行拆分，得到至少两个子任务信息；
分发单元，用于从所述目标数据中确定与所述子任务信息匹配的执行节点目标数据，并将所述执行节点目标数据、所述子任务信息分发至至少一个执行节点处理端，以使所述执行节点处理端按照接收到的子任务信息对匹配的执行节点目标数据进行数据处理，所述执行节点处理端的节点状态确定为执行节点。
优选的，所述聚合模块包括：
接收单元，用于接收至少一个执行节点处理端反馈的数据处理结果，并基于分发至所述执行节点处理端的子任务信息提取任务处理聚合逻辑信息，所述任务处理聚合逻辑信息用于表征按照任务信息对至少两个数据处理结果进行聚合的逻辑内容；
聚合单元，用于按照所述任务处理聚合逻辑信息对所述数据处理结果进行任务处理聚合，并将任务处理聚合后的数据处理结果输出至服务端，以使服务端进行可视化输出。
优选的，所述装置还包括：
构建模块，用于构建与至少一个节点处理端之间的网络结构，并通过所述网络结构与所述节点处理端之间进行节点资源信息的传输，以获取所述节点处理端所对应的节点资源信息并确定节点状态；
处理模块，用于若所述节点状态为执行节点，则基于所述网络结构传输节点状态的确认信息以及节点资源信息，以作为执行节点处理端进行数据处理。
优选的，所述装置还包括：
第二确定模块，用于若确定所述节点状态为中心节点，且检测到数据通信传输失败，则向所述执行节点处理端发送中心节点确认指令，以使重新确定中心节点服务端。
优选的，所述第一确定模块，包括：
解析单元，用于解析全部节点资源信息中的内存资源、环境资源、接口资源至少一项；
确定单元，用于若当前节点处理端的所述内存资源、所述环境资源、所述接口资源至少一项符合预设处理条件，则将当前节点处理端的节点状态确定为中心节点。
依据本申请第四个方面，提供了另一种数据处理装置，包括：
第二获取模块，用于确定待处理的目标数据后，获取与所述目标数据匹配的任务信息；
发送模块，用于发送所述目标数据以及所述任务信息，以使中心节点处理端对所述目标数据、所述任务信息确定任务处理拆分后，分发至执行节点处理端进行数据处理生成数据处理结果；
接收模块，用于接收经过所述中心节点处理端进行任务处理聚合后的数据处理结果。
优选的，所述装置还包括：
第一输出模块，用于确定待处理的目标数据，并进行输出；
生成模块，用于接收基于所述目标数据录入的任务脚本，生成任务信息以及与所述任务信息匹配的任务处理拆分逻辑信息、任务处理聚合逻辑信息，所述任务处理拆分逻辑信息用于表征对不同任务信息拆分为至少两个子任务信息的逻辑内容，所述任务处理聚合逻辑信息用于表征按照任务信息对至少两个数据处理结果进行聚合的逻辑内容；
第二输出模块，用于响应于所述中心节点处理端的数据通信请求，输出所述目标数据、所述任务信息、所述任务处理拆分逻辑信息，以及所述任务处理聚合逻辑信息。
根据本申请的第五个方面，提供了一种存储介质，所述存储介质中存储有至少一条可执行指令，所述可执行指令使处理器执行如上述数据处理方法对应的操作。
根据本申请的第六个方面，提供了一种终端，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
根据本申请的第七个方面，提供了另一种存储介质，所述存储介质中存储有至少一条可执行指令，所述可执行指令使处理器执行如上述数据处理方法对应的操作。
根据本申请的第八个方面，提供了另一种服务端，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一条可执行指令，所述可执行指令使所述处理器执行上述数据处理方法对应的操作。
借由上述技术方案，本申请实施例提供的技术方案至少具有下列优点：
本申请提供了一种数据处理方法及装置、存储介质、终端、服务端，与现有技术相比，本申请实施例通过获取待处理的目标数据以及与所述目标数据匹配的任务信息；对所述目标数据、所述任务信息进行任务处理拆分，并将任务处理拆分后的目标数据、任务信息分发至至少一个执行节点处理端，以使所述执行节点处理端按照任务处理拆分后的目标数据、任务信息进行数据处理；获取所述执行节点处理端反馈的数据处理结果，并对所述数据处理结果进行任务处理聚合，输出任务处理聚合后的数据处理结果，有效改善了单一处理器无法满足快速且庞大的数据处理需求的问题，提高了数据处理的速度以及开发者的效率。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本申请实施例提供的一种数据处理方法流程图；
图2示出了本申请实施例提供的可视化控制界面；
图3示出了本申请实施例提供的任务处理过程示意图；
图4示出了本申请实施例提供的另一种数据处理方法流程图；
图5示出了本申请实施例提供的任务创建页面；
图6示出了本申请实施例提供的服务端与处理端集群的交互示意图；
图7示出了本申请实施例提供的一种数据处理装置组成框图；
图8示出了本申请实施例提供的另一种数据处理装置组成框图；
图9示出了本申请实施例提供的一种终端的结构示意图；
图10示出了本申请实施例提供的一种服务端的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
在数据处理过程中，传统的利用单一处理器进行数据处理的方式已经难以满足目前大数据时代的数据处理规模，当遇到数据体量较大较复杂的处理任务时，极易出现数据处理速度慢，甚至系统崩溃的情况，导致开发者效率低下的问题。此时，开发一种高效的数据处理方式显得尤为重要。本申请实施例提供了一种数据处理方法，可应用于中心节点处理端，如图1所示，该方法包括：
101、获取待处理的目标数据以及与其匹配的任务信息。
本申请实施例中，由服务端和作为终端的数据处理端交互完成，其中服务端用于与用户间的交互，数据处理端用于数据处理。首先，接收任意任务文件（例如，python文件），该任务文件中可以包括待处理的数据以及任务信息，从中获取待处理的目标数据以及与目标数据相匹配的任务信息。其中，目标数据为需要处理的数据，可以是任务文件中全部的数据，也可以是选取的部分数据，本申请实施例不做具体限定。与其匹配的任务信息是指处理该任务文件中的数据所需要的依赖，可以是对于数据的处理方法等，本申请实施例不做具体限定。例如，任务文件中包含表格a-d，其中，表格a、b，以每个表格为单位针对表格中的数据求平均值；表格c、d，同样以每个表格为单位针对表格中的数据求和，获取表格c中的数据作为待处理的目标数据，与其匹配的任务信息是对表格中的数据求平均值。
需要说明的是，这里获取的目标数据通常情况下是单一处理器处理起来效率较低的大型数据，同时也可以为了实现数据处理者只关注数据处理本身的目的，而将所有的数据均通过本申请实施例的方法进行数据处理，本申请实施例不做具体限定。
102、对该目标数据以及任务信息进行任务处理拆分，并将任务处理拆分后的目标数据、任务信息分发至至少一个执行节点处理端。
进一步，以使该执行节点处理端按照任务处理拆分后的目标数据、任务信息进行数据处理。
本申请实施例中，为了解决单一处理器处理复杂数据可能造成的系统崩溃的问题，可以选择采用集群的方式，分布处理数据。其中，集群是指一组相互独立的、通过网络互相联接的处理器，通过集群技术可以解决单机运算能力的不足的问题。分布是指将一个任务拆分为多个子任务，部署在不同的服务器上，通过缩短单个任务的处理时间来提升数据处理效率。需要说明的是，在处理端集群中，包含一个中心节点处理端和若干执行节点处理端，其中，作为当前执行端的中心节点处理端用于拆分待处理的目标数据并分发给执行节点处理端，在一个处理端集群中的执行节点处理端用于对子任务进行数据处理。首先，将步骤101获取到的目标数据以及与其匹配的任务信息拆分为若干子任务，拆分的数量可以根据目标数据的大小或者复杂程度等情况具体设定，一个或者一个以上均可，本申请实施例不做具体限定。然后，将拆分后的子任务以及与该子任务相匹配的任务信息发送给执行节点处理端。其中，执行节点处理端即集群中的任一处理器。进一步的，该执行节点处理器根据子任务的任务信息对子任务的目标数据进行处理。通过集群分布式的数据处理方式降低单个处理器的处理压力，以达到提高数据处理效率的目的。
继续步骤101中的示例，表格c中1-10行的数据求和，11-20行的数据依次递减。经过步骤102，将表格c拆成两个子任务以及匹配的任务信息，分别是子任务一：目标数据一（1-10行）任务信息一（求和）；子任务二：目标数据二（11-20行）任务信息二（依次递减）。将子任务一和子任务二分别发送给执行节点处理端A和执行节点处理端B，进一步的，由执行节点处理端A和执行节点处理端B对将子任务一和子任务二进行数据处理。
103、获取该执行节点处理端反馈的数据处理结果，并对该数据处理结果进行任务处理聚合，输出任务处理聚合后的数据处理结果。
本申请实施例中，执行节点处理端将子任务处理完成后，将该子任务的数据处理结果反馈给中心节点处理端，由中心节点处理端将所有子任务的处理数据结果进行任务处理聚合，并输出聚合后的最终结果。
需要说明的是，各个执行节点处理端反馈的数据处理结果为子任务的数据处理结果，需要中心节点处理端将其聚合为最终结果并输出。可以理解的是，采用集群处理端分布式处理大型数据，相当于由中心节点处理端将一个任务拆分为多个子任务，分别分发给多个执行节点处理端进行数据处理，缓解了处理端处理压力的同时，还缩短了整个任务的处理时间，提高了处理效率。
在本申请实施例中，为了进一步说明及限定，在对目标数据以及任务信息进行任务处理拆分，并将任务处理拆分后的目标数据、任务信息分发至至少一个执行节点处理端之前，本申请实施例方法还包括：结合至少一个执行节点处理端传输的节点资源信息确定节点状态；若该节点状态为中心节点，则建立与服务端之间的数据通信，并接收服务端发送的任务处理拆分逻辑信息。
具体的，上述提到，处理端集群中包括一个中心节点处理端和若干个执行节点处理端（至少一个），在针对目标数据进行拆分之前，需要先确定中心节点处理端。可以理解的，集群是一组相互独立的、通过网络互相联接的处理端，各个处理端之间可以通过网络定时或者实时相互报告当前该节点处理端的资源信息，以在集群内部确定该节点处理端的状态。其中，资源信息例如可以是该节点的空闲内存，节点处理端的状态包括中心节点和执行节点。通过统计各个节点处理端报告的当前资源信息，集群会选举出一个目前资源比较好的节点处理端作为中心节点处理端，以进行针对目标数据和任务信息的拆分与分发。若当前执行端的节点状态为中心节点，说明当前执行端确定为中心节点处理端，则建立与服务端之间的通信，进一步的，接收服务端发送的任务处理拆分逻辑信息。其中，任务处理拆分逻辑信息用于表征对不同任务信息拆分为至少两个子任务信息的逻辑内容，可以由用户自行定义拆分逻辑，本申请实施例不做具体限定。
在本申请实施例中，为了进一步说明及限定，对目标数据以及匹配的任务信息进行任务处理拆分，并将任务处理拆分后的目标数据、任务信息分发至至少一个执行节点处理端包括：基于任务处理拆分逻辑对任务信息进行拆分，得到至少两个子任务信息；从目标数据中确定与子任务信息匹配的执行节点目标数据，并将该执行节点目标数据以及子任务信息分发至至少一个执行节点处理端。
进一步的，使执行节点处理端按照接收到的子任务信息对匹配的执行节点目标数据进行数据处理，该执行节点处理端的节点状态确定为执行节点。
具体的，以任务拆分逻辑为依据对从服务端获取的全部任务信息进行拆分，得到若干子任务信息，为了达到缓解处理端处理压力的目的，拆分的子任务数量至少两个。并从需要处理端处理的全部目标数据中确定出与子任务信息相匹配的需要执行节点处理端进行数据处理的数据，作为执行节点目标数据，与子任务信息一同发送给执行节点处理端。进一步的，该执行节点处理端按照接收到的子任务信息，针对与其相匹配的执行节点目标数据进行数据处理。可以理解的，进行数据处理的执行节点处理端的状态为执行节点。
在本申请实施例中，为了进一步说明及限定，获取执行节点处理端反馈的数据处理结果，并对数据处理结果进行任务处理聚合，输出任务处理聚合后的数据处理结果包括：接收至少一个执行节点处理端反馈的数据处理结果，并基于分发至执行节点处理端的子任务信息提取任务处理聚合逻辑信息。按照任务处理聚合逻辑信息对数据处理结果进行任务处理聚合，并将任务处理聚合后的数据处理结果输出至服务端。
优选的，使服务端进行可视化输出。
具体的，在执行节点处理端根据子任务信息完成对执行节点目标数据的数据处理后，会将数据处理结果反馈给中心节点处理端，在所有执行节点均完成子任务的处理并将结果反馈给中心节点处理端后，将会唤醒数据处理聚合逻辑信息，其中，任务处理聚合逻辑信息用于表征按照任务信息对至少两个数据处理结果进行聚合的逻辑内容。需要说明的是，在指定任务处理拆分逻辑时，就已经指定了任务处理聚合逻辑，可以基于分发至执行节点处理端的子任务信息中提取。进一步的，按照指定的任务处理聚合逻辑内容，将接收到的执行节点处理端反馈的数据处理结果进行任务处理聚合，并将集合后的结果输出至服务端，优选的，使服务端进行可视化输出，完成与用户之间的人机交互。示例性的，可视化控制界面如图2所示。
在本申请实施例中，为了进一步说明及限定，本申请实施例方法还包括：构建与至少一个节点处理端之间的网络结构，并通过该网络结构与节点处理端之间进行节点资源信息的传输，以获取该节点处理端所对应的节点资源信息并确定节点状态；若该节点状态为执行节点，则基于该网络结构传输节点状态的确认信息以及节点资源信息，以作为执行节点处理端进行数据处理。
具体的，上述提到，集群中各个处理端之间通过网络联接，构建网络结构，节点之间可以定时或者实时报告各自的节点资源信息，并通过该网络结构互相传输，基于各个处理端的资源信息，确定节点状态，包括中心节点和执行节点。其中，为了实现缓解单一处理短端的数据处理压力，集群中的处理端至少两个，方可构建网络结构。资源信息可以是当前节点空闲的内存，或是当前节点的待处理任务较为简单等，本申请实施例不作具体限定。通常情况下，资源信息较好的处理端被确定为中心节点，也就是被集群选举为中心节点处理端，负责任务的分发管理。例如，空闲内存最大的处理端或者待处理任务最简单的处理端作为中心节点处理端。而对于资源信息较差，例如，空闲内存介于预定范围内的处理端被确认为执行节点状态，进一步的，该处理端作为执行节点处理端进行数据处理。其中，空闲内存介于预定范围内用于表征该处理端的空闲内存量介于集群中所有处理端当前空余内存最大值和无空闲内存之间，目的是保证该执行节点处理端可以进行数据处理，避免了因个别执行节点处理端被分配了子任务却无空闲内存进行数据处理而拉低了集群数据处理效率的问题。
在本申请实施例中，为了进一步说明及限定，本申请实施例方法还包括：若确定该节点状态为中心节点，且检测到数据通信传输失败，则向执行节点处理端发送中心节点确认指令，以使重新确定中心节点服务端。
具体的，通过统计集群中各个处理端之间相互报告的资源信息，确定当前的处理端的节点状态为中心节点，但是在数据的传输过程中显示传输失败，则说明该中心节点处理端出现断网或系统崩溃的情况，而无法作为继续执行任务。此时，向其他处理端发送中心节点确认指令，用于基于集群中其他各个处理端的资源信息重新确定中心节点处理端，以继续执行任务。
在本申请实施例中，为了进一步说明及限定，结合至少一个执行节点处理端传输的节点资源信息确定节点状态包括：解析全部节点资源信息中的内存资源、环境资源、接口资源至少一项；若当前节点处理端的内存资源、环境资源、接口资源至少一项符合预设处理条件，则将当前节点处理端的节点状态确定为中心节点。
具体的，为了缓解单一处理端的数据处理压力，集群中至少包含两个处理端，在确定节点状态时，通过统计各个处理端的资源信息，可以包括内存资源，环境资源，接口资源中的至少一项或是自由组合，共7中组合，如表1所示。
表1
| 内存资源 | 环境资源 | 接口资源 | |
| 组合1 | √ | ||
| 组合2 | √ | ||
| 组合3 | √ | ||
| 组合4 | √ | √ | |
| 组合5 | √ | √ | |
| 组合6 | √ | √ | |
| 组合7 | √ | √ | √ |
其中，内存资源可以是该处理端的剩余空闲内存或是待处理任务简单；环境资源可以是该处理端与集群中其他处理端的通讯信号良好，或是针对处理端的系统有要求，例如，XP系统或是windows系统；接口资源可以是该处理端还有可用于数据传输的剩余接口等，本申请实施例不做具体限定。若上述的7种组合中有一种满足预设条件，即可将当前处理端确定为中心节点状态。
在具体的应用场景中，基于上述实施例的内容，针对任一任务的处理过程如图3所示。
上述实施例内容为在中心节点处理端侧描述的数据处理的过程，进一步的，为了完整说明本实施例的实施方式，本申请实施例还提供了另一种数据处理方法，可应用于服务端侧，如图4所示，该方法包括：
201、确定待处理的目标数据后，获取与所述目标数据匹配的任务信息。
本申请实施例中，通过服务端实现与用户之间的交互，包括：创建任务，定时执行任务，对处理端任务执行的可视化展示等，本申请实施例不做具体限定。当接收到用户创建的任务文件（例如，任意的python文件等），服务端从任务文件中确定待处理的目标数据后，获取与该目标数据相匹配的任务信息。其中，任务信息为处理该目标数据所需要的依赖信息，例如，对于数据的处理方法等，上述已经提到，在此不再赘述。
需要说明的是，通常情况下，任务文件中的运行函数通过唯一入口进行任务处理，本申请实施例不做具体限定。
202、发送该目标数据以及任务信息。
进一步的，使中心节点处理端对该目标数据以及任务信息确定任务处理拆分后，分发至执行节点处理端进行数据处理生成数据处理结果；
本申请实施例中，在服务平台确定了待处理的目标数据以及与其相匹配的任务信息后，将其发送给中心节点处理端。进一步的，中心节点处理端根据用户指定的任务信息拆分逻辑信息，将任务信息进行拆分，与相应的执行节点目标数据发送给执行节点处理端进行数据处理。
203、接收经过中心节点处理端进行任务处理聚合后的数据处理结果。
本申请实施例中，执行节点处理端完成数据处理后，将数据处理结果反馈给中心节点处理端。当所有执行节点的处理数据均返回后，根据分发至执行节点处理端的子任务信息提取任务处理聚合逻辑信息，并按照该任务处理聚合逻辑信息对返回的数据处理结果进行任务处理聚合，并输出任务处理聚合后的数据处理结果，由服务端接收。
在本申请实施例中，为了进一步说明及限定，本申请实施例方法还包括：确定待处理的目标数据，并进行输出；接收基于目标数据录入的任务脚本，生成任务信息以及与该任务信息匹配的任务处理拆分逻辑信息、任务处理聚合逻辑信息；响应于中心节点处理端的数据通信请求，输出目标数据、任务信息、任务处理拆分逻辑信息，任务处理聚合逻辑信息。
具体的，首先，从任务文件中确定待处理的目标数据，并进行可视化输出，以供用户实时掌握任务文件的处理进程，可视化控制界面如图2所示。其中，待处理的目标数据可以由系统筛选出，也可以由客户指定，本申请实施例不做具体限定。然后，接收针对该目标数据的任务脚本，以该任务脚本为依据，生成任务信息以及与任务信息相匹配的任务处理拆分逻辑信息、任务处理聚合逻辑信息。其中任务脚本为依据一定格式编写的可执行性文件，可以包含目标数据以及相关程序代码等，可以由用户通过服务端进行创建，也可以提前录入，任务创建页面如图5所示。上述提到，任务处理拆分逻辑信息用于表征对不同任务信息拆分为至少两个子任务信息的逻辑内容；任务处理聚合逻辑信息用于表征按照任务信息对至少两个数据处理结果进行聚合的逻辑内容，在此不再赘述。最后，中心节点处理端向服务端请求数据通信时，表征集群已经确定了中心节点处理端，可以进行数据的分发等处理操作，服务端可以将确定的目标数据以及匹配的任务信息、任务处理拆分逻辑信息、任务处理聚合逻辑信息发送给中心节点处理端，进一步的，进行数据处理。
结合上述各实施例的具体实施过程，在具体的应用场景中，集群处理端与服务端之间的交互关系，如图6所示。其中，前台用于表征服务端，用于与用户之间的交互，包括：创建任务，可视化展示任务处理进程等。集群中包含一个中心节点处理端与若干执行节点处理端，集群中各个处理端之间构建网络结构，用于任务数据以及处理结果的传输等。
本申请实施例提供了一种数据处理方法，与现有技术相比，本申请实施例通过获取待处理的目标数据以及与所述目标数据匹配的任务信息；对所述目标数据、所述任务信息进行任务处理拆分，并将任务处理拆分后的目标数据、任务信息分发至至少一个执行节点处理端，以使所述执行节点处理端按照任务处理拆分后的目标数据、任务信息进行数据处理；获取所述执行节点处理端反馈的数据处理结果，并对所述数据处理结果进行任务处理聚合，输出任务处理聚合后的数据处理结果，有效改善了单一处理器无法满足快速且庞大的数据处理需求的问题，提高了数据处理的速度以及开发者的效率。
进一步的，作为对上述图1所示方法的实现，本申请实施例提供了一种数据装置，如图7所示，该装置包括： 第一获取模块31、拆分模块32、聚合模块33。
第一获取模块31，用于获取待处理的目标数据以及与所述目标数据匹配的任务信息；
拆分模块32，用于对所述目标数据、所述任务信息进行任务处理拆分，并将任务处理拆分后的目标数据、任务信息分发至至少一个执行节点处理端，以使所述执行节点处理端按照任务处理拆分后的目标数据、任务信息进行数据处理；
聚合模块33，用于获取所述执行节点处理端反馈的数据处理结果，并对所述数据处理结果进行任务处理聚合，输出任务处理聚合后的数据处理结果。
在具体的应用场景中，所述拆分模块32之前，所述装置还包括：
第一确定模块，用于结合至少一个执行节点处理端传输的节点资源信息确定节点状态，所述节点状态包括中心节点、执行节点；
接收模块，用于若所述节点状态为中心节点，则建立与服务端之间的数据通信，并接收所述服务端发送的任务处理拆分逻辑信息，所述任务处理拆分逻辑信息用于表征对不同任务信息拆分为至少两个子任务信息的逻辑内容。
在具体的应用场景中，所述拆分模块32包括：
拆分单元，用于基于所述任务处理拆分逻辑对所述任务信息进行拆分，得到至少两个子任务信息；
分发单元，用于从所述目标数据中确定与所述子任务信息匹配的执行节点目标数据，并将所述执行节点目标数据、所述子任务信息分发至至少一个执行节点处理端，以使所述执行节点处理端按照接收到的子任务信息对匹配的执行节点目标数据进行数据处理，所述执行节点处理端的节点状态确定为执行节点。
在具体的应用场景中，所述聚合模块33包括：
接收单元，用于接收至少一个执行节点处理端反馈的数据处理结果，并基于分发至所述执行节点处理端的子任务信息提取任务处理聚合逻辑信息，所述任务处理聚合逻辑信息用于表征按照任务信息对至少两个数据处理结果进行聚合的逻辑内容；
聚合单元，用于按照所述任务处理聚合逻辑信息对所述数据处理结果进行任务处理聚合，并将任务处理聚合后的数据处理结果输出至服务端，以使服务端进行可视化输出。
在具体的应用场景中，所述装置还包括：
构建模块，用于构建与至少一个节点处理端之间的网络结构，并通过所述网络结构与所述节点处理端之间进行节点资源信息的传输，以获取所述节点处理端所对应的节点资源信息并确定节点状态；
处理模块，用于若所述节点状态为执行节点，则基于所述网络结构传输节点状态的确认信息以及节点资源信息，以作为执行节点处理端进行数据处理。
在具体的应用场景中，所述装置还包括：
第二确定模块，用于若确定所述节点状态为中心节点，且检测到数据通信传输失败，则向所述执行节点处理端发送中心节点确认指令，以使重新确定中心节点服务端。
在具体的应用场景中，所述第一确定模块31，包括：
解析单元，用于解析全部节点资源信息中的内存资源、环境资源、接口资源至少一项；
确定单元，用于若当前节点处理端的所述内存资源、所述环境资源、所述接口资源至少一项符合预设处理条件，则将当前节点处理端的节点状态确定为中心节点。
进一步的，作为对上述图4所示方法的实现，本申请实施例提供了另一种数据装置，如图8所示，该装置包括：
第二获取模块41，用于确定待处理的目标数据后，获取与所述目标数据匹配的任务信息；
发送模块42，用于发送所述目标数据以及所述任务信息，以使中心节点处理端对所述目标数据、所述任务信息确定任务处理拆分后，分发至执行节点处理端进行数据处理生成数据处理结果；
接收模块43，用于接收经过所述中心节点处理端进行任务处理聚合后的数据处理结果。
在具体的应用场景中，所述装置还包括：
第一输出模块，用于确定待处理的目标数据，并进行输出；
生成模块，用于接收基于所述目标数据录入的任务脚本，生成任务信息以及与所述任务信息匹配的任务处理拆分逻辑信息、任务处理聚合逻辑信息，所述任务处理拆分逻辑信息用于表征对不同任务信息拆分为至少两个子任务信息的逻辑内容，所述任务处理聚合逻辑信息用于表征按照任务信息对至少两个数据处理结果进行聚合的逻辑内容；
第二输出模块，用于响应于所述中心节点处理端的数据通信请求，输出所述目标数据、所述任务信息、所述任务处理拆分逻辑信息，以及所述任务处理聚合逻辑信息。
本申请实施例提供了一种数据处理装置，与现有技术相比，本申请实施例通过获取待处理的目标数据以及与所述目标数据匹配的任务信息；对所述目标数据、所述任务信息进行任务处理拆分，并将任务处理拆分后的目标数据、任务信息分发至至少一个执行节点处理端，以使所述执行节点处理端按照任务处理拆分后的目标数据、任务信息进行数据处理；获取所述执行节点处理端反馈的数据处理结果，并对所述数据处理结果进行任务处理聚合，输出任务处理聚合后的数据处理结果，有效改善了单一处理器无法满足快速且庞大的数据处理需求的问题，提高了数据处理的速度以及开发者的效率。
根据本申请一个实施例提供了一种存储介质，所述存储介质存储有至少一条可执行指令，该计算机可执行指令可执行上述任意方法实施例中的数据处理方法。
图9示出了根据本申请一个实施例提供的一种终端的结构示意图，本申请具体实施例并不对终端的具体实现做限定。
如图9所示，该终端可以包括：处理器(processor)502、通信接口(CommunicationsInterface)504、存储器(memory)506、以及通信总线508。
其中：处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器502，用于执行程序510，具体可以执行上述数据处理方法实施例中的相关步骤。
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本申请实施例的一个或多个集成电路。终端包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行以下操作：
获取待处理的目标数据以及与所述目标数据匹配的任务信息；
对所述目标数据、所述任务信息进行任务处理拆分，并将任务处理拆分后的目标数据、任务信息分发至至少一个执行节点处理端，以使所述执行节点处理端按照任务处理拆分后的目标数据、任务信息进行数据处理；
获取所述执行节点处理端反馈的数据处理结果，并对所述数据处理结果进行任务处理聚合，输出任务处理聚合后的数据处理结果。
根据本申请另一个实施例提供了另一种存储介质，所述存储介质存储有至少一条可执行指令，该计算机可执行指令可执行上述任意方法实施例中的数据处理方法。
图10示出了根据本申请另一个实施例提供的一种服务端的结构示意图，本申请具体实施例并不对服务端的具体实现做限定。
如图10所示，该服务端可以包括：处理器(processor)602、通信接口(Communications Interface)604、存储器(memory)606、以及通信总线608。
其中：处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。
通信接口604，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器602，用于执行程序610，具体可以执行上述数据处理方法实施例中的相关步骤。
具体地，程序610可以包括程序代码，该程序代码包括计算机操作指令。
处理器602可能是中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本申请实施例的一个或多个集成电路。终端包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器606，用于存放程序610。存储器606可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。
程序610具体可以用于使得处理器502执行以下操作：
确定待处理的目标数据后，获取与所述目标数据匹配的任务信息；
发送所述目标数据以及所述任务信息，以使中心节点处理端对所述目标数据、所述任务信息确定任务处理拆分后，分发至执行节点处理端进行数据处理生成数据处理结果；
接收经过所述中心节点处理端进行任务处理聚合后的数据处理结果。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。
Claims (15)
1.一种数据处理方法，其特征在于，包括：
获取待处理的目标数据以及与所述目标数据匹配的任务信息；
对所述目标数据、所述任务信息进行任务处理拆分，并将任务处理拆分后的目标数据、任务信息分发至至少一个执行节点处理端，以使所述执行节点处理端按照任务处理拆分后的目标数据、任务信息进行数据处理；
获取所述执行节点处理端反馈的数据处理结果，并对所述数据处理结果进行任务处理聚合，输出任务处理聚合后的数据处理结果。
2.根据权利要求1所述的方法，其特征在于，所述对所述目标数据、所述任务信息进行任务处理拆分，并将任务处理拆分后的目标数据、任务信息分发至至少一个执行节点处理端之前，所述方法还包括：
结合至少一个执行节点处理端传输的节点资源信息确定节点状态，所述节点状态包括中心节点、执行节点；
若所述节点状态为中心节点，则建立与服务端之间的数据通信，并接收所述服务端发送的任务处理拆分逻辑信息，所述任务处理拆分逻辑信息用于表征对不同任务信息拆分为至少两个子任务信息的逻辑内容。
3.根据权利要求2所述的方法，其特征在于，所述对所述目标数据、所述任务信息进行任务处理拆分，并将任务处理拆分后的目标数据、任务信息分发至至少一个执行节点处理端包括：
基于所述任务处理拆分逻辑对所述任务信息进行拆分，得到至少两个子任务信息；
从所述目标数据中确定与所述子任务信息匹配的执行节点目标数据，并将所述执行节点目标数据、所述子任务信息分发至至少一个执行节点处理端，以使所述执行节点处理端按照接收到的子任务信息对匹配的执行节点目标数据进行数据处理，所述执行节点处理端的节点状态确定为执行节点。
4.根据权利要求2所述的方法，其特征在于，所述获取所述执行节点处理端反馈的数据处理结果，并对所述数据处理结果进行任务处理聚合，输出任务处理聚合后的数据处理结果包括：
接收至少一个执行节点处理端反馈的数据处理结果，并基于分发至所述执行节点处理端的子任务信息提取任务处理聚合逻辑信息，所述任务处理聚合逻辑信息用于表征按照任务信息对至少两个数据处理结果进行聚合的逻辑内容；
按照所述任务处理聚合逻辑信息对所述数据处理结果进行任务处理聚合，并将任务处理聚合后的数据处理结果输出至服务端，以使服务端进行可视化输出。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
构建与至少一个节点处理端之间的网络结构，并通过所述网络结构与所述节点处理端之间进行节点资源信息的传输，以获取所述节点处理端所对应的节点资源信息并确定节点状态；
若所述节点状态为执行节点，则基于网络结构传输节点状态的确认信息以及节点资源信息，以作为执行节点处理端进行数据处理。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
若确定所述节点状态为中心节点，且检测到数据通信传输失败，则向所述执行节点处理端发送中心节点确认指令，以使重新确定中心节点服务端。
7.根据权利要求2所述的方法，其特征在于，所述结合至少一个执行节点处理端传输的节点资源信息确定节点状态包括：
解析全部节点资源信息中的内存资源、环境资源、接口资源至少一项；
若当前节点处理端的所述内存资源、所述环境资源、所述接口资源至少一项符合预设处理条件，则将当前节点处理端的节点状态确定为中心节点。
8.一种数据处理方法，其特征在于，包括：
确定待处理的目标数据后，获取与所述目标数据匹配的任务信息；
发送所述目标数据以及所述任务信息，以使中心节点处理端对所述目标数据、所述任务信息确定任务处理拆分后，分发至执行节点处理端进行数据处理生成数据处理结果；
接收经过所述中心节点处理端进行任务处理聚合后的数据处理结果。
9.根据权利要求7所述的方法，其特征在于，所述方法还包括：
确定待处理的目标数据，并进行输出；
接收基于所述目标数据录入的任务脚本，生成任务信息以及与所述任务信息匹配的任务处理拆分逻辑信息、任务处理聚合逻辑信息，所述任务处理拆分逻辑信息用于表征对不同任务信息拆分为至少两个子任务信息的逻辑内容，所述任务处理聚合逻辑信息用于表征按照任务信息对至少两个数据处理结果进行聚合的逻辑内容；
响应于所述中心节点处理端的数据通信请求，输出所述目标数据、所述任务信息、所述任务处理拆分逻辑信息，以及所述任务处理聚合逻辑信息。
10.一种数据处理装置，其特征在于，包括：
第一获取模块，用于获取待处理的目标数据以及与所述目标数据匹配的任务信息；
拆分模块，用于对所述目标数据、所述任务信息进行任务处理拆分，并将任务处理拆分后的目标数据、任务信息分发至至少一个执行节点处理端，以使所述执行节点处理端按照任务处理拆分后的目标数据、任务信息进行数据处理；
聚合模块，用于获取所述执行节点处理端反馈的数据处理结果，并对所述数据处理结果进行任务处理聚合，输出任务处理聚合后的数据处理结果。
11.一种数据处理装置，其特征在于，包括：
第二获取模块，用于确定待处理的目标数据后，获取与所述目标数据匹配的任务信息；
发送模块，用于发送所述目标数据以及所述任务信息，以使中心节点处理端对所述目标数据、所述任务信息确定任务处理拆分后，分发至执行节点处理端进行数据处理生成数据处理结果；
接收模块，用于接收经过所述中心节点处理端进行任务处理聚合后的数据处理结果。
12.一种存储介质，所述存储介质中存储有至少一条可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的数据处理方法对应的操作。
13.一种终端，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一条可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的数据处理方法对应的操作。
14.一种存储介质，所述存储介质中存储有至少一条可执行指令，所述可执行指令使处理器执行如权利要求8-9中任一项所述的数据处理方法对应的操作。
15.一种服务端，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一条可执行指令，所述可执行指令使所述处理器执行如权利要求8-9中任一项所述的数据处理方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210191813.8A CN114265873A (zh) | 2022-03-01 | 2022-03-01 | 数据处理方法及装置、存储介质、终端、服务端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210191813.8A CN114265873A (zh) | 2022-03-01 | 2022-03-01 | 数据处理方法及装置、存储介质、终端、服务端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114265873A true CN114265873A (zh) | 2022-04-01 |
Family
ID=80833872
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210191813.8A Pending CN114265873A (zh) | 2022-03-01 | 2022-03-01 | 数据处理方法及装置、存储介质、终端、服务端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114265873A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109857549A (zh) * | 2019-01-04 | 2019-06-07 | 平安科技（深圳）有限公司 | 基于负载均衡的图像数据处理方法、系统、设备及介质 |
| CN110008257A (zh) * | 2019-04-10 | 2019-07-12 | 深圳市腾讯计算机系统有限公司 | 数据处理方法、装置、系统、计算机设备和存储介质 |
| CN111459659A (zh) * | 2020-03-10 | 2020-07-28 | 中国平安人寿保险股份有限公司 | 数据处理方法、装置、调度服务器及介质 |
| CN112035258A (zh) * | 2020-08-31 | 2020-12-04 | 中国平安财产保险股份有限公司 | 数据处理方法、装置、电子设备及介质 |
| CN112948119A (zh) * | 2021-03-15 | 2021-06-11 | 深圳飞马机器人科技有限公司 | 无人机海量数据处理方法、装置和系统 |
| CN113342509A (zh) * | 2021-08-03 | 2021-09-03 | 北京达佳互联信息技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN113703929A (zh) * | 2020-05-20 | 2021-11-26 | 中国移动通信集团浙江有限公司 | 一种任务调度方法、系统、计算设备和存储介质 |
| CN113886458A (zh) * | 2021-09-23 | 2022-01-04 | 浙江至元数据科技有限公司 | 一种基于任务聚合的分布式隐匿查询方法及系统 |
-
2022
- 2022-03-01 CN CN202210191813.8A patent/CN114265873A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109857549A (zh) * | 2019-01-04 | 2019-06-07 | 平安科技（深圳）有限公司 | 基于负载均衡的图像数据处理方法、系统、设备及介质 |
| CN110008257A (zh) * | 2019-04-10 | 2019-07-12 | 深圳市腾讯计算机系统有限公司 | 数据处理方法、装置、系统、计算机设备和存储介质 |
| CN111459659A (zh) * | 2020-03-10 | 2020-07-28 | 中国平安人寿保险股份有限公司 | 数据处理方法、装置、调度服务器及介质 |
| CN113703929A (zh) * | 2020-05-20 | 2021-11-26 | 中国移动通信集团浙江有限公司 | 一种任务调度方法、系统、计算设备和存储介质 |
| CN112035258A (zh) * | 2020-08-31 | 2020-12-04 | 中国平安财产保险股份有限公司 | 数据处理方法、装置、电子设备及介质 |
| CN112948119A (zh) * | 2021-03-15 | 2021-06-11 | 深圳飞马机器人科技有限公司 | 无人机海量数据处理方法、装置和系统 |
| CN113342509A (zh) * | 2021-08-03 | 2021-09-03 | 北京达佳互联信息技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN113886458A (zh) * | 2021-09-23 | 2022-01-04 | 浙江至元数据科技有限公司 | 一种基于任务聚合的分布式隐匿查询方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112035238A (zh) | 任务调度处理方法、装置、集群系统及可读存储介质 | |
| CN114281521B (zh) | 优化深度学习异构资源通信效率方法、系统、设备及介质 | |
| CN112527848B (zh) | 基于多数据源的报表数据查询方法、装置、系统及存储介质 | |
| CN110673959A (zh) | 用于处理任务的系统、方法和装置 | |
| CN116795647A (zh) | 一种数据库异构资源管理与调度方法、装置、设备及介质 | |
| CN116708450A (zh) | 负载均衡方法、装置、电子设备及计算机可读存储介质 | |
| CN113342503B (zh) | 实时进度反馈方法、装置、设备及存储介质 | |
| CN117149665B (zh) | 持续集成方法、控制设备、持续集成系统及存储介质 | |
| CN109033184B (zh) | 数据处理方法及装置 | |
| CN111835809B (zh) | 工单消息分配方法、装置、服务器及存储介质 | |
| CN114265873A (zh) | 数据处理方法及装置、存储介质、终端、服务端 | |
| CN110750362A (zh) | 生物信息的分析方法、装置和存储介质 | |
| CN111259045A (zh) | 一种数据处理方法、装置、服务器及介质 | |
| CN114245173B (zh) | 一种图像压缩方法、装置、终端设备和存储介质 | |
| CN115344370A (zh) | 任务调度方法、装置、设备及存储介质 | |
| CN113704174A (zh) | 一种芯片和数据处理方法 | |
| CN113254385A (zh) | 一种网络结构、并行推理模型的编译加载方法及芯片系统 | |
| CN112883110A (zh) | 一种基于nifi的终端大数据分发方法、存储介质及系统 | |
| CN110569673A (zh) | 一种数据文件处理方法、装置、设备及储存介质 | |
| CN112380023B (zh) | 分布式模型计算控制方法及装置 | |
| WO2023035147A1 (en) | Data processing method of industry edge product and distributed computing protocol engine thereof | |
| Chen et al. | Scheduling of job combination and dispatching strategy for grid and cloud system | |
| CN114565098A (zh) | 一种量子计算模拟多节点任务调度方法及设备 | |
| CN114168345A (zh) | 一种任务处理方法、装置、计算机设备及存储介质 | |
| CN115766842A (zh) | 任务执行方法、装置、计算机可读介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220401 |
|
| RJ01 | Rejection of invention patent application after publication |