CN107888684A - 分布式系统计算任务处理方法、装置及控制器 - Google Patents
分布式系统计算任务处理方法、装置及控制器 Download PDFInfo
- Publication number
- CN107888684A CN107888684A CN201711117402.XA CN201711117402A CN107888684A CN 107888684 A CN107888684 A CN 107888684A CN 201711117402 A CN201711117402 A CN 201711117402A CN 107888684 A CN107888684 A CN 107888684A
- Authority
- CN
- China
- Prior art keywords
- node
- distributed system
- operational data
- calculating task
- subtask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Multi Processors (AREA)
Abstract
本发明提出一种分布式系统计算任务处理方法、设备及系统，其中方法包括：获取计算任务，所述计算任务中包括待运算数据的标识；根据所述待运算数据的标识、及分布式系统中各节点存储的运算数据标识，确定各节点对应的子任务，其中，每个子任务中包括的待运算数据存储在同一节点中；将所述各子任务分别分配给对应的各节点。由此，实现了各节点在完成子任务时，无需从其它节点获取待运算数据，降低了分布式系统计算任务的时间和资源开销，提高了计算任务的处理速度。
Description
技术领域
本发明涉及互联网技术领域，特别涉及一种分布式系统计算任务处理方法、装置及控制器。
背景技术
目前，分布式系统进行计算任务时，通常是将计算数据预先加载到各分布式节点内存中。运算时，由各运算节点从内存中加载运算数据进行计算。
运算过程中，运算节点采用“就近计算”调度策略，从内存中加载运算数据。“就近计算”调度策略包括：(1)需要运算的数据正好在本节点内存中，则会直接从内存读取，并进行运算；(2)如果本节点内存中没有该运算数据，则会从分布式系统的其它节点内存中获取运算数据。
上述调度策略中，各节点从分布式系统中的其它节点获取运算数据时，都需要经过：数据序列化、网络传输、反序列化的过程，上述过程不仅需要占用节点资源、网络资源，还会带来较大的时间开销，显著增加整个计算任务的时间。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一方面提出一种分布式系统计算任务处理方法。实现了各节点在完成子任务时，无需从其它节点获取待运算数据，降低了分布式系统计算任务的时间和资源开销，提高了计算任务的处理速度。
本发明的第二方面提出一种分布式系统计算任务处理装置。
本发明的第三方面提出一种分布式系统处理器。
本发明的第四方面提出一种计算机可读存储介质。
本发明第一方面实施例提出了一种分布式系统计算任务处理方法，该方法，包括：
在页面显示过程中，根据页面中包含的网络测试配置信息向服务器发送第一访问请求；
获取与所述第一访问请求对应的各时间信息；
根据所述第一访问请求对应的各时间信息，确定当前的网络状态。
本实施例提供的分布式系统计算任务处理方法中，通过根据计算任务中各待运算数据的存储位置，将计算任务拆分为多个子任务，以使每个子任务中包括的待运算数据存储在同一节点中，然后将各子任务分别分配给对应的节点，并在获取到各节点返回的计算结果后，确定当前计算任务对应的结果。由此，实现了各节点在完成子任务时，无需从其它节点获取待运算数据，降低了分布式系统计算任务的时间和资源开销，提高了计算任务的处理速度。
另外，本发明上述实施例提出的网络状态监控方法还可以具有如下附加的技术特征：
在本发明的一个实施例中，所述向服务器发送第一访问请求，包括：
获取计算任务，所述计算任务中包括待运算数据的标识；
根据所述待运算数据的标识、及分布式系统中各节点存储的运算数据标识，确定各节点对应的子任务，其中，每个子任务中包括的待运算数据存储在同一节点中；
将所述各子任务分别分配给对应的各节点。
本实施例提供的分布式系统计算任务处理方法，通过根据计算任务中各待运算数据的存储位置，将计算任务拆分为多个子任务，以使每个子任务中包括的待运算数据存储在同一节点中，然后将各子任务分别分配给对应的节点，并在获取到各节点返回的计算结果后，确定当前计算任务对应的结果。由此，实现了各节点在完成子任务时，无需从其它节点获取待运算数据，降低了分布式系统计算任务的时间和资源开销，提高了计算任务的处理速度。
本发明第二方面实施例提出了一种分布式系统计算任务处理装置，该装置包括：
获取模块，用于获取计算任务，所述计算任务中包括待运算数据的标识；
处理模块，用于根据所述待运算数据的标识、及分布式系统中各节点存储的运算数据标识，确定各节点对应的子任务，其中，每个子任务中包括的待运算数据存储在同一节点中；
分配模块，用于将所述各子任务分别分配给对应的各节点。
本实施例提供的分布式系统计算任务处理装置，通过根据计算任务中各待运算数据的存储位置，将计算任务拆分为多个子任务，以使每个子任务中包括的待运算数据存储在同一节点中，然后将各子任务分别分配给对应的节点，并在获取到各节点返回的计算结果后，确定当前计算任务对应的结果。由此，实现了各节点在完成子任务时，无需从其它节点获取待运算数据，降低了分布式系统计算任务的时间和资源开销，提高了计算任务的处理速度。
本发明第三方面实施例提出了一种分布式系统控制器，包括：
存储器、处理器及通信接口；
所述存储器，用于存储可执行程序代码；
所述通信接口，用于与各节点进行通信连接；
所述处理器，用于读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如上第一方面所述的分布式系统计算任务处理方法。
本申请第四个方面提出一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上第一方面所述的分布式系统计算任务处理方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明一个实施例的分布式系统计算任务处理方法的流程图；
图2为本发明另一个实施例的分布式系统计算任务处理方法的流程图；
图2A为本发明一个实施例提供的分布式系统数据分配示意图；
图3为本发明一个实施例的分布式系统计算任务处理装置的结构示意图；
图4为本发明一个实施例的分布式系统控制器的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本发明实施例主要针对现有技术中，分布式系统在进行计算任务时，“就近计算”调度策略中，各节点从分布式系统中的其它节点获取运算数据时，都需要经过：数据序列化、网络传输、反序列化的过程，不仅占用节点资源、网络资源，还会带来较大的时间开销，显著增加整个计算任务的时间的问题，提出了一种分布式系统计算任务处理方法。
本发明提出的分布式系统计算任务处理方法，在获取到计算任务后，通过根据计算任务中包括的待运算数据的标识，及分布式系统中各节点存储的运算数据的标识，确定各节点对应的子任务，其中，每个子任务中包括的待运算数据存储在同一节点中，然后分别将各子任务分配给对应的各节点，之后根据各节点返回的计算结果，确定计算任务对应的结果。由此，通过根据各节点中存储的运算对应的标识，将计算任务分为多个子任务，再将各子任务分配给对应的节点，使得各节点在完成子任务时，无需从其它节点中获取运算数据，从而省去了数据序列化、网络传输等过程，节省了节点资源及网络资源，减少了计算任务的处理时间，提高了计算任务的完成速度。
下面结合附图对本发明实施例提出的分布式系统计算任务处理方法进行详细描述。
图1为本发明一个实施例的分布式系统计算任务处理方法的流程图。
如图1所示，该分布式系统计算任务处理方法可以包括以下步骤：
步骤101，获取计算任务，所述计算任务中包括待运算数据的标识。
具体的，本实施例提供的分布式系统计算任务处理方法，可以应用于本发明提供的分布式系统计算任务处理装置中，以实现对分布式式系统中的计算任务进行控制。
其中，计算任务中的运算数据，可以是数值，也可以是任意可运算的数据，比如字符串、文本等等。
步骤102，根据所述待运算数据的标识、及分布式系统中各节点存储的运算数据标识，确定各节点对应的子任务。
其中，每个子任务中包括的待运算数据存储在同一节点中。
步骤103，将所述各子任务分别分配给对应的各节点。
具体的，分布式系统在获取到数据时，会首先将待数据分配给各节点进行存储。本实施例中，分布式系统在为各节点分配数据时，可以将各节点中存储的数据的标识记录下来，从而再获取到计算任务时，即可根据计算任务中包括的待运算数据的标识，将计算任务差分为多个子任务。
其中，子任务，是指计算任务中的一部分。
例如，若计算任务为计算标识从1到10之间的数据的和。那么子任务就可以为计算标识从1到3之间数据的和、或者为计算标识从1到5之间数据的和、或者为计算标识从4到7之间数据的和等等。
本申请实施例中，在进行任务分配时，是根据各节点存储的运算数据的标识及当前计算任务中包括的待运算数据标识，确定各节点对应的子任务，从而使各节点在完成其对应的子任务时，仅需从自己的内存中读取运算数据，而无需从其它节点内存中获取运算数据，从而降低了整个系统中央处理器(Central Processing Unit，CPU)和网络的开销。
举例来说，分布式系统中包括4个节点，各节点分别存储的数据的标识为：A节点存储的运算数据包括：标识为1-10的数据；B节点存储的运算数据包括：标识为11-20的数据；C节点存储的运算数据包括：标识为21-30的数据；D节点存储的运算数据包括：标识为31-40的数据。
此时，若分布式系统获取到的计算任务为：
计算标识为1-5的数据的和，与标识为11-15的数据的和的差值。那么分布式系统根据各节点存储的运算数据标识可知，标识为1-5的运算数据存储在节点A中，标识为11-15的运算数据存储在节点B中。从而即可确定节点A对应的子任务为计算标识1-5的数据的和，节点B对应的子任务为计算标识11-15的运算数据的和。之后，即可将各子任务分别分配给节点A和节点B。
需要说明的是，若各节点完成的子任务的结果即为当前计算任务的结果，那么分布式系统计算任务处理装置在获取到各节点返回的计算结果后，即可结束此次计算任务。但是，若各节点完成的子任务的结果，并非此次计算任务的结果，那么分布式系统计算任务处理装置在获取到各节点返回的计算结果后，还需要根据各节点返回的计算结果，进一步确定当前计算任务对应的结果。即本申请实施例在上述步骤103之后，还可以包括：
步骤104，根据所述各节点返回的计算结果，确定所述计算任务对应的结果。
具体的，各节点在获取到对应的子任务后，即可根据子任务中包括的待运算数据的标识，从本地内存中读取对应的数据，进而进行计算，确定计算结果，并将计算结果返回给分布式系统计算任务处理装置。
分布式系统计算任务处理装置，在获取到各节点返回的计算结果后，即可对各计算结果进行汇总运算，从而确定计算任务对应的结果。
如上述例子所述，当节点A和节点B分别计算出对应的运算数据的和之后，即可将各自的计算结果返回给分布式系统计算任务处理装置，之后分布式系统计算任务处理装置即可通过计算，确定A和B两个节点分别返回的计算结果的差值，即该计算任务对应的最终结果。
本实施例提供的分布式系统计算任务处理方法中，通过根据计算任务中各待运算数据的存储位置，将计算任务拆分为多个子任务，以使每个子任务中包括的待运算数据存储在同一节点中，然后将各子任务分别分配给对应的节点，并在获取到各节点返回的计算结果后，确定当前计算任务对应的结果。由此，实现了各节点在完成子任务时，无需从其它节点获取待运算数据，降低了分布式系统计算任务的时间和资源开销，提高了计算任务的处理速度。
通过上述分析可知，计算任务的完成时间，主要由各节点完成子任务的时间决定。因此，为使得计算任务的处理时间尽量短，需要尽量保证各节点完成子任务的时间尽量同步。此时，即可通过控制各节点中存储的数据尽量均衡来实现。下面结合图2，对本申请提供的分布式系统计算任务处理方法进行进一步说明。
图2为本发明另一个实施例的分布式系统计算任务处理方法的流程图。
如图2所示，本发明实施例的分布式系统计算任务处理方法，在上述步骤101之前，还可以包括以下步骤：
步骤201，确定所述分布式系统中节点的数量。
步骤202，根据所述分布式系统中节点的数量及运算数据的总量，将所述运算数据分为不同子集，其中每两个子集中数据量的差值小于阈值。
步骤203，将各子集分别分配给不同的节点，以使各节点将子集写入节点内存中。
其中，上述阈值可以根据待分配的运算数据的总量确定，比如为待分配的运算数据总量的1％、2％等等，本实施例对此不做限定。
可以理解的是，分布式系统计算任务处理装置，可以首先将运算数据的总量除以节点的数量，来确定各节点需分配的运算数据的数量，进而再将剩余的运算数据尽量均匀的分配至各节点中。
具体的，分布式系统计算任务处理装置，分配数据的过程可以如图2A所示。
举例来说，若运算数据的总量为100，而节点的数量为8，那么即可确定各节点至少应分配的运算数据数量为12个，最多为13个，即将运算数据分为以下8个子集：12、12、12、12、13、13、13、13。从而即可将各子集分配给不同的节点。
在本申请一种可能的实现形式中，由于分布式系统中各节点的处理能力或者内存空间可能不同，因此，本申请实施例在进行运算数据分配时，还可以根据各节点的内存剩余空间等，确定当前可用的节点数量。即上述步骤201，可以包括：
根据所述分布式系统中各节点的内存剩余空间，确定所述分布式系统中可用节点的数量；
相应的，上述步骤202，可以包括：
根据所述可用节点的数量及所述待运算数据的总量，将所述待运算数据分为不同子集。
举例来说，若分布式系统中共包括8个节点，其中一个节点的内存剩余空间已无法再存储运算数据，那么分布式系统在获取到新的待分配的运算数据时，即只能将运算数据分为7份，并依次分配至剩余的7个节点中。
具体的，分布式系统计算任务处理装置，在获取到运算数据后，即可根据运算数据的数量，及系统内节点的数量，将运算数据尽量平均分配至各节点中。从而在进行计算任务时，各节点由于包含的运算数据的数量接近，相应的完成各子任务的时间也尽量同步，减少了由于各节点完成子任务不同步而带来的等待时间，进一步提高了计算任务的处理速度。
本实施例提供的分布式系统计算任务处理方法中，首先根据分布式系统中节点的数量及待分配的运算数据的总量，将运算数据分为不同子集，以上每两个子集的差值小于阈值，然后将各子集分别发送给不同节点，以使各节点将各子集写入节点内存中，然后分布式系统在获取到计算任务后，即可根据计算任务中各待运算数据的存储位置，向各节点分配子任务，然后根据各节点返回的结果，确定当前计算任务的结果。由此，实现了各节点在完成子任务时，无需从其它节点获取待运算数据，降低了分布式系统计算任务的时间和资源开销，提高了计算任务的处理速度。并且通过将运算数据尽量均匀的分配至各节点，为提供计算任务的处理速度提供了条件。
为实现上述实施例，本申请还提供一种分布式系统计算任务处理装置。
图3为本发明一个实施例的分布式系统计算任务处理装置的结构示意图。
如图3所述，该分布式系统计算任务处理装置包括：
获取模块31，用于获取计算任务，所述计算任务中包括待运算数据的标识；
处理模块32，用于根据所述待运算数据的标识、及分布式系统中各节点存储的运算数据标识，确定各节点对应的子任务，其中，每个子任务中包括的待运算数据存储在同一节点中；
分配模块33，用于将所述各子任务分别分配给对应的各节点。
在本申请一种可能的实现形式中，该装置，还包括：
汇总模块34，用于根据所述各节点返回的计算结果，确定所述计算任务对应的结果。
进一步的，该装置，还包括：
确定模块35，用于确定所述分布式系统中节点的数量；
划分模块36，用于根据所述分布式系统中节点的数量及运算数据的总量，将所述运算数据分为不同子集，其中每两个子集中数据量的差值小于阈值；
相应的，所述分配模块33，还用于将各子集分别分配给不同的节点，以使各节点将各子集写入节点内存中。
在本申请一种较优的实现形式中，上述确定模块55，具体用于：
根据所述分布式系统中各节点的内存剩余空间，确定所述分布式系统中可用节点的数量；
所述划分模块36，具体用于：
根据所述可用节点的数量及所述待运算数据的总量，将所述待运算数据分为不同子集。
本实施例提供的分布式系统计算任务处理装置，通过根据计算任务中各待运算数据的存储位置，将计算任务拆分为多个子任务，以使每个子任务中包括的待运算数据存储在同一节点中，然后将各子任务分别分配给对应的节点，并在获取到各节点返回的计算结果后，确定当前计算任务对应的结果。由此，实现了各节点在完成子任务时，无需从其它节点获取待运算数据，降低了分布式系统计算任务的时间和资源开销，提高了计算任务的处理速度。
为了实现上述实施例，本发明还提出了一种分布式系统控制器。
图4为本发明一个实施例的分布式系统控制器的结构示意图。
如图4所示，上述分布式系统控制器包括：存储器41、处理器42及通信接口43；
所述存储器41，用于存储可执行程序代码；
所述通信接口43，用于与各节点进行通信连接；
所述处理器42，用于读取所述存储器41中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如上述任一实施例所述的分布式系统计算任务处理方法。
为实现上述目的，本发明还提出一种计算机可读存储介质。
其中该计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述的分布式系统计算任务处理方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种分布式系统计算任务处理方法，其特征在于，包括：
获取计算任务，所述计算任务中包括待运算数据的标识；
根据所述待运算数据的标识、及分布式系统中各节点存储的运算数据标识，确定各节点对应的子任务，其中，每个子任务中包括的待运算数据存储在同一节点中；
将所述各子任务分别分配给对应的各节点。
2.如权利要求1所述的方法，其特征在于，所述获取计算任务之前，还包括：
确定所述分布式系统中节点的数量；
根据所述分布式系统中节点的数量及运算数据的总量，将所述运算数据分为不同子集，其中每两个子集中数据量的差值小于阈值；
将各子集分别发送给不同的节点，以使各节点将各子集写入节点内存中。
3.如权利要求2所述的方法，其特征在于，所述确定所述分布式系统中节点的数量，包括：
根据所述分布式系统中各节点的内存剩余空间，确定所述分布式系统中可用节点的数量；
所述将所述待运算数据分为不同子集，包括：
根据所述可用节点的数量及所述待运算数据的总量，将所述待运算数据分为不同子集。
4.如权利要求1-3任一所述的方法，其特征在于，所述将所述各子任务分别分配给对应的各节点之后，还包括：
根据所述各节点返回的计算结果，确定所述计算任务对应的结果。
5.一种分布式系统计算任务处理装置，其特征在于，包括：
获取模块，用于获取计算任务，所述计算任务中包括待运算数据的标识；
处理模块，用于根据所述待运算数据的标识、及分布式系统中各节点存储的运算数据标识，确定各节点对应的子任务，其中，每个子任务中包括的待运算数据存储在同一节点中；
分配模块，用于将所述各子任务分别分配给对应的各节点。
6.如权利要求5所述的装置，其特征在于，还包括：
确定模块，用于确定所述分布式系统中节点的数量；
划分模块，用于根据所述分布式系统中节点的数量及运算数据的总量，将所述运算数据分为不同子集，其中每两个子集中数据量的差值小于阈值；
所述分配模块，还用于将各子集分别分配给不同的节点，以使各节点将各子集写入节点内存中。
7.如权利要求6所述的装置，其特征在于，所述确定模块，具体用于：
根据所述分布式系统中各节点的内存剩余空间，确定所述分布式系统中可用节点的数量；
所述划分模块，具体用于：
根据所述可用节点的数量及所述待运算数据的总量，将所述待运算数据分为不同子集。
8.如权利要求5-7任一所述的装置，其特征在于，还包括：
汇总模块，用于根据所述各节点返回的计算结果，确定所述计算任务对应的结果。
9.一种分布式系统控制器，其特征在于，包括：存储器、处理器及通信接口；
所述存储器，用于存储可执行程序代码；
所述通信接口，用于与各节点进行通信连接；
所述处理器，用于读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-4任一所述的分布式系统计算任务处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4任一所述的分布式系统计算任务处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711117402.XA CN107888684A (zh) | 2017-11-13 | 2017-11-13 | 分布式系统计算任务处理方法、装置及控制器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711117402.XA CN107888684A (zh) | 2017-11-13 | 2017-11-13 | 分布式系统计算任务处理方法、装置及控制器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107888684A true CN107888684A (zh) | 2018-04-06 |
Family
ID=61776926
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711117402.XA Withdrawn CN107888684A (zh) | 2017-11-13 | 2017-11-13 | 分布式系统计算任务处理方法、装置及控制器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107888684A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108965155A (zh) * | 2018-07-03 | 2018-12-07 | 厦门日辰科技有限公司 | 分布式网络的数据处理方法及计算机可读存储介质 |
| CN109783717A (zh) * | 2018-12-04 | 2019-05-21 | 北京奇艺世纪科技有限公司 | 查询任务处理方法、系统、服务器集群及装置、计算机可读存储介质 |
| CN110659117A (zh) * | 2019-08-23 | 2020-01-07 | 阿里巴巴集团控股有限公司 | 业务指标任务调度及执行方法、装置、系统及存储介质 |
| CN111435943A (zh) * | 2019-01-14 | 2020-07-21 | 阿里巴巴集团控股有限公司 | 数据处理方法、设备、系统及存储介质 |
| CN112799799A (zh) * | 2020-12-29 | 2021-05-14 | 杭州涂鸦信息技术有限公司 | 数据消费方法及装置 |
| CN115250276A (zh) * | 2021-04-27 | 2022-10-28 | 北京同邦卓益科技有限公司 | 分布式系统及数据处理的方法和装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103324533A (zh) * | 2012-03-22 | 2013-09-25 | 华为技术有限公司 | 分布式数据处理方法、装置及系统 |
| CN104102475A (zh) * | 2013-04-11 | 2014-10-15 | 腾讯科技（深圳）有限公司 | 分布式并行任务处理的方法、装置及系统 |
| CN104750549A (zh) * | 2015-04-13 | 2015-07-01 | 飞狐信息技术（天津）有限公司 | 计算任务处理装置、方法及系统 |
| CN105022796A (zh) * | 2015-06-30 | 2015-11-04 | 北京奇艺世纪科技有限公司 | 一种文件遍历方法、装置及系统 |
| CN105740063A (zh) * | 2014-12-08 | 2016-07-06 | 杭州华为数字技术有限公司 | 一种数据处理方法及装置 |
| CN106202261A (zh) * | 2016-06-29 | 2016-12-07 | 浪潮(北京)电子信息产业有限公司 | 一种数据访问请求的分布式处理方法及引擎 |
| CN106445676A (zh) * | 2015-08-05 | 2017-02-22 | 杭州海康威视系统技术有限公司 | 一种分布式数据计算的任务分配方法和任务分配装置 |
-
2017
- 2017-11-13 CN CN201711117402.XA patent/CN107888684A/zh not_active Withdrawn
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103324533A (zh) * | 2012-03-22 | 2013-09-25 | 华为技术有限公司 | 分布式数据处理方法、装置及系统 |
| CN104102475A (zh) * | 2013-04-11 | 2014-10-15 | 腾讯科技（深圳）有限公司 | 分布式并行任务处理的方法、装置及系统 |
| CN105740063A (zh) * | 2014-12-08 | 2016-07-06 | 杭州华为数字技术有限公司 | 一种数据处理方法及装置 |
| CN104750549A (zh) * | 2015-04-13 | 2015-07-01 | 飞狐信息技术（天津）有限公司 | 计算任务处理装置、方法及系统 |
| CN105022796A (zh) * | 2015-06-30 | 2015-11-04 | 北京奇艺世纪科技有限公司 | 一种文件遍历方法、装置及系统 |
| CN106445676A (zh) * | 2015-08-05 | 2017-02-22 | 杭州海康威视系统技术有限公司 | 一种分布式数据计算的任务分配方法和任务分配装置 |
| CN106202261A (zh) * | 2016-06-29 | 2016-12-07 | 浪潮(北京)电子信息产业有限公司 | 一种数据访问请求的分布式处理方法及引擎 |
Non-Patent Citations (1)
| Title |
|---|
| 益慧凌云: "分布式计算", 《51CTO博客》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108965155A (zh) * | 2018-07-03 | 2018-12-07 | 厦门日辰科技有限公司 | 分布式网络的数据处理方法及计算机可读存储介质 |
| CN109783717A (zh) * | 2018-12-04 | 2019-05-21 | 北京奇艺世纪科技有限公司 | 查询任务处理方法、系统、服务器集群及装置、计算机可读存储介质 |
| CN109783717B (zh) * | 2018-12-04 | 2022-02-01 | 北京奇艺世纪科技有限公司 | 查询任务处理方法、系统、服务器集群及装置、计算机可读存储介质 |
| CN111435943A (zh) * | 2019-01-14 | 2020-07-21 | 阿里巴巴集团控股有限公司 | 数据处理方法、设备、系统及存储介质 |
| CN111435943B (zh) * | 2019-01-14 | 2022-07-19 | 阿里巴巴集团控股有限公司 | 数据处理方法、设备、系统及存储介质 |
| CN110659117A (zh) * | 2019-08-23 | 2020-01-07 | 阿里巴巴集团控股有限公司 | 业务指标任务调度及执行方法、装置、系统及存储介质 |
| CN112799799A (zh) * | 2020-12-29 | 2021-05-14 | 杭州涂鸦信息技术有限公司 | 数据消费方法及装置 |
| CN115250276A (zh) * | 2021-04-27 | 2022-10-28 | 北京同邦卓益科技有限公司 | 分布式系统及数据处理的方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107888684A (zh) | 分布式系统计算任务处理方法、装置及控制器 | |
| CN109447253B (zh) | 显存分配的方法、装置、计算设备及计算机存储介质 | |
| US9501318B2 (en) | Scheduling and execution of tasks based on resource availability | |
| US20190394132A1 (en) | System and Method for Network Slicing for Service-Oriented Networks | |
| DE112004002848B4 (de) | Mikroprozessor und Verfahren zum Verifizieren einer Speicherdatei in einem derartigen Mikroprozessor | |
| US11144330B2 (en) | Algorithm program loading method and related apparatus | |
| CN111143039B (zh) | 一种虚拟机的调度方法、装置及计算机存储介质 | |
| CN105095263A (zh) | 卡号的生成方法及其装置 | |
| CN105426259A (zh) | 用于传递api中的依赖关系的技术 | |
| CN110764714A (zh) | 一种数据处理方法、装置、设备及可读存储介质 | |
| CN108885579A (zh) | 用于根据核追踪进行数据挖掘的方法和设备 | |
| CN111198754A (zh) | 一种任务调度方法及装置 | |
| CN106708710A (zh) | 用于识别线程卡顿的方法及装置 | |
| CN109634714B (zh) | 一种智能调度的方法及装置 | |
| CN110515734A (zh) | 数据处理任务的负载处理方法及装置 | |
| CN108459906A (zh) | 一种vcpu线程的调度方法及装置 | |
| CN109614386B (zh) | 数据处理方法、装置、服务器及计算机可读存储介质 | |
| CN107562542A (zh) | 分布式数据处理系统数据分区方法及装置 | |
| CN110825502B (zh) | 神经网络处理器和用于神经网络处理器的任务调度方法 | |
| CN108062709B (zh) | 基于半监督学习的用户行为预测方法及装置 | |
| US8627273B2 (en) | Model checking of liveness property in a phase abstracted model | |
| CN112860779B (zh) | 一种批量数据导入方法及装置 | |
| CN116187247A (zh) | 一种芯片验证系统、方法、装置及存储介质 | |
| CN109800089A (zh) | 一种缓冲资源分配方法、模块以及电子设备 | |
| Shaykhislamov et al. | An approach for detecting abnormal parallel applications based on time series analysis methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190903 Address after: 100192 Dongsheng Science Park, Zhongguancun, 66 Xixiaokou Road, Haidian District, Beijing Applicant after: Green Bay Network Technology Co., Ltd. Address before: 100089 Beijing Haidian District Xixiaokou Road 66 Zhongguancun Dongsheng Science Park B-6 Building B 5 floors Applicant before: Grass count language (Beijing) Technology Co., Ltd. |
|
| TA01 | Transfer of patent application right | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180406 |
|
| WW01 | Invention patent application withdrawn after publication |