CN103577299A - 监控方法和装置、数据处理方法和装置及分布式计算系统 - Google Patents
监控方法和装置、数据处理方法和装置及分布式计算系统 Download PDFInfo
- Publication number
- CN103577299A CN103577299A CN201210279571.4A CN201210279571A CN103577299A CN 103577299 A CN103577299 A CN 103577299A CN 201210279571 A CN201210279571 A CN 201210279571A CN 103577299 A CN103577299 A CN 103577299A
- Authority
- CN
- China
- Prior art keywords
- computing node
- task
- tasks carrying
- supervising device
- carrying instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明实施例涉及分布式计算中的监控方法和装置、数据处理方法和装置以及分布式计算系统。所述监控方法包括：从每个计算节点接收与相应计算节点的当前任务处理有关的状态信息；基于从各个计算节点接收的状态信息而针对相应计算节点生成任务执行指令；将所述任务执行指令发送给相应计算节点以使其执行相应的后续处理。由此实现对海量数据的实时处理。
Description
技术领域
本发明涉及数据处理领域，更具体来说，涉及一种用于海量数据处理的分布式数据处理的方法和设备。
背景技术
随着互联网技术的发展，海量数据的处理逐渐成为一个热点问题。通常来说，人们采用分布式计算的方式来执行海量数据的处理。
在一种已有的海量数据的分布式计算中，通过以下步骤来执行处理：按照海量数据在存储装置中的位置来将较长时间(例如一天、一个小时)内的海量数据划分为各个数据块；分别将各个数据块传送给计算系统中的各个工作计算节点；每个工作计算节点对接收到的数据块进行处理，并输出处理结果；通过主计算节点对各个工作计算节点输出的处理结果进行合并。由此实现了在分布式系统上基于批量处理的对海量数据的处理。
但是，在这种处理方式中，无法实现对海量数据的实时处理。
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
本发明的一个目的在于提供一种可以实现海量数据的实时处理的方法和装置。
本发明的一个实施例提供了一种在分布式计算中的监控方法，包 括：从每个计算节点接收与相应计算节点的当前任务处理有关的状态信息；基于从各个计算节点接收的状态信息而针对相应计算节点生成任务执行指令；将所述任务执行指令发送给相应计算节点以使其执行相应的后续处理。
本发明的另一个实施例提供了一种分布式计算中的数据处理方法，包括：计算节点从任务队列中请求并获取任务；计算节点执行获取的任务，并将与所述计算节点的当前任务处理有关的状态信息发送给监控装置；从所述监控装置接收所述监控装置基于所述计算节点的状态信息而针对所述计算节点生成的任务执行指令；以及根据从所述监控装置接收的所述任务执行指令来执行相应的后续处理。
本发明的另一个实施例提供了一种在分布式计算中的监控装置，包括：接收单元，用于从每个计算节点接收与相应计算节点的当前任务处理有关的状态信息；任务执行指令生成单元，用于基于从各个计算节点接收的状态信息而针对相应计算节点生成任务执行指令；发送单元，用于将所述任务执行指令发送给相应计算节点以使其执行相应的后续处理。
本发明的另一个实施例提供了一种分布式计算中的数据处理装置，包括：任务请求和获取单元，用于计算节点从任务队列中请求并获取任务；任务执行单元，用于计算节点执行获取的任务并将与所述计算节点的当前任务处理有关的状态信息发送给监控装置；任务执行指令接收单元，用于从所述监控装置接收所述监控装置基于所述计算节点的状态信息而针对所述计算节点生成的任务执行指令；以及后续处理执行单元，用于根据从所述监控装置接收的所述任务执行指令来执行相应的后续处理。
本发明的另一个实施例还提供了一种分布式计算系统，包括：至少一个计算节点；以及监控装置，其中每个计算节点包括上述的数据处理装置，所述监控装置是上述的监控装置。
在根据本发明实施例，计算节点可以按照时间顺序依次获取任务 来进行处理，由此可以实现海量数据的实时处理。此外，由于监控装置可以及时监控各个计算节点的数据处理是否正常，并可以将未得到正常处理的任务及时放回至任务队列或重新启动，因而还可以在海量数据的分布式处理中确保各个任务得到及时的处理，消除了时间延迟和任务无法得到及时处理的情况。
附图说明
通过结合附图阅读以下对目前优选的实施例的详细描述，本发明的前述和其他特征及优点将变得更加明显。该详细描述和附图只是用于说明本发明，而不是用于限制本发明的范围，本发明的范围由所附的权利要求及其等同形式来限定。
图1示出了根据本发明一个实施例的可以进行海量数据计算的分布式计算系统的示意图；
图2示出了根据本发明一个实施例的用于海量数据处理的分布式计算中的监控方法的流程图；
图3示出了根据本发明一个实施例的数据处理方法的流程图；
图4示出了根据本发明一个实施例的分布式计算中的监控装置的示意图；
图5示出了根据本发明一个实施例的分布式计算中的数据处理装置的示意图；以及
图6示出了可以实现根据本发明实施例的计算设备的示意图。
具体实施方式
以下将参考附图详细地描述本发明的实施例。
图1示出了根据本发明一个实施例的可以进行海量数据计算的分布式计算系统的示意图。
如图1所示，所述分布式计算系统可以包括至少一个计算节点(为简洁起见，图中仅示例性地示出三个计算节点，本领域技术人员可以明白，计算节点的数目可以为任意正整数)和监控装置。所 述计算节点可以依次从任务序列中获取数据处理任务，而所述监控装置与各个计算节点通信，以监控各个计算节点的数据处理任务的处理状态并根据各个计算节点的数据处理任务的状态而生成相应的任务执行指令并提供给相应的计算节点。
图2示出了根据本发明一个实施例的用于海量数据处理的分布式计算中的监控方法的流程图。该监控方法可以在用于监控分布式计算中的每个计算节点处的任务处理状态的监控装置处实施。
如图2所示，在步骤S210处，可以从每个计算节点接收与相应计算节点的当前任务处理有关的状态信息。
具体来说，在计算节点执行任务时，计算节点可以生成与当前正在执行的任务有关的状态信息。并且，计算节点可以按照预定的时间间隔将状态信息发送给分布式计算系统中的监控装置。
由此，监控装置可以接收到每个计算节点按一定的时间间隔发送的状态信息，以获得每个计算节点的任务处理状态。
接着，在步骤S220中，基于从各个计算节点接收的状态信息而针对相应计算节点生成任务执行指令。
具体来说，监控装置可以基于从各个计算节点接收的状态信息来判断相应的计算节点的数据计算任务是否得到正常的执行，并据此生成相应的任务执行指令。
所述状态信息可以是任意合适的能够表示计算节点处理状态的信息。
在本发明的一个实施例中，状态信息可以包括任务接收时间、阶段指示信息以及任务涉及的数据量大小信息。其中，所述任务接收时间可以用来表示计算节点接收到数据任务时的时间。所述阶段指示信息可以用来指示计算节点目前所处的处理阶段。例如，在计算节点基于SEDA(staged event-driven architecture：阶段式事件驱动架构)模型来处理数据计算任务的情况下，任务执行过程至少可以包括以下处理阶段：任务读取阶段、任务解析阶段、验证和过滤阶段、任务处理阶段和处理结果输出阶段。这里，SEDA模型是一种常用的 可以提升单机吞吐和计算处理性能的计算机处理方法，其中，可以按阶段来执行任务处理，并根据阶段的不同和自身的负载来动态调整参数以提升单机处理性能。其具体技术细节可参见Matt Welsh等人在Proceedings of the Eighteenth Symposium on Operating Systems Principles(SOSP-18)上发表的论文SEDA：An Architecture for Well-Conditioned Scalable Internet Services，在此不再进行赘述，以免混淆本发明。
在状态信息包括任务接收时间、阶段指示信息以及任务涉及的数据量大小信息的情况下，监控装置可以基于任务接收时间、阶段指示信息以及任务涉及的数据量大小信息来判断相应的计算节点所执行的数据处理任务是否得到了正常的执行。
在一个具体的示例中，监控装置可以首先根据计算节点所执行的数据处理任务的大小并基于计算节点的处理性能(例如，与计算节点的处理性能有关的信息可以被预存在监控装置中；或者；也可以通过监控装置与计算节点之间的通信而获得与计算节点的处理性能有关的信息)来确定计算节点处理所述数据处理任务最多可能花费的时间。更具体来说，在计算节点基于SEDA模型来处理数据计算任务的情况下，监控装置可以根据计算节点所执行的数据处理任务的大小和计算节点的处理性能来确定出任务处理的各个阶段(即任务读取阶段、任务解析阶段、验证和过滤阶段、任务处理阶段和处理结果输出阶段各个阶段)花费的最长时间。
接着，监控装置可以根据从计算节点接收到的状态信息中的任务接收时间以及当前时间，并结合计算出的任务处理的各个阶段允许花费的最长时间，来确定计算节点当前应该所处的处理阶段。
然后，监控装置可以根据从计算节点接收到的状态信息中的阶段指示信息以及确定出的计算节点当前应该所处的处理阶段来判断计算节点的处理状态是否正常。例如，在计算节点基于SEDA模型来处理数据计算任务的情况下，如果阶段指示信息表明计算节点处于任务读取阶段而确定出的计算节点当前应该所处的处理阶段是任务 解析阶段，则可以判定计算节点的处理状态不正常；相反，如果阶段指示信息表明的计算节点所处的处理阶段和确定出的计算节点当前应该所处的处理阶段相一致，则可以判定计算节点的处理状态正常。
在监控装置判定计算节点的处理状态正常的情况下，监控装置例如可以产生用于指示相应计算节点继续执行任务的任务执行指令，并在步骤S230处将该任务执行指令发送相应的计算节点。
在监控装置判定计算节点的处理状态不正常的情况下，监控装置例如可以产生用于指示相应计算节点停止任务的任务执行指令或用于指示相应计算节点重新启动任务的任务执行指令，并在步骤S230处将该任务执行指令发送相应的计算节点。
在一个具体示例中，在监控装置判定计算节点的处理状态不正常的且该计算节点的任务处理没有出现过不正常的情况下，监控装置可以产生用于指示相应计算节点重新启动任务的任务执行指令，并将该任务执行指令发送相应的计算节点以重新启动当前处理的任务。
在另一个具体示例中，在监控装置判定计算节点的处理状态不正常的且该计算节点的所述任务的处理之前也出现过不正常的情况下，监控装置可以产生用于指示相应计算节点停止任务的任务执行指令，并将所停止的任务重新放回至任务队列。
在根据本发明实施例的上述处理中，计算节点是按照时间顺序依次获取任务来进行处理，由此可以实现海量数据的实时处理。此外，由于监控装置可以及时监控各个计算节点的数据处理是否正常，并将未得到正常处理的任务及时放回至任务队列或重新启动，因而还可以在海量数据的分布式处理中确保各个任务得到及时的处理，消除了时间延迟和任务无法得到及时处理的情况。
与上述的在分布式计算中的监控方法类似，本发明的实施例还提供了一种可以在分布式计算中的计算节点处实施的数据处理方法。
图3示出了根据本发明一个实施例的数据处理方法的流程图。
如图3所示，在步骤S310处，计算节点从任务队列中请求并获取任务。
具体来说，在计算节点完成上一个任务之后，可以接着向任务队列请求处理下一个任务。而任务队列可以按照时间的先后顺序来向各个计算节点分配任务。由此，计算节点从任务队列中获取了数据处理任务。
接着，在步骤S320中，计算节点执行获取的任务，并将与所述计算节点的当前任务处理有关的状态信息发送给监控装置。
具体来说，在计算节点获取到任务之后，计算节点可以按照任务要求来执行数据处理任务。例如，在计算节点基于SEDA模型来处理数据计算任务的情况下，任务执行过程至少可以包括以下处理阶段：任务读取阶段、任务解析阶段、验证和过滤阶段、任务处理阶段和处理结果输出阶段。
此外，在计算节点执行任务的同时，计算节点还可以按照一定的时间间隔，将与所述计算节点的当前任务处理有关的状态信息发送给监控装置。
关于状态信息的技术细节可以参加之前结合图2所进行的描述，在此不再进行赘述，以使说明书保持简洁。
接着，如图3所示，在步骤S330处，计算节点可以从所述监控装置接收所述监控装置基于所述计算节点的状态信息而针对所述计算节点生成的任务执行指令。
接着，在步骤S340处，计算节点可以根据从监控装置接收的任务执行指令来执行相应的后续处理。
具体来说，如果从监控装置处接收到用于指示计算节点重新启动任务的任务执行指令(例如监控装置判定计算节点的处理状态不正常的且该计算节点的任务处理没有出现过不正常的情况)，则计算节点可以根据所述任务执行指令而重新启动所述任务。
如果从监控装置处接收到用于指示计算节点停止任务的任务执行指令(例如，在监控装置判定计算节点的处理状态不正常且该计 算节点的所述任务的处理之前也出现过不正常的情况)，则所述计算节点可以根据所述任务执行指令而停止所述任务并从任务队列中获取新的任务。
如果从监控装置处接收到用于指示计算节点继续执行任务的任务执行指令(例如，监控装置判定计算节点的处理状态正常的情况下)，则计算节点可以根据所述任务执行指令而继续执行所述任务。
在根据本发明实施例的上述处理中，计算节点是按照时间顺序依次获取任务来进行处理，由此可以实现海量数据的实时处理。此外，由于监控装置可以及时监控各个计算节点的数据处理是否正常，并将未得到正常处理的任务及时放回至任务队列或要求计算节点重新启动，因而可以在海量数据的分布式处理中确保各个任务得到及时的处理，消除了时间延迟和任务无法得到及时处理的情况。
与根据上述实施例的方法类似，本发明的实施例还提供了相应的装置。
图4示出了根据本发明一个实施例的在分布式计算中的监控装置。如图4所示，所述监控装置400包括：接收单元410，用于从每个计算节点接收与相应计算节点的当前任务处理有关的状态信息；任务执行指令生成单元420，用于基于从各个计算节点接收的状态信息而针对相应计算节点生成任务执行指令；发送单元430，用于将所述任务执行指令发送给相应计算节点以使其执行相应的后续处理。
图5示出了根据本发明一个实施例的分布式计算中的数据处理装置。如图5所示，数据处理装置500包括：任务请求和获取单元510，用于计算节点从任务队列中请求并获取任务；任务执行单元520，用于计算节点执行获取的任务并将与所述计算节点的当前任务处理有关的状态信息发送给监控装置；任务执行指令接收单元530，用于从所述监控装置接收所述监控装置基于所述计算节点的状态信息而针对所述计算节点生成的任务执行指令；以及后续处理执行单元540，用于根据从所述监控装置接收的所述任务执行指令来执行相应的后续处理。
根据本发明实施例的数据处理装置和监控装置与上述的数据处理方法和监控方法是相对应的，其更多技术细节可以参加之前结合图2和图3所描述的内容，在此不再进行赘述以使说明书保持简洁。
此外，本发明的实施例还提供了一种分布式计算系统。所述系统包括至少一个计算节点和根据上述实施例的监控装置，其中每个计算节点都包括根据上述实施例的数据处理装置。
图6示出了可以实现根据本发明的实施例的计算设备的示意图。
图6中所示的计算机系统包括CPU(中央处理单元)601、RAM(随机存取存储器)602、ROM(只读存储器)603、系统总线604，硬盘控制器605、键盘控制器606、串行接口控制器607、并行接口控制器608、显示器控制器609、硬盘610、键盘611、串行外部设备612、并行外部设备613和显示器614。在这些部件中，与系统总线604相连的有CPU601、RAM602、ROM603、硬盘控制器605、键盘控制器606、串行接口控制器607、并行接口控制器608和显示器控制器609。硬盘610与硬盘控制器605相连，键盘611与键盘控制器606相连，串行外部设备612与串行接口控制器607相连，并行外部设备613与并行接口控制器608相连，以及显示器614与显示器控制器609相连。
图6中每个部件的功能在本技术领域内都是众所周知的，并且图6所示的结构也是常规的。这种结构不仅用于个人计算机，而且用于手持设备，如Palm PC、PDA(个人数据助理)、移动电话等等。在不同的应用中，可以向图6中所示的结构添加某些部件，或者图6中的某些部件可以被省略。图6中所示的整个系统由通常作为软件存储在硬盘610中、或者存储在EPROM或者其它非易失性存储器中的计算机可读指令控制。软件也可从网络(图中未示出)下载。或者存储在硬盘610中，或者从网络下载的软件可被加载到RAM602中，并由CPU 601执行，以便完成由软件确定的功能。
尽管图6中描述的计算机系统能够支持根据本发明的分布式计算中的监控和数据处理的方案，但是该计算机系统只是计算机系统的一个例子。本领域的熟练技术人员可以理解，许多其它计算机系 统设计也能实现本发明的实施方式。
本发明还可以实现为例如由图6所示计算机系统所使用的计算机程序产品，其可以包含有用于实现根据本发明的分布式计算中的监控方法和数据处理方法的代码。在使用之前，可以把代码存储在其它计算机系统的存储器中，例如，存储在硬盘或诸如光盘或软盘的可移动的存储器中，或者经由因特网或其它计算机网络进行下载。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在所附权利要求的范围内做出各种变形或修改。
Claims (11)
1.一种在分布式计算中的监控方法，包括：
从每个计算节点接收与相应计算节点的当前任务处理有关的状态信息；
基于从各个计算节点接收的状态信息而针对相应计算节点生成任务执行指令；
将所述任务执行指令发送给相应计算节点以使其执行相应的后续处理。
2.根据权利要求1所述的方法，基于从各个计算节点接收的状态信息而针对相应计算节点生成任务执行指令的步骤包括：
基于所述状态信息而产生用于指示相应计算节点停止任务的任务执行指令，并将所停止的任务放回至所述任务队列中；或者
基于所述状态信息而产生用于指示相应计算节点重新启动任务的任务执行指令；或者
基于所述状态信息而产生用于指示相应计算节点继续执行任务的任务执行指令。
3.根据权利要求1所述的方法，其中，所述状态信息包括：任务接收时间、阶段指示信息以及任务涉及的数据量大小信息。
4.根据权利要求3所述的方法，其中，所述阶段指示信息用于指示当前任务执行到读取阶段、解析阶段、验证和过滤阶段、处理阶段和输出阶段中的哪一个。
5.一种分布式计算中的数据处理方法，包括：
计算节点从任务队列中请求并获取任务；
计算节点执行获取的任务，并将与所述计算节点的当前任务处理有关的状态信息发送给监控装置；
从所述监控装置接收所述监控装置基于所述计算节点的状态信息而针对所述计算节点生成的任务执行指令；以及
根据从所述监控装置接收的所述任务执行指令来执行相应的后续处理。
6.根据权利要求5所述的方法，其中，根据从所述监控装置接收的所述任务执行指令来执行相应的后续处理的步骤包括：
根据所述任务执行指令而停止所述任务并从所述任务队列中获取新的任务；或者
根据所述任务执行指令而重新启动所述任务；或者
根据所述任务执行指令而继续执行所述任务。
7.根据权利要求5所述的方法，其中，所述状态信息至少包括：任务接收时间、阶段指示信息、任务涉及的数据量大小信息。
8.根据权利要求7所述的方法，其中，所述阶段指示信息用于指示当前任务执行到读取阶段、解析阶段、验证和过滤阶段、处理阶段和输出阶段中的哪一个。
9.一种在分布式计算中的监控装置，包括：
接收单元，用于从每个计算节点接收与相应计算节点的当前任务处理有关的状态信息；
任务执行指令生成单元，用于基于从各个计算节点接收的状态信息而针对相应计算节点生成任务执行指令；
发送单元，用于将所述任务执行指令发送给相应计算节点以使其执行相应的后续处理。
10.一种分布式计算中的数据处理装置，包括：
任务请求和获取单元，用于计算节点从任务队列中请求并获取任务；
任务执行单元，用于计算节点执行获取的任务并将与所述计算节点的当前任务处理有关的状态信息发送给监控装置；
任务执行指令接收单元，用于从所述监控装置接收所述监控装置基于所述计算节点的状态信息而针对所述计算节点生成的任务执行指令；以及
后续处理执行单元，用于根据从所述监控装置接收的所述任务执行指令来执行相应的后续处理。
11.一种分布式计算系统，包括：
至少一个计算节点；以及
监控装置，
其中每个计算节点包括根据权利要求10所述的数据处理装置，所述监控装置是根据权利要求9所述的监控装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210279571.4A CN103577299A (zh) | 2012-08-02 | 2012-08-02 | 监控方法和装置、数据处理方法和装置及分布式计算系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210279571.4A CN103577299A (zh) | 2012-08-02 | 2012-08-02 | 监控方法和装置、数据处理方法和装置及分布式计算系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103577299A true CN103577299A (zh) | 2014-02-12 |
Family
ID=50049128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210279571.4A Pending CN103577299A (zh) | 2012-08-02 | 2012-08-02 | 监控方法和装置、数据处理方法和装置及分布式计算系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103577299A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104484173A (zh) * | 2014-12-12 | 2015-04-01 | 北京国双科技有限公司 | 基于TPL Dataflow的状态监控方法及装置 |
| CN106648558A (zh) * | 2015-10-28 | 2017-05-10 | 北京国双科技有限公司 | 用于TPL Dataflow 的控制方法和装置 |
| CN106814992A (zh) * | 2015-11-27 | 2017-06-09 | 北京国双科技有限公司 | 数据处理架构中消息的处理方法和装置 |
| CN113791948A (zh) * | 2021-09-10 | 2021-12-14 | 北京百度网讯科技有限公司 | 分布式计算系统的监控方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040205759A1 (en) * | 2003-03-20 | 2004-10-14 | Sony Computer Entertainment Inc. | Information processing system, information processing device, distributed information processing method and computer program |
| CN101018165A (zh) * | 2007-02-16 | 2007-08-15 | 北京航空航天大学 | 分布式网络化即插即用测控系统 |
| CN101986272A (zh) * | 2010-11-05 | 2011-03-16 | 北京大学 | 一种云计算环境下的任务调度方法 |
| CN102130950A (zh) * | 2011-03-14 | 2011-07-20 | 中国科学技术大学苏州研究院 | 基于Hadoop集群的分布式监控系统及其监控方法 |
-
2012
- 2012-08-02 CN CN201210279571.4A patent/CN103577299A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040205759A1 (en) * | 2003-03-20 | 2004-10-14 | Sony Computer Entertainment Inc. | Information processing system, information processing device, distributed information processing method and computer program |
| CN101018165A (zh) * | 2007-02-16 | 2007-08-15 | 北京航空航天大学 | 分布式网络化即插即用测控系统 |
| CN101986272A (zh) * | 2010-11-05 | 2011-03-16 | 北京大学 | 一种云计算环境下的任务调度方法 |
| CN102130950A (zh) * | 2011-03-14 | 2011-07-20 | 中国科学技术大学苏州研究院 | 基于Hadoop集群的分布式监控系统及其监控方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104484173A (zh) * | 2014-12-12 | 2015-04-01 | 北京国双科技有限公司 | 基于TPL Dataflow的状态监控方法及装置 |
| CN104484173B (zh) * | 2014-12-12 | 2017-10-27 | 北京国双科技有限公司 | 基于TPL Dataflow的状态监控方法及装置 |
| CN106648558A (zh) * | 2015-10-28 | 2017-05-10 | 北京国双科技有限公司 | 用于TPL Dataflow 的控制方法和装置 |
| CN106648558B (zh) * | 2015-10-28 | 2020-02-07 | 北京国双科技有限公司 | 用于TPL Dataflow 的控制方法和装置 |
| CN106814992A (zh) * | 2015-11-27 | 2017-06-09 | 北京国双科技有限公司 | 数据处理架构中消息的处理方法和装置 |
| CN113791948A (zh) * | 2021-09-10 | 2021-12-14 | 北京百度网讯科技有限公司 | 分布式计算系统的监控方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108665239B (zh) | 工作流处理方法、装置、计算机设备及存储介质 | |
| CN108664381B (zh) | 测试方法及装置 | |
| CN111506430A (zh) | 多任务下数据处理的方法、装置及电子设备 | |
| US20200145300A1 (en) | Service-aware serverless cloud computing system | |
| CN114328098B (zh) | 一种慢节点检测方法、装置、电子设备及存储介质 | |
| CN106155806A (zh) | 一种多任务调度方法及服务器 | |
| CN103577299A (zh) | 监控方法和装置、数据处理方法和装置及分布式计算系统 | |
| CN111125057A (zh) | 一种业务请求的处理方法、装置及计算机系统 | |
| CN112700064B (zh) | 空气质量预报数值输出的伴随后处理方法及装置 | |
| CN112817992A (zh) | 执行更改任务的方法、装置、电子设备以及可读存储介质 | |
| CN109491771B (zh) | 基于系统性能优化的任务处理方法及相关设备 | |
| CN115344370A (zh) | 任务调度方法、装置、设备及存储介质 | |
| CN113965563B (zh) | 基于模型的业务处理方法及装置、服务器 | |
| CN110018906B (zh) | 调度方法、服务器及调度系统 | |
| CN110704203B (zh) | 一种可中断的远程过程调用方法及装置 | |
| JP2022008782A (ja) | デバイスデバッグ環境の構築方法及び装置 | |
| CN113254200A (zh) | 资源编排方法及智能体 | |
| CN116719632B (zh) | 任务调度方法、装置、设备以及介质 | |
| CN116737428B (zh) | 空气质量模式运行的稳定性检查方法、装置及电子设备 | |
| CN115361470B (zh) | 限制移动端app运行网络环境的方法和装置 | |
| CN111026571B (zh) | 处理器降频处理方法、装置及电子设备 | |
| CN116842075B (zh) | 基于云服务器的数据报表rpa机器人控制方法及系统 | |
| CN112114972B (zh) | 数据倾斜的预测方法及装置 | |
| CN113852686B (zh) | 一种区块链网络通讯方法、装置、设备及可读存储介质 | |
| CN113312167B (zh) | 业务控制方法和装置、电子设备、计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140212 |