CN113485870A - 多类型数据共享服务的执行方法 - Google Patents

多类型数据共享服务的执行方法 Download PDF

Info

Publication number
CN113485870A
CN113485870A CN202110732869.5A CN202110732869A CN113485870A CN 113485870 A CN113485870 A CN 113485870A CN 202110732869 A CN202110732869 A CN 202110732869A CN 113485870 A CN113485870 A CN 113485870A
Authority
CN
China
Prior art keywords
node
execution
data sharing
data
sharing service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110732869.5A
Other languages
English (en)
Inventor
郑力恺
甄月朋
杨秦敏
宁海元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Daishu Technology Co ltd
Original Assignee
Hangzhou Daishu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Daishu Technology Co ltd filed Critical Hangzhou Daishu Technology Co ltd
Priority to CN202110732869.5A priority Critical patent/CN113485870A/zh
Publication of CN113485870A publication Critical patent/CN113485870A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/1438—Restarting or rejuvenating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/004—Error avoidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5011—Pool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5018—Thread allocation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种多类型数据共享服务的执行方法，包括以下步骤：在前端进行多个节点的编排，并生成编排结果数据，其中，每一类型的数据共享服务作为一个节点，相邻节点之间具有依赖关系；在服务端对所述编排结果数据进行解析和校验，并生成分层执行链路数据；基于YARN启动执行引擎；用户调用所述执行引擎，所述执行引擎根据所述分层执行链路数据进行执行，并将执行结果返回给用户。本发明能够满足复杂场景下的数据共享服务的需求，并且能够实现内存及CPU的资源隔离，有效避免对服务器其他应用正常运行的影响，可支持应用宕机自动恢复。

Description

多类型数据共享服务的执行方法
技术领域
本发明涉及大数据技术领域，具体涉及一种多类型数据共享服务的执行方法。
背景技术
目前的数据共享服务一般有两种，分别为针对数据源的数据共享服务和针对第三方接口的数据共享服务。但这两种类型的服务之间相互独立，在进行服务执行时，无法通过相互依赖的方式对结果进行计算、统计等，无法满足复杂场景的数据共享服务的需求。并且，目前也无法做到服务器资源的有效隔离，在系统请求激增或服务错误运行的情况下，容易导致服务器瘫痪，以致影响服务器上其他应用的正常运行。
发明内容
本发明为解决上述技术问题，提供了一种多类型数据共享服务的执行方法，能够满足复杂场景下的数据共享服务的需求，并且能够实现内存及CPU的资源隔离，有效避免对服务器其他应用正常运行的影响，可支持应用宕机自动恢复。
本发明采用的技术方案如下：
一种多类型数据共享服务的执行方法，包括以下步骤：在前端进行多个节点的编排，并生成编排结果数据，其中，每一类型的数据共享服务作为一个节点，相邻节点之间具有依赖关系；在服务端对所述编排结果数据进行解析和校验，并生成分层执行链路数据；基于YARN(一种可为上层应用提供统一的资源管理和调度的资源管理器)启动执行引擎；用户调用所述执行引擎，所述执行引擎根据所述分层执行链路数据进行执行，并将执行结果返回给用户。
在前端进行多个节点的编排，并生成编排结果数据，具体包括：根据用户指令在前端页面生成流程画布，并自动添加START节点和END节点；将多种类型的数据共享服务作为节点拖入所述流程画布中，并将多种类型的数据共享服务对应的节点依序添加至所述START节点与所述END节点之间，以及设置各个节点的输入参数，构成编排流程图；将所述编排流程图转义为JSON字符串，作为所述编排结果数据，并将所述编排结果数据发送至服务端的解析和校验接口。
在服务端对所述编排结果数据进行解析和校验，并生成分层执行链路数据，具体包括：从所述编排结果数据中解析出节点配置和节点连线配置；将所述节点配置和节点连线配置重组成执行流程树；通过深度优先搜索遍历整棵执行流程树，校验是否有向无环、START节点和END节点的位置；在校验通过后，将所述执行流程树转换为分层执行链路的JSON字符串。
基于YARN启动执行引擎，具体包括：应用启动时检查并上传执行引擎lib包到HDFS上；通过yarnClient提交执行引擎到YARN上运行；ResourceManager启动ApplicationMaster，由ApplicationMaster向ResourceManager申请资源；ApplicationMaster申请到资源后，在NodeManager的Container中启动执行引擎；执行引擎启动后，将多种类型的数据共享服务的节点IP和服务端口号上传HDFS；应用定时查询HDFS上存储的执行引擎服务列表，以提供给用户调用。
所述执行引擎根据所述分层执行链路数据进行执行，并将执行结果返回给用户，具体包括：获取第一层中的START节点，根据节点的输入参数从数据共享服务的节点的输入参数中获取对应的值，以JSON格式存储到缓存中；获取第二层中的节点，根据节点输入参数设置的上游节点和JSONPATH，获取对应节点结果集中的特定值作为该节点输入参数的值；判断节点对应的数据共享服务类型，提交到线程池中运行，同一层的节点并行运行，运行结束，将结果集以JSON格式存储到缓存中；逐层执行完毕后，将最终的执行结果返回给用户。
本发明的有益效果：
本发明通过对多种类型的数据共享服务进行编排，使得不同类型的数据共享服务之间形成依赖关系，能够满足复杂场景下的数据共享服务的需求，并且，执行引擎基于YARN运行，能够实现内存及CPU的资源隔离，有效避免对服务器其他应用正常运行的影响，可支持应用宕机自动恢复。
附图说明
图1为本发明实施例的多类型数据共享服务的执行方法的流程图；
图2为本发明一个实施例的节点编排的流程图；
图3为本发明一个实施例的前端节点编排页面示意图；
图4为本发明一个实施例的生成分层执行链路数据的流程图；
图5为本发明一个实施例的基于YARN启动执行引擎的流程图；
图6为本发明一个实施例的执行引擎执行服务的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例的多类型数据共享服务的执行方法包括以下步骤：
S1，在前端进行多个节点的编排，并生成编排结果数据，其中，每一类型的数据共享服务作为一个节点，相邻节点之间具有依赖关系。
S2，在服务端对编排结果数据进行解析和校验，并生成分层执行链路数据。
S3，基于YARN启动执行引擎。
S4，用户调用执行引擎，执行引擎根据分层执行链路数据进行执行，并将执行结果返回给用户。
步骤S1所涉及的语言为TypeScript和React。如图2所示，步骤S1具体包括如下步骤：
S101，根据用户指令在前端页面生成流程画布，并自动添加START节点和END节点。
用户可通过点击创建服务编排按钮，由前端页面生成流程画布，本发明一个实施例的前端节点编排页面如图3所示。
S102，将多种类型的数据共享服务作为节点拖入流程画布中，并将多种类型的数据共享服务对应的节点依序添加至START节点与END节点之间，以及设置各个节点的输入参数，构成编排流程图。
本发明以多种类型的数据共享服务包括第一类型的数据共享服务和第二类型的数据共享服务为例。在步骤S101之后，可设置START节点的输入参数，在将第一类型的数据共享服务API1和第二类型的数据共享服务API2拖入流程画布后，可通过连线的方式对上下游节点进行链接，添加下游节点的输入参数，并设置各输入参数所对应的上游节点结果集中的值。在依次设置完多种类型的数据共享服务的节点后，将最后一个类型的数据共享服务的节点与END节点相连。由此，不同节点之间形成了上下游关系，且上游节点的输出结果可以作为下游节点的输入值。
S103，将编排流程图转义为JSON字符串，作为编排结果数据，并将编排结果数据发送至服务端的解析和校验接口。
在本发明的一个具体实施例中，编排流程图转义得到的JSON字符串如下：
Figure BDA0003140409700000041
Figure BDA0003140409700000051
Figure BDA0003140409700000061
Figure BDA0003140409700000071
Figure BDA0003140409700000081
Figure BDA0003140409700000091
步骤S2所涉及的语言为JAVA。如图4所示，步骤S2具体包括如下步骤：
S201，从编排结果数据中解析出节点配置和节点连线配置。
S202，将节点配置和节点连线配置重组成执行流程树。
S203，通过深度优先搜索遍历整棵执行流程树，校验是否有向无环、START节点和END节点的位置。
S204，在校验通过后，将执行流程树转换为分层执行链路的JSON字符串。
在本发明的一个具体实施例中，分层执行链路的JSON字符串如下：
Figure BDA0003140409700000101
Figure BDA0003140409700000111
Figure BDA0003140409700000121
步骤S3基于YARN启动执行引擎，提交执行引擎任务至YARN上做高可用部署，启动后上传服务信息至HDFS，方便应用获取执行引擎服务列表。步骤S3所涉及的语言为JAVA。如图5所示，步骤S3具体包括如下步骤：
S301，应用启动时检查并上传执行引擎lib包到HDFS上。
路径为:hdfs://ns1/opt/dtstack/api/gateway/gateway.jar。
S302，通过yarnClient提交执行引擎到YARN上运行。
可设置任务资源为2核2048M，启动命令为：${JAVA_HOME}/bin/java-cpgateway.jar-Xms${minWorkerMemory}-Xmx${maxWorkerMemory}com.dtstack.api.gateway.ApiGatewayMain。
S303，ResourceManager启动ApplicationMaster，由ApplicationMaster向ResourceManager申请资源。
S304，ApplicationMaster申请到资源后，在NodeManager的Container中启动执行引擎。
S305，执行引擎启动后，将多种类型的数据共享服务的节点IP和服务端口号上传HDFS。
路径为：hdfs://ns1/opt/dtstack/api/gateway/staging/${applicationId}_${containerId}.out。
S306，应用定时查询HDFS上存储的执行引擎服务列表，以提供给用户调用。
步骤S4所涉及的语言为JAVA。如图6所示，步骤S4具体包括如下步骤：
S401，获取第一层中的START节点，根据节点的输入参数从数据共享服务的节点的输入参数中获取对应的值，以JSON格式存储到缓存中。
S402，获取第二层中的节点，根据节点输入参数设置的上游节点和JSONPATH，获取对应节点结果集中的特定值作为该节点输入参数的值。
S403，判断节点对应的数据共享服务类型，提交到线程池中运行，同一层的节点并行运行，运行结束，将结果集以JSON格式存储到缓存中。
S401，逐层执行完毕后，将最终的执行结果返回给用户。
根据本发明实施例的多类型数据共享服务的执行方法，通过对多种类型的数据共享服务进行编排，使得不同类型的数据共享服务之间形成依赖关系，能够满足复杂场景下的数据共享服务的需求，并且，执行引擎基于YARN运行，能够实现内存及CPU的资源隔离，有效避免对服务器其他应用正常运行的影响，可支持应用宕机自动恢复。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (5)

1.一种多类型数据共享服务的执行方法，其特征在于，包括以下步骤：
在前端进行多个节点的编排，并生成编排结果数据，其中，每一类型的数据共享服务作为一个节点，相邻节点之间具有依赖关系；
在服务端对所述编排结果数据进行解析和校验，并生成分层执行链路数据；
基于YARN启动执行引擎；
用户调用所述执行引擎，所述执行引擎根据所述分层执行链路数据进行执行，并将执行结果返回给用户。
2.根据权利要求1所述的多类型数据共享服务的执行方法，其特征在于，在前端进行多个节点的编排，并生成编排结果数据，具体包括：
根据用户指令在前端页面生成流程画布，并自动添加START节点和END节点；
将多种类型的数据共享服务作为节点拖入所述流程画布中，并将多种类型的数据共享服务对应的节点依序添加至所述START节点与所述END节点之间，以及设置各个节点的输入参数，构成编排流程图；
将所述编排流程图转义为JSON字符串，作为所述编排结果数据，并将所述编排结果数据发送至服务端的解析和校验接口。
3.根据权利要求2所述的多类型数据共享服务的执行方法，其特征在于，在服务端对所述编排结果数据进行解析和校验，并生成分层执行链路数据，具体包括：
从所述编排结果数据中解析出节点配置和节点连线配置；
将所述节点配置和节点连线配置重组成执行流程树；
通过深度优先搜索遍历整棵执行流程树，校验是否有向无环、START节点和END节点的位置；
在校验通过后，将所述执行流程树转换为分层执行链路的JSON字符串。
4.根据权利要求3所述的多类型数据共享服务的执行方法，其特征在于，基于YARN启动执行引擎，具体包括：
应用启动时检查并上传执行引擎lib包到HDFS上；
通过yarnClient提交执行引擎到YARN上运行；
ResourceManager启动ApplicationMaster，由ApplicationMaster向ResourceManager申请资源；
ApplicationMaster申请到资源后，在NodeManager的Container中启动执行引擎；
执行引擎启动后，将多种类型的数据共享服务的节点IP和服务端口号上传HDFS；
应用定时查询HDFS上存储的执行引擎服务列表，以提供给用户调用。
5.根据权利要求4所述的多类型数据共享服务的执行方法，其特征在于，所述执行引擎根据所述分层执行链路数据进行执行，并将执行结果返回给用户，具体包括：
获取第一层中的START节点，根据节点的输入参数从数据共享服务的节点的输入参数中获取对应的值，以JSON格式存储到缓存中；
获取第二层中的节点，根据节点输入参数设置的上游节点和JSONPATH，获取对应节点结果集中的特定值作为该节点输入参数的值；
判断节点对应的数据共享服务类型，提交到线程池中运行，同一层的节点并行运行，运行结束，将结果集以JSON格式存储到缓存中；
逐层执行完毕后，将最终的执行结果返回给用户。
CN202110732869.5A 2021-06-30 2021-06-30 多类型数据共享服务的执行方法 Pending CN113485870A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110732869.5A CN113485870A (zh) 2021-06-30 2021-06-30 多类型数据共享服务的执行方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110732869.5A CN113485870A (zh) 2021-06-30 2021-06-30 多类型数据共享服务的执行方法

Publications (1)

Publication Number Publication Date
CN113485870A true CN113485870A (zh) 2021-10-08

Family

ID=77936793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110732869.5A Pending CN113485870A (zh) 2021-06-30 2021-06-30 多类型数据共享服务的执行方法

Country Status (1)

Country Link
CN (1) CN113485870A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114518908A (zh) * 2022-02-17 2022-05-20 杭州网易云音乐科技有限公司 服务编排方法、介质、装置和计算设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060168515A1 (en) * 2005-01-27 2006-07-27 Symyx Technologies, Inc. Parser for generating structured data
US20160072726A1 (en) * 2014-09-10 2016-03-10 Mohit Soni Systems and methods for resource sharing between two resource allocation systems
US20180115614A1 (en) * 2016-10-21 2018-04-26 Sap Se Highly Scalable Application Services
CN110069335A (zh) * 2019-05-07 2019-07-30 江苏满运软件科技有限公司 任务处理系统、方法、计算机设备和存储介质
US10498817B1 (en) * 2017-03-21 2019-12-03 Amazon Technologies, Inc. Performance tuning in distributed computing systems
CN112068825A (zh) * 2020-09-23 2020-12-11 山东泽鹿安全技术有限公司 一种可实现异构化节点的可视化联动编排方法
CN112130812A (zh) * 2020-08-04 2020-12-25 中科天玑数据科技股份有限公司 一种基于数据流混合编排的分析模型构建方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060168515A1 (en) * 2005-01-27 2006-07-27 Symyx Technologies, Inc. Parser for generating structured data
US20160072726A1 (en) * 2014-09-10 2016-03-10 Mohit Soni Systems and methods for resource sharing between two resource allocation systems
US20180115614A1 (en) * 2016-10-21 2018-04-26 Sap Se Highly Scalable Application Services
US10498817B1 (en) * 2017-03-21 2019-12-03 Amazon Technologies, Inc. Performance tuning in distributed computing systems
CN110069335A (zh) * 2019-05-07 2019-07-30 江苏满运软件科技有限公司 任务处理系统、方法、计算机设备和存储介质
CN112130812A (zh) * 2020-08-04 2020-12-25 中科天玑数据科技股份有限公司 一种基于数据流混合编排的分析模型构建方法及系统
CN112068825A (zh) * 2020-09-23 2020-12-11 山东泽鹿安全技术有限公司 一种可实现异构化节点的可视化联动编排方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王倩 等: "《大数据技术原理与操作应用》", 《重庆大学出版社》, pages: 125 - 130 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114518908A (zh) * 2022-02-17 2022-05-20 杭州网易云音乐科技有限公司 服务编排方法、介质、装置和计算设备
CN114518908B (zh) * 2022-02-17 2024-03-22 杭州网易云音乐科技有限公司 服务编排方法、介质、装置和计算设备

Similar Documents

Publication Publication Date Title
CN109032521B (zh) 存储卷创建方法、装置、服务器及存储介质
US20180113746A1 (en) Software service execution apparatus, system, & method
CN111190753B (zh) 分布式任务处理方法、装置、存储介质和计算机设备
WO2017101475A1 (zh) 一种基于Spark大数据处理平台的查询方法
CN110134659B (zh) 运行程序的日志监控系统、方法、介质及设备
US20110078297A1 (en) Job processing system, method and program
CN106446168B (zh) 一种面向分布式数据仓库的加载客户端实现方法
CN110276074B (zh) 自然语言处理的分布式训练方法、装置、设备及存储介质
US9882973B2 (en) Breadth-first resource allocation system and methods
CN112162852A (zh) 一种多架构cpu节点的管理方法、装置及相关组件
CN112698952A (zh) 计算资源统一管理方法、装置、计算机设备及存储介质
CN113485870A (zh) 多类型数据共享服务的执行方法
CN112905323A (zh) 数据处理方法、装置、电子设备及存储介质
CN112068960A (zh) 一种cpu资源分配方法、装置、存储介质及设备
CN112988062B (zh) 一种元数据读取限制方法、装置、电子设备及介质
CN113608838A (zh) 应用镜像文件的部署方法、装置、计算机设备和存储介质
CN115580522A (zh) 一种容器云平台运行状态的监控方法及装置
CN112905322B (zh) 资源加锁的方法、计算设备及计算机存储介质
CN110287004B (zh) 基于docker容器技术的基础环境镜像预热方法及装置
CN106844056B (zh) Hadoop大数据平台多租户作业管理方法及其系统
CN110780983A (zh) 任务异常处理方法、装置、计算机设备以及存储介质
CN114817166B (zh) 一种取消文件操作的方法、装置及介质
CN114125147A (zh) 设备场景功能的校验方法、场景引擎及场景平台
CN117252559B (zh) 业务流程的处理方法、装置、计算机设备、存储介质
CN116560711A (zh) 一种业务处理方法、装置、设备及存储介质、程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 311121 room 102-1 / F, room 102-2 / F, building 6, Haizhi center, 2301 yuhangtang Road, Cangqian street, Yuhang District, Hangzhou, Zhejiang Province

Applicant after: HANGZHOU DAISHU TECHNOLOGY Co.,Ltd.

Address before: 310030 8F, building 2, Hangzhou Internet innovation and entrepreneurship Park, 176 Zixia street, Xihu District, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU DAISHU TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information