CN113641469A - 一种组件抽象的分布式系统、实现方法、设备及介质 - Google Patents
一种组件抽象的分布式系统、实现方法、设备及介质 Download PDFInfo
- Publication number
- CN113641469A CN113641469A CN202110758389.6A CN202110758389A CN113641469A CN 113641469 A CN113641469 A CN 113641469A CN 202110758389 A CN202110758389 A CN 202110758389A CN 113641469 A CN113641469 A CN 113641469A
- Authority
- CN
- China
- Prior art keywords
- distributed
- task
- node
- scheduling
- task set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000000007 visual effect Effects 0.000 claims abstract description 23
- 238000013461 design Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 28
- 238000011161 development Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 6
- 230000002085 persistent effect Effects 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 3
- 238000004883 computer application Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000005094 computer simulation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 244000166124 Eucalyptus globulus Species 0.000 description 1
- 229940126655 NDI-034858 Drugs 0.000 description 1
- 241000290929 Nimbus Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Multi Processors (AREA)
Abstract
本发明公开了一种组件抽象的分布式系统、实现方法、设备及介质，分布式系统包括可视化的相关性任务集设计系统以及分布式多处理器调度系统；其中，可视化的相关性任务集设计系统，用于生成相关性任务集的抽象描述文件；分布式多处理器调度系统，用于根据输入文件对任务进行调度和执行，其中，输入文件包括抽象描述文件、调度计划文件以及可执行程序集。本发明能够提高分布式计算教学系统的基础性、通用性以及可柔性配置性，可以广泛应用于计算机应用技术领域。
Description
技术领域
本发明涉及计算机应用技术领域，尤其是一种组件抽象的分布式系统、实现方法、设备及介质。
背景技术
目前高职院校云计算课程主要包括：操作系统相关课程、分布式计算与数据存储技术、云平台配置管理与安全、云计算系统测试与故障诊断等课程。这些云计算课程种类繁多，并且具有较强的实践性，学习入门难度较大。为了让学生理解云计算特别是分布式计算的原理和基础技能，通常需要一套完备的软硬件平台支持课程的教学与实践。
现有的云计算实验系统一般分为两类，仿真模拟系统和真实的云计算平台。
目前可用于云计算教学的较典型的仿真或模拟系统有CloudSim、WorkflowSim、SchedSim等，它们都是在同一台机器上模拟多台机器的任务调度、处理机状态和能耗等情形，可用于调度算法的验证。但这也仅仅是模拟，因为在真实云计算系统的运行时，会受到处理机实时负载状态、网络通信状态等条件的影响，而这些都是模拟和仿真系统无法体现的。
而目前主流的真实云计算平台包括Hadoop、Eucalyptus、Nimbus、Azure等，这些云计算系统的典型特征是硬件管理对使用者/购买者高度抽象，它们的云计算分布式的资源向用户隐藏了实现细节，并最终以整体的形式呈现给用户，学习者无法真正了解计算资源的运行机制和状态。另外，这些云计算平台主要用于企业级运营，过于庞大而且价格昂贵。对于一些开源云计算平台例如Docker、OpenStack等，已经部署在许多大中型企业基础架构中，在各种生产环境中运行着不同类型的工作负载。但它们依然需要进行较复杂的配置和高要求的硬件支持，并不适合高职云计算专业学生的入门学习。
鉴于大型云计算平台的问题，当今领域中有一些中小型的云计算系统可供使用，它们开源且便于部署，例如xxl-job,它是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。但此类系统的任务类型固定，必须按系统要求生成任务，而且扩展调度算法较为复杂，对于高职的入门教学来说不够清晰简洁，容易陷入复杂的系统业务逻辑中。
发明内容
有鉴于此，本发明实施例提供一种组件抽象的分布式系统、实现方法、设备及介质，以实现提高分布式计算教学系统的基础性、通用性以及可柔性配置性。
一方面，本发明提供了一种组价抽象的分布式系统，包括可视化的相关性任务集设计系统以及分布式多处理器调度系统；
其中，所述可视化的相关性任务集设计系统，用于生成相关性任务集的抽象描述文件；
所述分布式多处理器调度系统，用于根据输入文件对任务进行调度和执行，其中，所述输入文件包括所述抽象描述文件、调度计划文件以及可执行程序集。
可选地，所述分布式多处理器调度系统，包括相关性任务集接收器、任务池、调度规划器、实时分发器以及分布式多处理器系统；
其中，所述相关性任务集接收器，用于接收相关性任务集；
所述任务池，用于存储所述相关性任务集；
所述调度规划器，用于将所述相关性任务集映射到所述分布式多处理器系统中，并输出规划结果；
所述实时分发器，用于根据所述规划结果，与所述分布式多处理器系统进行通信；
所述分布式多处理器系统，用于对任务进行处理，并输出处理结果。
可选地，所述分布式多处理器系统，包括调度器节点、处理器节点、传输器节点、存储器节点以及开关节点；
其中，所述调度器节点，用于执行任务调度过程，通过路线规划将所述任务分配给处理器；
所述处理器节点，用于操作所述任务；
所述传输器节点，用于传输所述任务；
所述存储器节点，用于存储所述任务以及数据；
所述开关节点，用于对所述调度器节点、处理器节点以及传输器节点进行控制。
可选地，还包括可视化建模系统；
所述可视化建模系统包括表示层、操作支持层以及开发支撑层；
其中，所述表示层，用于对所述可视化建模系统进行可视化编辑；
所述操作支持层，用于实现文件的持久化操作以及对模型的控制；
所述开发支撑层，用于实现所述可视化建模系统的开发和运行功能。
另一方面，本发明实施例还公开了一种组件抽象的分布式系统的实现方法，所述实现方法应用于客户端，包括：
通过相关性任务集接收器接收相关性任务集，并将所述相关性任务集输入到全任务池；
通过调度规划器对所述全任务池中的所述相关性任务集映射到分布式处理器中，并将规划结果输入到实时分发器；
根据所述规划结果，通过所述实时分发器与所述分布式多处理器进行通信，其中，所述实时分布器与所述分布式多处理器的通信包括所述实时分布器发送任务和输入数据到所述分布式多处理器以及接收所述分布式多处理器发送的处理结果。
可选地，所述实现方法包括构造所述客户端的虚拟拓扑环境：
识别真实系统环境下的组件，将所述组件确定为节点；
对所述节点添加输入、输出以及控制规则，确定环境脚本；
根据所述环境脚本，通过编译器生成所述虚拟拓扑环境，其中，所述虚拟拓扑环境用于对分布式计算过程进行控制。
另一方面，本发明实施例还公开了一种组件抽象的分布式系统的实现方法，所述实现方法应用于服务端，包括：
接收客户端发送的任务；
执行所述任务，确定处理结果；
将所述处理结果以及输出数据发送到客户端。
另一方面，本发明实施例还公开了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
另一方面，本发明实施例还公开了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
另一方面，本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明通过对分布式计算教学环境进行组件抽象建模建立分布式多处理器调度系统，能对分布式系统的设计进行优化；另外，本发明通过可视化的相关性任务集设计系统生成相关性任务集抽象描述文件，能够使分布式计算的教学与实践过程更加高效、敏捷。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的一种分布式系统的整体结构图；
图2为本发明实施例的一种组件抽象后的系统建模示例图；
图3为本发明实施例的一种可视化建模系统结构图；
图4为本发明实施例的一种分布式系统的控制体系结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本发明实施例提供了一种组价抽象的分布式系统，包括可视化的相关性任务集设计系统以及分布式多处理器调度系统；
其中，可视化的相关性任务集设计系统，用于生成相关性任务集的抽象描述文件；
分布式多处理器调度系统，用于根据输入文件对任务进行调度和执行，其中，输入文件包括抽象描述文件、调度计划文件以及可执行程序集。
参照图1，可视化的相关性任务集设计系统通过可视化的相关性任务集设计软件进行设计，用于生成相关性任务集的抽象描述文件。通过可视化的分布式系统环境设计与配置软件生成分布式多处理器调度系统，其中，分布式多处理调度系统包括相关性任务集调度器与分布式多处理器系统，用于根据输入文件对任务进行调度和执行。输入文件包括抽象描述文件、调度计划文件以及可执行程序集。抽象描述文件是一个XML格式的文件，用于描述相关性任务集内任务的属性以及任务间前驱后继关系。调度计划文件是可选输入，用于描述相关性任务集内的任务与处理节点的映射关系；当使用系统内部的调度规划器进行调度时，可生成对应的调度计划，此时无需输入调度计划文件。可执行程序集是一个可执行的程序集合，集合里的程序与相关性任务集内的任务相关联，通过程序执行该任务。
进一步作为优选的实施方式，分布式多处理器调度系统，包括相关性任务集接收器、任务池、调度规划器、实时分发器以及分布式多处理器系统；
其中，相关性任务集接收器，用于接收相关性任务集；
任务池，用于存储相关性任务集；
调度规划器，用于将相关性任务集映射到节点中，并输出规划结果；
实时分发器，用于根据规划结果，与分布式多处理器系统进行通信；
分布式多处理器系统，用于对任务进行处理，并输出处理结果。
参照图1，图1为本发明实施例的一种分布式系统的整体结构图。其中，相关性任务集调度器中包括有相关性任务集接收器，任务池，调度规划器，实时分发器以及分布式多处理器系统。相关性任务集接收器设有抽象描述文件解析器和调度计划文件解析器，用于接收相关性任务集。任务池中设有全任务池以及就绪任务池，用于存储相关性任务集。调度规划器内设有动态规划算法以及静态规划算法，用于将相关性任务集映射到节点中，并输出规划结果；静态规划算法可实现HEFT、DHEFT、Min-Min、Max-Min、ELS等算法，动态(在线)规划算法中可实现了RANK_HYBD、OWM和MDDTMS等算法。实时分发器内设有实时分发算法，用于与分布式多处理器系统进行通信。分布式多处理器系统内设有多个处理节点，用于对任务进行处理，并输出处理结果。
进一步作为优选的实施方式，分布式多处理器系统，包括调度器节点、处理器节点、传输器节点、存储器节点以及开关节点；
其中，调度器节点，用于执行任务调度过程，通过路线规划将任务分配给处理器；
处理器节点，用于操作任务；
传输器节点，用于传输任务；
存储器节点，用于存储任务以及数据；
开关节点，用于对调度器节点、处理器节点以及传输器节点进行控制。
参照图2，图2为本发明实施例的一种组件抽象后的系统建模示例图。图2中附图标记1为存储器1，附图标记2为存储器2，附图标记3为开关1，附图标记4为开关2。本发明实施例一种具体实施方式如图3所示，通过将现实环境下的分布式计算环境的组件抽象为调度器节点、处理器节点、传输器节点、存储器节点、开关器节点等若干组件，实现对组件抽象后的组态化模型。抽象组件支持面对对象的扩展，按照先一般后具体的方式逐步扩展成为对应具体的分布式计算部件。组态化模型的组成成分为节点，是软件定义的硬件系统，具有输入端口、输出端口的参与任务计算的组件。其中，输入端口用于接收节点待计算的任务，输出端口用于将计算完毕的任务输出，控制端口是节点的服务接口，用于接收任务和数据的输入和控制处理结果的输出。任务是指节点进行计算处理的程序和数据对象。分布式多处理器系统包括调度器节点、处理器节点、传输器节点、存储器节点以及开关节点。调度器节点用于执行任务调度过程，将任务通过规划路径分配给特定处理器，本身不进行任务的具体执行操作；调度器节点的输入输出可以连接传输器、开关、存储器。处理器节点用于对任务执行由用户定义的具体操作，输出输入可以连接传输器节点、开关节点以及存储器节点。传输器节点用于传输任务和数据，输入输出可以连接调度器节点、处理器节点、开关节点以及其他传输器节点。传输器节点对应分布式计算环境中的路由器、通信介质等。存储器节点用于暂时或永久地存储任务及相关数据的组件。开关节点用于控制调度器节点、处理器节点以及传输器节点。通过条件控制，每个开关节点有一个条件表达式控制一个开关条件。开关节点可以分为分配开关以及选择开关，其中，分配开关用于将输入按条件与输出连接；选择开关用于将按条件选定的输入与输出连接。
进一步作为优选的实施方式，还包括可视化建模系统；
可视化建模系统包括表示层、操作支持层以及开发支撑层；
其中，表示层，用于对可视化建模系统进行可视化编辑；
操作支持层，用于实现文件的持久化操作以及对模型的控制；
开发支撑层，用于实现可视化建模系统的开发和运行功能。
参照图3，图3为本发明实施例的一种可视化建模系统结构图。如图3所示，可视化建模系统的输出内容是图形文件、描述脚本、配置脚本以及任务集文件。其中，可视化建模系统包括有表示层、操作支持层自己开发支撑层。表示层包含有图形设计面板、脚本编辑面板和任务编辑面板，图形设计面板是所有图形描述文件编辑面板的基类，脚本编辑面板是各类配置脚本编辑面板的基类，任务编辑面板是任务集可视化编辑的基类。操作支持层包括图形序列化模型编辑模块、配置脚本模型编辑模块、描述脚本模型编辑模块和任务集编辑模块，它们用于实现对具体脚本文件、任务集文件的持久化操作。另外还可以对模型进行操作，诸如增加、编辑、验证、合并等操作。开发支撑层用于实现基本的GUI和通信等功能，以.NET Framework框架为基础，包括基类库、ADO.NET&XML以及RPC框架作为组织整个应用程序功能的开发和运行基础。
另一方面，本发明实施例还提供了一种组件抽象的分布式系统的实现方法，实现方法应用于客户端，包括：
通过相关性任务集接收器接收相关性任务集，并将相关性任务集输入到全任务池；
通过调度规划器对全任务池中的相关性任务集映射到分布式处理器中，并将规划结果输入到实时分发器；
根据规划结果，通过实时分发器与分布式多处理器进行通信，其中，实时分布器与分布式多处理器的通信包括实时分布器发送任务和输入数据到分布式多处理器以及接收分布式多处理器发送的处理结果。
参照图1，本发明实施例的一种组件抽象的分布式系统的客户端的具体实现过程如下。
(1)相关性任务集接收器接收相关性任务集，相关性任务集包括抽象描述文件、调度计划文件以及可执行程序集；
(2)相关性任务集接收器对相关性任务集进行解析后发送到任务池；
(3)任务池发送任务到调度规划器中；
(4)调度规划器通过动态规划算法和静态规划算法对任务进行任务到分布式多处理器系统节点的映射；
(5)通过调度规划器的规划算法，将全任务池中的任务放到就绪任务池中；
(6)通过调度规划器的规划算法，将全任务池中的任务放到全任务池中；
(7)调度规划器将规划结果发送到实时分发器；
(8)实时分发器接收从系统外部输入的调度计划的规划结果；
(9)任务池发送任务到实时分发器中；
(10)实时分发器将任务返回到任务池中；
(11)实时分发器根据系统的实时运行情况，与分布式多处理器中的处理节点进行通信，发送任务和输入数据；
(12)实时分发器根据系统的实时运行情况，与分布式多处理器中的处理节点进行通信，
接收处理结果。
进一步作为优选的实施方式，实现方法包括构造客户端的虚拟拓扑环境：
识别真实系统环境下的组件，将组件确定为节点；
对节点添加输入、输出以及控制规则，确定环境脚本；
根据环境脚本，通过编译器生成虚拟拓扑环境，其中，虚拟拓扑环境用于对分布式计算过程进行控制。
参照图4，虚拟拓扑环境是真实系统环境在调度器里的映射，用于对分布式计算过程进行控制。首先识别真实系统环境中存在的组件，将这些组件根据系统定义设置为各种节点；接着，在节点划分的基础上，分别为每类节点确定输入、输出以及控制规则；然后根据具体的业务逻辑扩展组件，在选定的开发环境和工具下生成环境描述脚本，通过环境描述编译器生成虚拟拓扑环境。虚拟拓扑环境通过读入环境拓扑信息，按照规定的引擎逻辑及环境配置脚本通过环境配置脚本编译器生成控制指令，从相关性任务集接收器中接收任务并进行调度规划。
另一方面，本发明实施例还提供了一种组件抽象的分布式系统的实现方法，实现方法应用于服务端，包括：
接收客户端发送的任务；
执行任务，确定处理结果；
将处理结果以及输出数据发送到客户端。
其中，服务端运行在分布式多处理器系统的各个处理节点上，用于接收相关性任务集调度器发送来的任务并执行，执行完毕后将处理结果和输出数据发送到相关性任务集调度器。
与图1的系统相对应，本发明实施例还提供了一种电子设备，包括处理器以及存储器；所述存储器用于存储程序；所述处理器执行所述程序实现如前面所述的方法。
与图1的系统相对应，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
综上所述，本发明实施例具有以下优点：
(1)本发明实施例通过将分布式计算平台中的软件和硬件全部抽象为计算机系统中的组件并统一建模，能够对分布式系统设计进行优化；
(2)本发明实施例通过相关性任务集的可视化设计软件，生成与分布式计算实验系统相匹配的相关性任务集抽象描述文件，使分布式计算的教学与实践过程更加高效和敏捷；
(3)本发明实施例的一种组件抽象的分布式系统通过可视化编辑以及组件抽象建模，
能够提高分布式计算教学系统的基础性、通用性以及可柔性配置性。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (9)
1.一种组件抽象的分布式系统，其特征在于，包括可视化的相关性任务集设计系统以及分布式多处理器调度系统；
其中，所述可视化的相关性任务集设计系统，用于生成相关性任务集的抽象描述文件；
所述分布式多处理器调度系统，用于根据输入文件对任务进行调度和执行，其中，所述输入文件包括所述抽象描述文件、调度计划文件以及可执行程序集。
2.根据权利要求1所述的一种组件抽象的分布式系统，其特征在于，所述分布式多处理器调度系统，包括相关性任务集接收器、任务池、调度规划器、实时分发器以及分布式多处理器系统；
其中，所述相关性任务集接收器，用于接收相关性任务集；
所述任务池，用于存储所述相关性任务集；
所述调度规划器，用于将所述相关性任务集映射到所述分布式多处理器系统中，并输出规划结果；
所述实时分发器，用于根据所述规划结果，与所述分布式多处理器系统进行通信；
所述分布式多处理器系统，用于对任务进行处理，并输出处理结果。
3.根据权利要求2所述的一种组件抽象的分布式系统，其特征在于，所述分布式多处理器系统，包括调度器节点、处理器节点、传输器节点、存储器节点以及开关节点；
其中，所述调度器节点，用于执行任务调度过程，通过路线规划将所述任务分配给处理器；
所述处理器节点，用于操作所述任务；
所述传输器节点，用于传输所述任务；
所述存储器节点，用于存储所述任务以及数据；
所述开关节点，用于对所述调度器节点、处理器节点以及传输器节点进行控制。
4.根据权利要求1所述的一种组件抽象的分布式系统，其特征在于，还包括可视化建模系统；
所述可视化建模系统包括表示层、操作支持层以及开发支撑层；
其中，所述表示层，用于对所述可视化建模系统进行可视化编辑；
所述操作支持层，用于实现文件的持久化操作以及对模型的控制；
所述开发支撑层，用于实现所述可视化建模系统的开发和运行功能。
5.一种组件抽象的分布式系统的实现方法，其特征在于，所述实现方法应用于客户端，包括：
通过相关性任务集接收器接收相关性任务集，并将所述相关性任务集输入到全任务池；
通过调度规划器对所述全任务池中的所述相关性任务集映射到分布式处理器中，并将规划结果输入到实时分发器；
根据所述规划结果，通过所述实时分发器与所述分布式多处理器进行通信，其中，所述实时分布器与所述分布式多处理器的通信包括所述实时分布器发送任务和输入数据到所述分布式多处理器以及接收所述分布式多处理器发送的处理结果。
6.根据权利要求5所述的一种组件抽象的分布式系统实现方法，其特征在于，所述实现方法包括构造所述客户端的虚拟拓扑环境：
识别真实系统环境下的组件，将所述组件确定为节点；
对所述节点添加输入、输出以及控制规则，确定环境脚本；
根据所述环境脚本，通过编译器生成所述虚拟拓扑环境，其中，所述虚拟拓扑环境用于对分布式计算过程进行控制。
7.一种组件抽象的分布式系统的实现方法，其特征在于，所述实现方法应用于服务端，包括：
接收客户端发送的任务；
执行所述任务，确定处理结果；
将所述处理结果以及输出数据发送到客户端。
8.一种电子设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求5-7中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求5-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110758389.6A CN113641469A (zh) | 2021-07-05 | 2021-07-05 | 一种组件抽象的分布式系统、实现方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110758389.6A CN113641469A (zh) | 2021-07-05 | 2021-07-05 | 一种组件抽象的分布式系统、实现方法、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113641469A true CN113641469A (zh) | 2021-11-12 |
Family
ID=78416695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110758389.6A Pending CN113641469A (zh) | 2021-07-05 | 2021-07-05 | 一种组件抽象的分布式系统、实现方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113641469A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103377075A (zh) * | 2012-04-28 | 2013-10-30 | 腾讯科技（深圳）有限公司 | 管理任务的方法、装置及系统 |
| CN104219097A (zh) * | 2014-09-12 | 2014-12-17 | 国云科技股份有限公司 | 一种分布式系统的快速配置方法 |
| US20150113033A1 (en) * | 2013-10-23 | 2015-04-23 | Microsoft Corporation | Emulating test distibuted application on server |
| CN105488251A (zh) * | 2015-11-13 | 2016-04-13 | 中国人民解放军国防科学技术大学 | 一种分布式飞行器仿真平台及其实现方法 |
| CN107423053A (zh) * | 2017-06-15 | 2017-12-01 | 东莞理工学院 | 一种遥感图像处理的web化模型封装与分布式处理方法 |
| CN109271170A (zh) * | 2018-09-05 | 2019-01-25 | 杭州数梦工场科技有限公司 | 一种分布式系统部署方法、系统、电子设备及存储介质 |
| CN112130812A (zh) * | 2020-08-04 | 2020-12-25 | 中科天玑数据科技股份有限公司 | 一种基于数据流混合编排的分析模型构建方法及系统 |
-
2021
- 2021-07-05 CN CN202110758389.6A patent/CN113641469A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103377075A (zh) * | 2012-04-28 | 2013-10-30 | 腾讯科技（深圳）有限公司 | 管理任务的方法、装置及系统 |
| US20150113033A1 (en) * | 2013-10-23 | 2015-04-23 | Microsoft Corporation | Emulating test distibuted application on server |
| CN104219097A (zh) * | 2014-09-12 | 2014-12-17 | 国云科技股份有限公司 | 一种分布式系统的快速配置方法 |
| CN105488251A (zh) * | 2015-11-13 | 2016-04-13 | 中国人民解放军国防科学技术大学 | 一种分布式飞行器仿真平台及其实现方法 |
| CN107423053A (zh) * | 2017-06-15 | 2017-12-01 | 东莞理工学院 | 一种遥感图像处理的web化模型封装与分布式处理方法 |
| CN109271170A (zh) * | 2018-09-05 | 2019-01-25 | 杭州数梦工场科技有限公司 | 一种分布式系统部署方法、系统、电子设备及存储介质 |
| CN112130812A (zh) * | 2020-08-04 | 2020-12-25 | 中科天玑数据科技股份有限公司 | 一种基于数据流混合编排的分析模型构建方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 沈阳: "分布式多处理器环境下任务调度方法研究", 《中国博士学位论文全文数据库基础科学辑》, 28 July 2020 (2020-07-28), pages 30 - 42 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dutot et al. | Batsim: a realistic language-independent resources and jobs management systems simulator | |
| Caglar et al. | Cloud-hosted simulation-as-a-service for high school STEM education | |
| Dodero et al. | Trade-off between interoperability and data collection performance when designing an architecture for learning analytics | |
| Mastenbroek et al. | OpenDC 2.0: Convenient modeling and simulation of emerging technologies in cloud datacenters | |
| Tanaka et al. | Teaching parallel and distributed computing concepts in simulation with wrench | |
| González-Amarillo | Ecosystem for the deployment and management of virtual laboratories based on the standard IMS LTI | |
| Chatley et al. | Threading devops practices through a university software engineering programme | |
| Saad et al. | Modelling and Simulation of Construction Cyber-Physical Systems | |
| Schlatte et al. | Release the beasts: When formal methods meet real world data | |
| Wolfer | A heterogeneous supercomputer model for high-performance parallel computing pedagogy | |
| El-Chaar et al. | Interactive 3D virtual environments for industrial operation training and maintenance | |
| Rycerz et al. | Composing, execution and sharing of multiscale applications | |
| Bagnasco et al. | A modular and extensible remote electronic laboratory | |
| CN113641469A (zh) | 一种组件抽象的分布式系统、实现方法、设备及介质 | |
| Luo et al. | Component integration manufacturing middleware for customized production | |
| Dolgopolovas et al. | Teaching Scientific Computing: A Model‐Centered Approach to Pipeline and Parallel Programming with C | |
| Farooqi et al. | Exploring Hybrid Classical-Quantum Compute Systems through Simulation | |
| Druffel | A Technical History of the SEI | |
| Di Rocco et al. | Using software visualization to support the teaching of distributed programming | |
| Allen et al. | A practical and comprehensive graduate course preparing students for research involving scientific computing | |
| Harrer | An approach to organize re-usability of learning designs and collaboration scripts of various granularities | |
| Pham | A Web-based Interactive and Visualized Approach to Simulations of Operating Systems | |
| Babichev et al. | Designing Execution Models of Distributed System in Theoretical Courses on Information Technology | |
| Przyłucki et al. | Next Generation Classroom Based on the Idea of Collaborative, Data-Oriented Programming | |
| Treyer et al. | Lightweight urban computation interchange (LUCI): a system to couple heterogeneous simulations and views |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |