CN110209484A - 基于多云和安全映射的可信云任务调度系统及方法 - Google Patents

基于多云和安全映射的可信云任务调度系统及方法 Download PDF

Info

Publication number
CN110209484A
CN110209484A CN201910464063.5A CN201910464063A CN110209484A CN 110209484 A CN110209484 A CN 110209484A CN 201910464063 A CN201910464063 A CN 201910464063A CN 110209484 A CN110209484 A CN 110209484A
Authority
CN
China
Prior art keywords
server
subtask
task
data
cloudy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910464063.5A
Other languages
English (en)
Other versions
CN110209484B (zh
Inventor
何克晶
邹秀鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910464063.5A priority Critical patent/CN110209484B/zh
Publication of CN110209484A publication Critical patent/CN110209484A/zh
Application granted granted Critical
Publication of CN110209484B publication Critical patent/CN110209484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3017—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is implementing multitasking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/323—Visualisation of programs or trace data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/484—Precedence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5017—Task decomposition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种基于多云和安全映射的可信云任务调度系统及方法，该系统包括系统管理端、任务提交端、调度服务器和计算服务器；系统管理端部署配置多云系统，设定各个服务器的数据和程序安全级别；任务提交端提交任务请求，并通过有向无环图指定各个子任务之间的关系；调度服务器接收任务请求，为子任务设定私密级别，将子任务的数据和程序分发到满足安全级别的计算服务器上，监控子任务的执行，接收计算服务端返回的数据并进行任务调度和数据分发，将任务的最终执行结果返回到任务提交端；计算服务器在运行完子任务后，将运行结果返回到调度服务器。本发明减少了加密、解密带来的时间消耗，保证了任务数据和程序的安全性。

Description

基于多云和安全映射的可信云任务调度系统及方法
技术领域
本发明涉及可信计算领域，具体涉及一种基于多云和安全映射的可信云任务调度系统及方法。
背景技术
随着存储技术的发展，越来越多的数据能够被保存下来，面向大量数据的存储以及计算成为了客户或者公司的一个重要需求。云计算技术为海量数据的存储和计算提供了解决方案，例如，云供应商为客户提供可插拔式的云资源服务，使得客户利用第三方物理资源进行存储和计算变得十分方便。然而，客户将数据和程序直接存放在第三方的云平台会存在很多安全问题，例如，数据和程序内容的泄露。云平台的安全问题限制了更多的客户将云平台作为存储和计算的选择。
发明内容
为了克服现有技术存在的缺陷与不足，本发明提供一种基于多云和安全映射的可信云任务调度系统及方法，不需要显式地对任务数据和程序进行加密，通过安全映射的方式节省了加密、解密的耗时，多云特性也提供了较大的弹性选择空间，并且通过区别不同数据和子任务的安全级别，把不同安全级别的数据和任务映射到对应的计算服务器上，保证整个任务执行的安全性。
为了达到上述目的，本发明采用以下技术方案：
本发明提供一种基于多云和安全映射的可信云任务调度系统，包括：系统管理端、任务提交端、调度服务器和计算服务器；
所述系统管理端用于部署配置多云系统，设定各个服务器的数据和程序安全级别；
所述任务提交端用于提交任务请求，并通过有向无环图指定任务请求内各个子任务之间的关系；
所述调度服务器用于接收任务请求，为子任务设定私密级别，将子任务的数据和程序分发到满足安全级别的计算服务器上，监控在计算服务器上的子任务的执行，接收计算服务端返回的数据并进行任务调度和数据分发，将任务的最终执行结果返回到任务提交端；
所述计算服务器用于接收调度服务器分发的子任务程序以及数据，在运行完子任务后，将运行结果返回到调度服务器。
本发明还提供一种基于多云和安全映射的可信云任务调度方法，包括下述步骤：
S1：系统管理端配置服务器，搭建多云系统，设置各个服务器的数据和程序安全级别；
S2：系统管理端选定调度服务器，为调度服务器建立与多云系统中各个服务器的网络连接；
S3：任务提交端提交任务请求：
S31：任务提交端将任务划分为不同子任务，并设置表示各个子任务之间关系的有向无环图；
S32：将各个子任务编译成可执行文件；
S33：将可执行文件、初始输入数据和有向无环图发送到调度服务器；
S4：调度服务器对接收到的子任务对应的数据和程序设定私密级别；
S5：调度服务器按照设定的基于安全映射的调度方法对子任务进行调度，分配到计算服务器；
S6：计算服务器执行被分配到的子任务，执行完子任务后，将结果返回到调度服务器；
S7：最后一个子任务执行结束，计算服务器将数据结果返回到调度服务器，调度服务器将最终的输出数据返回到任务提交端。
作为优选的技术方案，步骤S1中所述搭建多云系统，所述多云系统包括私有云、公有云或混合云中的任意一种或多种。
作为优选的技术方案，步骤S2中所述系统管理端选定调度服务器，具体步骤为：根据设置好的服务器的数据和程序安全级别，在私有云、公有云或混合云中任意一种云系统中选定一台或多台服务器，配置为调度服务器。
作为优选的技术方案，步骤S4中所述调度服务器对接收到的子任务对应的数据和程序设定私密级别，所述私密级别的具体设定方式为：根据子任务和初始子任务的距离、子任务和最终子任务的距离设定私密级别，距离越远，私密级别越低。
作为优选的技术方案，步骤S5中所述基于安全映射的调度方法采用贪心安全映射调度方法，具体步骤为：
对当前可并行子任务按照私密级别进行排序；
对当前空闲的服务器按照安全级别进行排序；
按照子任务私密级别从高到低的顺序，为当前可并行子任务进行调度，优先分配安全级最高的且满足调度原则的服务器；
如果对于当前待处理的子任务，没有符合要求的服务器，暂时跳过当前子任务的调度，先为下一个可并行子任务进行调度，等到符合要求的服务器出现时，再为跳过的子任务进行调度。
作为优选的技术方案，所述调度原则具体为：子任务被分配到的服务器的数据安全级别大于或等于子任务的数据私密级别，且被分配到的服务器的程序安全级别大于或等于子任务的程序的私密级别，任务调度对空闲的服务器进行，如果当前没有符合要求的服务器，一直等到有符合要求的服务器出现为止。
作为优选的技术方案，在步骤S5中，还包括调度服务器对执行的子任务进行监控的步骤，当某个子任务执行失败，调度服务器重新选择计算服务器进行调度，所述调度服务器设有任务查询接口，用于任务提交端访问查询任务执行信息。
作为优选的技术方案，在步骤S6中，还包括计算服务器定时发送心跳数据的步骤，计算服务器定时向调度服务器发送心跳数据，心跳数据包括子任务的执行信息。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明在基本不改变任务运行总时间的情况下，保证了任务数据和程序的安全性，相比于需要对数据和程序进行加密的算法，不需要显式地对数据和程序进行加密，大大降低了加密、解密带来的时间消耗，并通过区别不同数据和子任务的安全级别，把不同安全级别的数据和任务映射到对应的计算服务器上，保证整个任务执行的安全性。
(2)本发明对于要执行的任务没有过于严格的要求，通过任务提交端把要执行的任务划分成子任务，并提供包含子任务之间的关系的有向无环图，并不需要对原有的程序进行过多的修改，学习成本较低，具有更好的通用性。
(3)本发明通过系统管理端配置服务器，搭建多云系统，设置各个服务器的数据和程序安全级别，能够充分利用公有云的廉价特性以及私有云的安全特性，在私有云的服务器上运行私密级别要求相对高的任务，在公有云的服务器上运行私密级别相对低的任务，将任务按照私密级别进行划分，能够充分利用公有云的廉价特性以及私有云的安全特性。
附图说明
图1为本实施例基于多云和安全映射的可信云任务调度系统的整体架构图；
图2为本实施例基于多云和安全映射的可信云任务调度方法的流程图；
图3为本实施例任务提交端编写的有向无环图的样例；
图4为本实施例调度服务器为子任务设定私密级别后的有向无环图的样例。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
如图1所示，本实施例提供一种基于多云和安全映射的可信云任务调度系统，包括：系统管理端、任务提交端、调度服务器以及计算服务器；
在本实施例中，所述系统管理端负责部署、配置多云系统，设定各个服务器的数据和程序安全级别；
在本实施例中，所述任务提交端，负责提交任务(task)请求，并通过有向无环图(DAG)的方式指定任务内部的子任务(sub-task)之间的关系；
在本实施例中，所述调度服务器，负责接收来自任务提交端的任务请求、为子任务设定私密级别、把子任务的数据和程序分发到满足安全级别的计算服务器上(安全映射)、监控在计算服务器上的子任务的执行、回收计算服务端返回的数据并进行下一步的任务调度和数据分发、把任务的最终执行结果返回给任务提交端；
在本实施例中，所述计算服务器，负责接收从调度服务器分发过来的子任务程序以及数据，在运行完子任务后，将运行结果返回给调度服务器。
如图2所示，本实施例还提供一种基于多云和安全映射的可信云任务调度方法，包括：多云服务器的配置、调度服务器的配置、任务请求、子任务的私密级别设定、子任务的调度和分发、子任务的执行和最终数据的返回；
具体的步骤如下所述：
步骤①：系统管理端对系统的云服务器进行配置：首先，系统管理端利用物理设备搭建私有云，利用租用云服务商的云资源搭建公有云，还可以构建私有服务器和公有服务器并存的混合云，同时保证各个设备之间的网络互通；然后，系统管理端为各个服务器分别设定数据安全级别和程序安全级别，一个服务器的数据安全级别指的是将数据交给该服务器处理的安全程度，数据安全级别越高表示数据交给该服务器处理越安全。程序安全级别表示将程序交给该服务器运行的安全程度，程序安全级别越高表示程序交给该服务器运行越安全；
在本实施例步骤①中，服务器的安全级别的设定可以采用但不限于采用评分机制，如果采用评分机制，那么用于评分的标准包括但不限于如下标准：该服务器是否是私有的服务器、该服务器能否和任务提交端直接交互、该服务器使用时是否需要密码等；
在本实施步骤①中，系统管理端搭建私有云所用的服务器可以来自不同厂商、不同配置的物理设备；系统管理端搭建私有云所租用的服务器也可以来自不同云供应商提供的不同配置的物理设备。本本实施例允许搭建多个私有云或多个公有云(例如，按照物理设备的位置来搭建多个云)，也允许搭建既有私有物理设备也有公有物理设备的混合云。
步骤②：系统管理端对系统的调度服务器进行配置：调度服务器负责分发子任务程序以及分发子任务对应数据等的工作，所有的子任务的程序、输入数据、中间数据、输出数据都对调度服务器透明，因此调度服务器的操作权限级别较高，系统管理端需要指定安全级别较高的某台或者某些物理设备作为调度服务器。同时，系统管理端需要为调度服务器安装调度程序的代码，并为调度服务器建立与多云中所有服务器的网络连接；
在本实施例步骤②中，系统管理端指定的调度服务器可以是私有云上的某台设备，甚至也可以是公有云上的某台设备。指定调度服务器的方法可以但不限于根据在步骤S1中设定的服务器安全级别，例如指定安全级别最高的的服务器作为调度服务器；
在本实施例步骤②中，系统管理端指定的调度服务器可以是多台服务器。某些时间段中，任务提交端的请求会大大增加，系统需要提供高并发的能力，如果系统中只有一台调度服务器，该调度服务器的负载过大，很可能造成拥塞情况的出现，因此，指定多台调度服务器分别接收不同任务提交端的请求是一个优选的方式；
步骤③：任务请求：
步骤③-1：任务提交端编写任务代码，把任务划分成不同的子任务以及编写子任务之间关系的有向无环图，有向无环图的有向边表示不同子任务之间的依赖关系以及数据传递关系；
步骤③-2：任务提交端在本地把所有子任务都分别编译成可执行文件(程序)；
步骤③-3：任务提交端把所有子任务的程序、初始输入数据以及表示子任务之间关系的有向无环图(DAG)发送给调度服务器；
步骤④：调度服务器为子任务的数据和程序设定私密级别：调度服务器负责为接收到的子任务的对应数据和程序设定私密级别。私密级别越高，表示数据和程序越私密，调度时，需要将这些数据和程序调度到安全级别高的服务器上执行；相反，私密级别越低，表示数据和程序越不私密，调度时，可以把子任务数据和子任务程序调度到安全级别低的服务器上执行；
在本实施例步骤④中，调度服务器对子任务数据和程序的私密级别设定方法，可以但不限于根据子任务和初始子任务的距离，以及子任务和最终子任务的距离来设定，所述距离指的是有时间顺序关系的两个子任务之间的任务数，和初始子任务距离越远的子任务，处理的输入数据(即中间输入数据)和初始子任务输入的数据(即初始输入数据)差距较大，运行这种类型子任务的计算服务器想要把中间输入数据复原成初始输入数据的难度很大。因此，处理这种类型子任务的计算服务器在获取到中间输入数据时，也能很大程度上保证不泄露初始输入数据。相对地，和最终子任务距离越远的子任务，处理得到的输出数据(即中间输出数据)和最终子任务的输出数据(即最终输出数据)差距较大。运行这种类型子任务的计算服务器想要推测出最终输出数据的难度很大。因此，处理这种类型子任务的计算服务器在运行完子任务得到的中间输出数据后，也能很大程度不会泄露最终输出数据。在一个任务中，最私密的数据通常是初始输入数据和最终输出数据，而距离初始子任务和最终子任务都较远的中间子任务既不能复原出初始输入数据，也不能推测出最终输出数据，因此该类型的子任务的数据私密级别可以设为低级别的私密级别。程序是数据的一种特殊形式，因此子任务的程序私密级别也可以采用类似的方法来设定。
步骤⑤：子任务的调度和分发：
步骤⑤-1：调度服务器按照设定的基于安全映射的调度方法对子任务进行调度，对每个子任务，都有调度服务器设定的数据私密级别以及程序私密级别；对每台服务器，也有系统管理端设定的对应数据安全级别以及程序的安全级别，任务调度的方法需要遵循这样的原则：分配到的服务器的数据安全级别大于或等于对应任务的数据私密级别，且分配到的服务器的程序安全级别大于或等于对应任务的程序的私密级别；
步骤⑤-2：调度服务器把子任务的程序和对应的数据分发给被分配的计算服务器；任务调度只对空闲的服务器进行，如果当前没有符合要求的服务器，那么一直等待，等待到有合适的服务器出现为止；根据有向无环图指定的任务先后顺序，为每个任务分配对应的服务器，并把任务以及任务对应的数据发送给被分配到的服务器；根据有向无环图指定的数据传递关系，调度服务器在接收到计算服务器返回的数据结果后，将中间数据分发给下一个任务，作为下一个任务的对应的输入数据；
在本实施例步骤⑤中，可信云任务调度算法是基于安全映射的，安全映射指的是将子任务分配给符合安全级别要求的云服务器。基于安全映射的调度算法可以采用但不限于采用贪心的安全映射调度方法，如果采用贪心的安全调度方法，那么具体包括三个方面的内容：第一，对当前可并行子任务按照私密级别进行排序，可并行子任务指的是当前可以直接执行的子任务，在有向无环图中，可并行子任务是入度为零的子任务，或者是对应的所有入度任务都已执行完毕的子任务；第二，对当前空闲的服务器按照安全级别进行排序；第三，按照子任务私密级别从高到低的顺序，为当前可并行子任务进行调度，优先分配安全级最高的且满足调度原则(即数据安全级别和程序安全级别都满足要求)的服务器。如果对于当前待处理的子任务，没有符合要求的服务器，暂时跳过该子任务的调度，先为下一个可并行子任务进行调度，等符合要求的服务器出现的时候，再为该子任务进行调度；
在本实施例步骤⑤中，调度服务器可以对正在执行的子任务进行监控，若某个子任务执行失败(例如，计算服务器出现宕机的情况)，调度服务器需要为该任务重新选择计算服务器进行调度。同时，调度服务器可以为任务提交端提供任务运行信息的接口，任务提交端可以通过这些接口询问任务的执行情况；
步骤⑥：子任务的执行：
步骤⑥-1：计算服务器执行被分配到的子任务；
步骤⑥-2：计算服务器在执行完子任务后，将结果返回给调度服务器，以便下一次的数据分发；
在本实施例步骤⑥中，计算服务器定时给调度服务器发送心跳，以便调度服务器对子任务执行情况的监控，计算服务器可以在心跳中告知调度服务器关于子任务执行的情况(包括但不限于正在执行、已执行时间、执行完成等)；
步骤⑦：最终数据的返回：最后一个子任务运行结束后，最终的数据结果将通过调度服务器返回给任务提交端。
如图3所示，本实施提供在基于多云和安全映射的可信云任务调度方法中任务提交端编写的有向无环图(DAG)的样例，是一个包含8个子任务的任务的有向无环图，每个圈表示一个子任务，有向边表示子任务之间的相互依赖关系以及数据流动关系。
如图4所示，本实施提供在基于多云和安全映射的可信云任务调度方法中调度服务器为子任务的数据和程序设定私密级别后的有向无环图(DAG)的样例，是一个包含8个子任务的任务的有向无环图，每个圈表示一个子任务，圈内的数字表示该子任务的程序私密级别，有向边上的数字表示子任务之间所传递的数据的私密级别。
本实施例在基本不改变任务运行总时间的情况下，保证了任务数据和程序的安全性，相比于需要对数据和程序进行加密的算法，不需要显式地对数据和程序进行加密，大大降低了加密、解密带来的时间消耗，并通过区别不同数据和子任务的安全级别，把不同安全级别的数据和任务映射到对应的计算服务器上，保证整个任务执行的安全性。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于多云和安全映射的可信云任务调度系统，其特征在于，包括：系统管理端、任务提交端、调度服务器和计算服务器；
所述系统管理端用于部署配置多云系统，设定各个服务器的数据和程序安全级别；
所述任务提交端用于提交任务请求，并通过有向无环图指定任务请求内各个子任务之间的关系；
所述调度服务器用于接收任务请求，为子任务设定私密级别，将子任务的数据和程序分发到满足安全级别的计算服务器上，监控在计算服务器上的子任务的执行，接收计算服务端返回的数据并进行任务调度和数据分发，将任务的最终执行结果返回到任务提交端；
所述计算服务器用于接收调度服务器分发的子任务程序以及数据，在运行完子任务后，将运行结果返回到调度服务器。
2.一种基于多云和安全映射的可信云任务调度方法，其特征在于，包括下述步骤：
S1：系统管理端配置服务器，搭建多云系统，设置各个服务器的数据和程序安全级别；
S2：系统管理端选定调度服务器，为调度服务器建立与多云系统中各个服务器的网络连接；
S3：任务提交端提交任务请求：
S31：任务提交端将任务划分为不同子任务，并设置表示各个子任务之间关系的有向无环图；
S32：将各个子任务编译成可执行文件；
S33：将可执行文件、初始输入数据和有向无环图发送到调度服务器；
S4：调度服务器对接收到的子任务对应的数据和程序设定私密级别；
S5：调度服务器按照设定的基于安全映射的调度方法对子任务进行调度，分配到计算服务器；
S6：计算服务器执行被分配到的子任务，执行完子任务后，将结果返回到调度服务器；
S7：最后一个子任务执行结束，计算服务器将数据结果返回到调度服务器，调度服务器将最终的输出数据返回到任务提交端。
3.根据权利要求2所述的基于多云和安全映射的可信云任务调度方法，其特征在于，步骤S1中所述搭建多云系统，所述多云系统包括私有云、公有云或混合云中的任意一种或多种。
4.根据权利要求2所述的基于多云和安全映射的可信云任务调度方法，其特征在于，步骤S2中所述系统管理端选定调度服务器，具体步骤为：根据设置好的服务器的数据和程序安全级别，在私有云、公有云或混合云中任意一种云系统中选定一台或多台服务器，配置为调度服务器。
5.根据权利要求2所述的基于多云和安全映射的可信云任务调度方法，其特征在于，步骤S4中所述调度服务器对接收到的子任务对应的数据和程序设定私密级别，所述私密级别的具体设定方式为：根据子任务和初始子任务的距离、子任务和最终子任务的距离设定私密级别，距离越远，私密级别越低。
6.根据权利要求2所述的基于多云和安全映射的可信云任务调度方法，其特征在于，步骤S5中所述基于安全映射的调度方法采用贪心安全映射调度方法，具体步骤为：
对当前可并行子任务按照私密级别进行排序；
对当前空闲的服务器按照安全级别进行排序；
按照子任务私密级别从高到低的顺序，为当前可并行子任务进行调度，优先分配安全级最高的且满足调度原则的服务器；
如果对于当前待处理的子任务，没有符合要求的服务器，暂时跳过当前子任务的调度，先为下一个可并行子任务进行调度，等到符合要求的服务器出现时，再为跳过的子任务进行调度。
7.根据权利要求6所述的基于多云和安全映射的可信云任务调度方法，其特征在于，所述调度原则具体为：子任务被分配到的服务器的数据安全级别大于或等于子任务的数据私密级别，且被分配到的服务器的程序安全级别大于或等于子任务的程序的私密级别，任务调度对空闲的服务器进行，如果当前没有符合要求的服务器，一直等到有符合要求的服务器出现为止。
8.根据权利要求2所述的基于多云和安全映射的可信云任务调度方法，其特征在于，在步骤S5中，还包括调度服务器对执行的子任务进行监控的步骤，当某个子任务执行失败，调度服务器重新选择计算服务器进行调度，所述调度服务器设有任务查询接口，用于任务提交端访问查询任务执行信息。
9.根据权利要求2所述的基于多云和安全映射的可信云任务调度方法，其特征在于，在步骤S6中，还包括计算服务器定时发送心跳数据的步骤，计算服务器定时向调度服务器发送心跳数据，心跳数据包括子任务的执行信息。
CN201910464063.5A 2019-05-30 2019-05-30 基于多云和安全映射的可信云任务调度系统及方法 Active CN110209484B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910464063.5A CN110209484B (zh) 2019-05-30 2019-05-30 基于多云和安全映射的可信云任务调度系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910464063.5A CN110209484B (zh) 2019-05-30 2019-05-30 基于多云和安全映射的可信云任务调度系统及方法

Publications (2)

Publication Number Publication Date
CN110209484A true CN110209484A (zh) 2019-09-06
CN110209484B CN110209484B (zh) 2021-10-22

Family

ID=67789736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910464063.5A Active CN110209484B (zh) 2019-05-30 2019-05-30 基于多云和安全映射的可信云任务调度系统及方法

Country Status (1)

Country Link
CN (1) CN110209484B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898162A (zh) * 2020-08-17 2020-11-06 腾讯科技（深圳）有限公司 并行任务的执行方法和装置、存储介质及电子设备
CN112291266A (zh) * 2020-11-17 2021-01-29 珠海大横琴科技发展有限公司 一种数据处理的方法和装置
CN112445595A (zh) * 2020-11-26 2021-03-05 深圳晶泰科技有限公司 基于slurm计算平台的多任务提交系统
CN112491545A (zh) * 2020-11-30 2021-03-12 山东可信云信息技术研究院 一种可信的混合云管理平台、接入方法及系统
CN112597502A (zh) * 2020-12-17 2021-04-02 山东乾云启创信息科技股份有限公司 一种基于可信云的大规模计算服务配置方法及系统
CN113204429A (zh) * 2021-05-31 2021-08-03 深圳供电局有限公司 一种数据中心的资源调度方法及系统、调度设备、介质
CN113312630A (zh) * 2021-05-31 2021-08-27 支付宝(杭州)信息技术有限公司 实现可信调度的方法及装置
CN115794339A (zh) * 2022-11-21 2023-03-14 贵州电网有限责任公司 云计算任务跟踪处理方法及系统
CN113204429B (zh) * 2021-05-31 2024-06-28 深圳供电局有限公司 一种数据中心的资源调度方法及系统、调度设备、介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106790455A (zh) * 2016-12-08 2017-05-31 中国科学院软件研究所 一种基于混合模式的分布式云管理系统及方法
US20180136976A1 (en) * 2016-11-14 2018-05-17 King Abdulaziz University Temporal task scheduling in a hybrid system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180136976A1 (en) * 2016-11-14 2018-05-17 King Abdulaziz University Temporal task scheduling in a hybrid system
CN106790455A (zh) * 2016-12-08 2017-05-31 中国科学院软件研究所 一种基于混合模式的分布式云管理系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
司旭: "分布式多云架构下的协同计算方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
江维 等: "安全和能量关键的分布式协作任务调度", 《电子学报》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898162A (zh) * 2020-08-17 2020-11-06 腾讯科技（深圳）有限公司 并行任务的执行方法和装置、存储介质及电子设备
CN112291266B (zh) * 2020-11-17 2022-03-29 珠海大横琴科技发展有限公司 一种数据处理的方法、装置、服务器和存储介质
CN112291266A (zh) * 2020-11-17 2021-01-29 珠海大横琴科技发展有限公司 一种数据处理的方法和装置
CN112445595A (zh) * 2020-11-26 2021-03-05 深圳晶泰科技有限公司 基于slurm计算平台的多任务提交系统
CN112445595B (zh) * 2020-11-26 2022-10-25 深圳晶泰科技有限公司 基于slurm计算平台的多任务提交系统
CN112491545A (zh) * 2020-11-30 2021-03-12 山东可信云信息技术研究院 一种可信的混合云管理平台、接入方法及系统
CN112491545B (zh) * 2020-11-30 2023-02-10 山东可信云信息技术研究院 一种可信的混合云管理平台、接入方法及系统
CN112597502A (zh) * 2020-12-17 2021-04-02 山东乾云启创信息科技股份有限公司 一种基于可信云的大规模计算服务配置方法及系统
CN112597502B (zh) * 2020-12-17 2023-02-10 山东乾云启创信息科技股份有限公司 一种基于可信云的大规模计算服务配置方法及系统
CN113312630A (zh) * 2021-05-31 2021-08-27 支付宝(杭州)信息技术有限公司 实现可信调度的方法及装置
CN113204429A (zh) * 2021-05-31 2021-08-03 深圳供电局有限公司 一种数据中心的资源调度方法及系统、调度设备、介质
CN113312630B (zh) * 2021-05-31 2022-07-01 支付宝(杭州)信息技术有限公司 实现可信调度的方法及装置
CN113204429B (zh) * 2021-05-31 2024-06-28 深圳供电局有限公司 一种数据中心的资源调度方法及系统、调度设备、介质
CN115794339A (zh) * 2022-11-21 2023-03-14 贵州电网有限责任公司 云计算任务跟踪处理方法及系统

Also Published As

Publication number Publication date
CN110209484B (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN110209484A (zh) 基于多云和安全映射的可信云任务调度系统及方法
Zeng et al. Joint optimization of task scheduling and image placement in fog computing supported software-defined embedded system
Panda et al. A pair-based task scheduling algorithm for cloud computing environment
Chauhan et al. Brokering in interconnected cloud computing environments: A survey
Sriram et al. Research agenda in cloud technologies
CN106095954B (zh) 用于企业供应链的数据库管理方法
US7979858B2 (en) Systems and methods for executing a computer program that executes multiple processes in a multi-processor environment
US9723070B2 (en) System to improve cluster machine processing and associated methods
Mahallat A trust model based on quality of service in cloud computing environment
Sebastio et al. Optimal distributed task scheduling in volunteer clouds
Wang et al. Resource management of distributed virtual machines
CN111581635B (zh) 一种数据处理方法及系统
Choudhary et al. An approach to improve task scheduling in a decentralized cloud computing environment
JP7209108B2 (ja) ライセンス分析のためのシステムおよび方法
Casazza et al. Availability-driven NFV orchestration
Nguyen et al. Optimizing resource utilization in NFV dynamic systems: New exact and heuristic approaches
Walraven et al. Adaptive performance isolation middleware for multi-tenant saas
CN106850686A (zh) 一种云计算系统
CN105871618B (zh) 云调度器中应对不确定需求的多资源调度方法
Lee et al. Improving resource utilization for compositional scheduling using dprm interfaces
Bessai et al. Business process scheduling strategies in cloud environments with fairness metrics
Rajeshwari et al. Workload balancing in a multi-cloud environment: challenges and research directions
Priya TaaS: trust management model for cloud-based on QoS
Wei et al. Decentralized resource coordination across service workflows in a cloud environment
Pop et al. The Art of Scheduling for Big Data Science.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant