CN111898162A - 并行任务的执行方法和装置、存储介质及电子设备 - Google Patents
并行任务的执行方法和装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN111898162A CN111898162A CN202010828030.7A CN202010828030A CN111898162A CN 111898162 A CN111898162 A CN 111898162A CN 202010828030 A CN202010828030 A CN 202010828030A CN 111898162 A CN111898162 A CN 111898162A
- Authority
- CN
- China
- Prior art keywords
- server
- servers
- parallel
- file
- application
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 110
- 238000000034 method Methods 0.000 title claims abstract description 89
- 230000006854 communication Effects 0.000 claims description 59
- 238000004891 communication Methods 0.000 claims description 49
- 238000012545 processing Methods 0.000 claims description 31
- 230000015654 memory Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 17
- 230000005540 biological transmission Effects 0.000 claims description 12
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 20
- 238000013515 script Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 11
- 239000002041 carbon nanotube Substances 0.000 description 10
- 229910021393 carbon nanotube Inorganic materials 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000011160 research Methods 0.000 description 9
- 229910052799 carbon Inorganic materials 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 125000004429 atom Chemical group 0.000 description 1
- 150000001721 carbon Chemical group 0.000 description 1
- 125000004432 carbon atom Chemical group C* 0.000 description 1
- 239000011203 carbon fibre reinforced carbon Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000002071 nanotube Substances 0.000 description 1
- 230000005610 quantum mechanics Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6209—Protecting access to data via a platform, e.g. using keys or access control rules to a single file or object, e.g. in a secure envelope, encrypted and accessed using a key, or with access control rules appended to the object itself
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
- H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2107—File encryption
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Bioethics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种并行任务的执行方法和装置、存储介质及电子设备,包括:通过第一服务器将并行计算任务的第一文件上传至云存储设备,第一文件用于描述第一服务器获取到的并行计算任务;通过第一服务器中安装的第一应用以及第二文件调用批量计算接口,将并行计算任务提交至多个第二服务器;根据第二文件所指示的位置信息,将云存储设备中存储的第一文件映射至多个第二服务器,通过多个第二服务器中安装的第二应用并行地执行并行计算任务,得到执行结果,在多个第二服务器中的至少2个第二服务器执行对应的任务时,使用相同的公钥进行数据加密并传输,并使用相同的私钥进行数据解密。
Description
技术领域
本发明涉及计算机领域,具体而言,涉及一种并行任务的执行方法和装置、存储介质及电子设备。
背景技术
在量子化学,凝聚态物理,材料模拟领域等这种超算业务中,这类业务几乎全部由科研人员在国家或者高校科研院所的超算中心或者计算集群中完成。
但是,上述通过高校和科研单位的超算中心来计算超算业务的方式,由于资源非常有限,且一般不对外开放,使得普通个人用户或者企业用户无法用到这些计算资源。
针对相关技术中,普通个人用户或者企业用户无法通过高校和科研单位的超算中心来计算超算业务,因此,亟需提供一种能够为普通个人用户或者企业用户提供超算业务的有效解决方案。
发明内容
本发明实施例提供了一种并行任务的执行方法和装置、存储介质及电子设备,以至少解决相关技术中,普通个人用户或者企业用户无法通过高校和科研单位的超算中心来计算超算业务,通过本发明实施例可以提供一种能够为普通个人用户或者企业用户提供超算业务的有效解决方案。
根据本发明实施例的一个方面,提供了一种并行任务的执行方法,包括:通过第一服务器将并行计算任务的第一文件上传至云存储设备,其中,上述第一文件用于描述第一服务器获取到的上述并行计算任务;通过上述第一服务器中安装的第一应用以及第二文件调用批量计算接口,将上述并行计算任务提交至多个第二服务器,其中,上述第二文件用于表示上述第一文件在上述云存储设备中的位置信息,以及表示执行上述并行计算任务所需要的上述多个第二服务器的参数信息,上述第一应用为上述第一服务器的第一服务器镜像中的应用,上述批量计算接口为上述第一服务器与上述多个第二服务器之间的通信接口;根据上述第二文件所指示的上述位置信息,将上述云存储设备中存储的上述第一文件映射至上述多个第二服务器,通过上述多个第二服务器中安装的第二应用并行地执行上述并行计算任务,得到执行结果,其中,上述多个第二服务器中的每个第二服务器用于执行上述并行计算任务中的一个或多个任务,上述第二应用为上述第二服务器的第二服务器镜像中的应用,在上述多个第二服务器中的至少2个第二服务器执行对应的任务时,使用相同的公钥进行数据加密并传输,并使用相同的私钥进行数据解密。
根据本发明实施例的另一方面,还提供了一种并行任务的执行装置,包括:第一处理单元,用于通过第一服务器将并行计算任务的第一文件上传至云存储设备,其中,上述第一文件用于描述第一服务器获取到的上述并行计算任务;第二处理单元,用于通过上述第一服务器中安装的第一应用以及第二文件调用批量计算接口,将上述并行计算任务提交至多个第二服务器,其中,上述第二文件用于表示上述第一文件在上述云存储设备中的位置信息,以及表示执行上述并行计算任务所需要的上述多个第二服务器的参数信息,上述第一应用为上述第一服务器的第一服务器镜像中的应用,上述批量计算接口为上述第一服务器与上述多个第二服务器之间的通信接口;第三处理单元,用于根据上述第二文件所指示的上述位置信息,将上述云存储设备中存储的上述第一文件映射至上述多个第二服务器,通过上述多个第二服务器中安装的第二应用并行地执行上述并行计算任务,得到执行结果,其中,上述多个第二服务器中的每个第二服务器用于执行上述并行计算任务中的一个或多个任务,上述第二应用为上述第二服务器的第二服务器镜像中的应用,在上述多个第二服务器中的至少2个第二服务器执行对应的任务时,使用相同的公钥进行数据加密并传输,并使用相同的私钥进行数据解密。
根据本发明实施例的又一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述并行任务的执行方法的各种可选实现方式中提供的方法。
根据本发明实施例的又一方面,还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述并行任务的执行方法。
通过本发明,通过第一服务器将用于描述并行计算任务的第一文件上传至云存储设备,通过第一服务器上安装的第一应用以及第二文件来调用批量计算接口,并通过该接口将并行计算任务提交至多个第二服务器,其中,第二文件用来表示第一文件在云存储设备中的位置信息,以及用于执行并行计算任务所需要的多个第二服务器的参数信息,第一服务器中安装了第一服务器镜像中的第一应用,最后,根据第二文件指示的位置信息,将云存储设备中存储的第一文件映射到多个第二服务器,并通过第二服务器中安装的第二应用并行地执行并行计算任务,得到最终的执行结果,该多个第二服务器中的每个第二服务器可以执行并行计算任务中的一个或多个子任务,在上述多个第二服务器中的至少2个第二服务器执行对应的任务时使用相同的公钥进行数据加密并传输,并使用相同的私钥进行数据解密,第二服务器中安装了第二服务器镜像中的第二应用。相关技术中,当计算超算业务时,由于普通个人用户或者企业用户无法获得高校和科研单位的超算中心的资源,使得超算业务难以完成,通过上述方式,为普通个人用户或者企业用户提供了一种能够计算超算业务的有效解决方案,并且,通过多个第二服务器中的至少2个第二服务器执行对应的任务时使用相同的公钥进行数据加密并传输,并使用相同的私钥进行数据解密,使得至少2个第二服务器之间的数据通信过程,达到了一种类似于免密通信的方式,提高了通信效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种并行任务的执行方法的应用环境的示意图;
图2是根据本发明实施例的一种可选的并行任务的执行方法的流程示意图;
图3是根据本发明实施例的一种可选的确定服务节点镜像S和计算节点镜像C的流程图;
图4是根据本发明实施例的另一种可选的并行任务的执行方法的流程示意图;
图5是根据本发明实施例的一种可选的执行并行计算任务的框架示意图;
图6是根据本发明实施例的一种可选的扶手椅型碳纳米管的原子结构图;
图7是根据本发明实施例的一种可选的计算扶手椅型碳纳米管的第一性原理的流程示意图;
图8是根据本发明实施例的一种可选的扶手椅型(6,6)碳纳米管的能带结构;
图9是根据本发明实施例的一种可选的并行任务的执行装置的结构示意图;
图10是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面,提供了一种并行任务的执行方法。可选地,上述并行任务的执行方法可以但不限于应用于如图1所示的应用环境中。如图1所示,通过终端设备102发送并行计算任务,通过网络将并行计算任务发送给第一服务器104,第一服务器104接收到并行计算任务后,将并行计算任务的第一文件上传至云存储设备,通过上述第一服务器中安装的第一应用以及第二文件调用批量计算接口,将上述并行计算任务提交至多个第二服务器106,其中,上述第二文件用于表示上述第一文件在上述云存储设备中的位置信息,以及表示执行上述并行计算任务所需要的上述多个第二服务器的参数信息,上述第一应用为上述第一服务器的第一服务器镜像中的应用,上述批量计算接口为上述第一服务器与上述多个第二服务器之间的通信接口,在多个第二服务器106接收到并行计算任务后,通过上述多个第二服务器中安装的第二应用并行地执行上述并行计算任务,得到执行结果,其中,上述多个第二服务器中的每个第二服务器用于执行上述并行计算任务中的一个或多个任务,上述第二应用为上述第二服务器的第二服务器镜像中的应用,在上述多个第二服务器中的至少2个第二服务器执行对应的任务时,使用相同的公钥进行数据加密并传输,并使用相同的私钥进行数据解密。以上仅为一种示例,本申请实施例在此不作限定。
需要说明的是,上述服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
可选地,在本实施例中,上述终端设备可以是配置有目标客户端的终端设备,可以包括但不限于以下至少之一:手机(如Android手机、iOS手机等)、笔记本电脑、平板电脑、掌上电脑、MID(Mobile Internet Devices,移动互联网设备)、PAD、台式电脑、智能电视等。目标客户端可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端等。上述网络可以包括但不限于:有线网络,无线网络,其中,该有线网络包括:局域网、城域网和广域网,该无线网络包括:蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群,或者是云服务器。上述只是一种示例,本实施例对此不做任何限定。
需要说明的是,上述方法可涉及到云技术、云计算、云存储等。
其中,云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。
云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
云计算(cloud computing)指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关,也可是其他服务。云计算是网格计算(Grid Computing)、分布式计算(DistributedComputing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network StorageTechnologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。
随着互联网、实时数据流、连接设备多样化的发展,以及搜索服务、社会网络、移动商务和开放协作等需求的推动,云计算迅速发展起来。不同于以往的并行分布式计算,云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。
云存储(cloud storage)是在云计算概念上延伸和发展出来的一个新的概念,分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能,将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作,共同对外提供数据存储和业务访问功能的一个存储系统。
目前,存储系统的存储方法为:创建逻辑卷,在创建逻辑卷时,就为每个逻辑卷分配物理存储空间,该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。客户端在某一逻辑卷上存储数据,也就是将数据存储在文件系统上,文件系统将数据分成许多部分,每一部分是一个对象,对象不仅包含数据而且还包含数据标识(ID,ID entity)等额外的信息,文件系统将每个对象分别写入该逻辑卷的物理存储空间,且文件系统会记录每个对象的存储位置信息,从而当客户端请求访问数据时,文件系统能够根据每个对象的存储位置信息让客户端对数据进行访问。
存储系统为逻辑卷分配物理存储空间的过程,具体为:按照对存储于逻辑卷的对象的容量估量(该估量往往相对于实际要存储的对象的容量有很大余量)和独立冗余磁盘阵列(RAID,Redundant Array of Independent Disk)的组别,预先将物理存储空间划分成分条,一个逻辑卷可以理解为一个分条,从而为逻辑卷分配了物理存储空间。
可选地,上述方法可以应用于量子化学,凝聚态物理,化工,材料研发类,制药类和材料模拟领域等并行超算业务的场景中,本实施例在此不作任何限定。
可选地,在本实施例中,作为一种可选的实施方式,如图2所示,上述并行任务的执行方法的流程可以包括步骤:
步骤S202,通过第一服务器将并行计算任务的第一文件上传至云存储设备,其中,上述第一文件用于描述第一服务器获取到的上述并行计算任务。
步骤S204,通过上述第一服务器中安装的第一应用以及第二文件调用批量计算接口,将上述并行计算任务提交至多个第二服务器,其中,上述第二文件用于表示上述第一文件在上述云存储设备中的位置信息,以及表示执行上述并行计算任务所需要的上述多个第二服务器的参数信息,上述第一应用为上述第一服务器的第一服务器镜像中的应用,上述批量计算接口为上述第一服务器与上述多个第二服务器之间的通信接口。
步骤S206,根据上述第二文件所指示的上述位置信息,将上述云存储设备中存储的上述第一文件映射至上述多个第二服务器,通过上述多个第二服务器中安装的第二应用并行地执行上述并行计算任务,得到执行结果,其中,上述多个第二服务器中的每个第二服务器用于执行上述并行计算任务中的一个或多个任务,上述第二应用为上述第二服务器的第二服务器镜像中的应用,在上述多个第二服务器中的至少2个第二服务器执行对应的任务时,使用相同的公钥进行数据加密并传输,并使用相同的私钥进行数据解密。
可选地,用户可以通过目标终端向第一服务器发送并行计算任务,在第一服务器获取到并行计算任务后,将用于描述并行计算任务的第一文件上传至云存储设备进行存储,然后,通过第一服务器中安装的第一应用,以及根据第二文件中指示的能够执行并行计算任务的多个第二服务器的参数信息,来调用批量计算接口,通过该批量计算接口将并行计算任务提交至多个第二服务器,其中,第一服务器和第二服务器通过上述批量计算接口来通信,第一服务器中安装了第一服务器镜像中的第一应用。
在多个第二服务器接收到并行计算任务之后,根据第二文件指示的第一文件在云存储设备中的位置信息,将云存储设备中存储的第二文件映射到多个第二服务器,并通过该多个第二服务器中安装的第二应用来并行地执行该并行计算任务,在执行该并行计算任务的过程中,多个第二服务器中的每个第二服务器用于执行并行计算任务中的一个或多个任务,并且,上述多个第二服务器中的至少2个第二服务器执行对应的任务时,使用相同的公钥进行数据加密并传输,并使用相同的私钥进行数据解密。其中,通过第二服务器预先生成第二服务器镜像,第二服务器中安装了第二服务器镜像中的第二应用。
例如,设置多个第二服务器中的全部的第二服务器在执行对应的任务时,使用相同的密钥进行数据加密并传输,并使用相同的私钥进行数据解密,在这种情况下,由于全部的第二服务器均使用相同的密钥和相同的私钥,达到了一种类似于免密通信的效果,极大地减少了数据解密的时间,进而减少了数据传输的时间。或者
还可设置多个第二服务器中的部分的第二服务器在执行对应的任务时,使用相同的密钥进行数据加密并传输,并使用相同的私钥进行数据解密,在这种情况下,部分的第二服务器也会达到一种类似于免密通信的效果。
需要说明的是,第一服务器镜像中存储了第一应用的全部文件,在第一服务器中只需要安装一次第一应用即可,在第一服务器使用第一应用时,只需要启动第一应用即可;同理,第二服务器镜像中存储了第二应用的全部文件,在第二服务器中只需要安装一次第二应用即可,在第二服务器使用第二应用时,只需要启动第二应用即可。
通过本实施例,通过第一服务器将用于描述并行计算任务的第一文件上传至云存储设备,通过第一服务器上安装的第一应用以及第二文件来调用批量计算接口,并通过该接口将并行计算任务提交至多个第二服务器,其中,第二文件用来表示第一文件在云存储设备中的位置信息,以及用于执行并行计算任务所需要的多个第二服务器的参数信息,第一服务器中安装了第一应用,最后,根据第二文件指示的位置信息,将云存储设备中存储的第一文件映射到多个第二服务器,并通过第二服务器中安装的第二应用并行地执行并行计算任务,得到最终的执行结果,该多个第二服务器中的每个第二服务器可以执行并行计算任务中的一个或多个子任务,第二服务器中安装了第二应用。相关技术中,当计算超算业务时,由于普通个人用户或者企业用户无法获得高校和科研单位的超算中心的资源,使得超算业务难以完成,通过上述方式,为普通个人用户或者企业用户提供了一种能够计算超算业务的有效解决方案,并且,通过多个第二服务器中的至少2个第二服务器执行对应的任务时使用相同的公钥进行数据加密并传输,并使用相同的私钥进行数据解密,使得至少2个第二服务器之间的数据通信过程,达到了一种类似于免密通信的方式,提高了通信效率。
可选地,在本实施例中,上述通过上述多个第二服务器中安装的第二应用并行地执行上述并行计算任务,包括:通过上述多个第二服务器中的每个第二服务器执行上述并行计算任务中的一个或多个任务;其中,在上述多个第二服务器中的至少2个第二服务器执行对应的任务时使用相同的公钥进行数据加密并传输,并使用相同的私钥进行数据解密。
可选地,在通过多个第二服务器并行地执行并行计算任务时,可以使每个第二服务器执行上述并行计算任务中的一个或多个任务,并且使多个第二服务器中的全部的服务器并行同步执行。
其中,在上述多个第二服务器中的至少2个第二服务器执行对应的任务时,可以使该至少2个第二服务器使用相同的公钥进行数据加密并传输,并使用相同的私钥进行数据解密。
可选地,还可以使全部的第二服务器在执行对应的任务时,使全部的第二服务器使用相同的公钥进行数据加密并传输,并使用相同的私钥进行数据解密。
通过本实施例,通过使多个第二服务器中的至少2个服务器在执行任务时,使用相同的公钥和私钥,能够加快多个第二服务器之间数据通信的过程,提高了执行任务的效率。
可选地,在本实施例中,上述通过上述第一服务器中安装的第一应用以及第二文件调用批量计算接口,将上述并行计算任务提交至多个第二服务器,包括:通过上述第一服务器中的上述第一应用、以及上述第二文件所表示的上述多个第二服务器的参数信息调用上述批量计算接口,通过上述批量计算接口将上述并行计算任务提交至上述多个第二服务器,其中,上述第一应用用于调用上述批量计算接口。
可选地,可以通过第一服务中的第一应用,以及第二文件所表示的用来执行并行计算任务的多个第二服务器的参数信息,来调用批量计算接口,然后通过该批量计算接口将并行计算任务提交至多个第二服务器,其中,第一应用可以理解为一种云命令接口应用,该第一应用可以用于调用批量计算接口。或者,
在第一服务器的第一应用上运行自动化脚本,并根据第二文件所表示的用来执行并行计算任务的多个第二服务器的参数信息,来调用批量计算接口,然后通过该批量计算接口将并行计算任务提交至多个第二服务器,其中,上述自动化脚本用于提交上述并行计算任务。
通过本实施例,通过上述运行自动化脚本,或者云命令接口来调用批量计算接口的方式,达到提交并行计算任务的目的,提高了提交并行计算任务的多样性。
可选地,在本实施例中,上述第一应用为自动化脚本。
可选地,在第一应用为自动化脚本时,在上述第一服务器中运行自动化脚本,以及根据上述第二文件所表示的上述多个第二服务器的参数信息调用上述批量计算接口,通过上述批量计算接口将上述并行计算任务提交至上述多个第二服务器,其中,上述自动化脚本用于提交上述并行计算任务。
通过本实施例,可以通过自动化脚本的方式提交并行计算任务,自动化脚本运算速度快,操作命令简单,提高了工作效率。
可选地,在本实施例中,在上述通过上述第一服务器中安装的第一应用以及第二文件调用批量计算接口,将上述并行计算任务提交至多个第二服务器之前,上述方法还包括:根据上述并行计算任务的需求确定用于执行上述并行计算任务所需要的上述多个第二服务器的参数信息,其中,上述参数信息包括上述多个第二服务器的数量,和/或,上述多个第二服务器机型。
可选地,在提交并行计算任务之前,还需要确定出第二文件,可以通过并行计算任务的实际需求,来确定出执行并行计算任务所需要的多个第二服务器的数量,和/或,上述多个第二服务器机型。
通过本实施例,可以按照实际需求确定出上述参数信息,进而根据参数信息选择对应的多个第二服务器,通过这种按需分配第二服务器的方式,提高了执行并行计算任务的合理性。
可选地,在本实施例中,在上述通过上述多个第二服务器中安装的第二应用并行地执行上述并行计算任务,得到执行结果之前,上述方法还包括:在每个上述多个第二服务器中,发起启动命令,其中,上述启动命令用于指示每个上述多个第二服务器开始执行上述并行计算任务;在每个上述多个第二服务器获取到上述启动命令的情况下,使上述多个第二服务器中安装的上述第二应用开始并行地执行上述并行计算任务。
可选地,在执行并行计算任务之前,还需要在每个上述多个第二服务器中,发起启动命令,当每个上述多个第二服务器获取到上述启动命令时,即可以使上述多个第二服务器中安装的上述第二应用开始并行地执行上述并行计算任务。
可选地,在本实施例中,在上述得到执行结果之前,上述方法还包括:查询执行上述并行计算任务的上述多个第二服务器的任务状态;在上述多个第二服务器的任务状态均为完成状态的情况下,停止执行上述并行计算任务。
可选地,在得到执行结果之前,可以实时地查询每个第二服务器的任务状态,当每个第二服务器的任务状态均为完成状态时,表明每个第二服务器都执行完成了各自的任务,即表示并行计算任务执行完成,此时,停止执行该并行计算任务。
通过本实施例,查询任务状态的方式,可以确定出并行计算任务是否执行完成,有效的监督了并行计算任务的任务状态。
可选地,在本实施例中,在上述多个第二服务器的任务状态均为完成状态的情况下,停止执行上述并行计算任务之后,上述方法还包括:释放上述多个第二服务器使用的目标计算资源,其中,上述目标计算资源为用于执行上述并行计算任务的资源。
可选地,在并行计算任务执行完成之后,需要及时释放多个第二服务器用于执行并行计算任务的目标计算资源,由于使用第二服务器执行并行计算任务会产生一定的费用,通过及时释放目标计算资源的方式,能够使第二服务器停止产生费用,避免额外的费用,以及浪费第二服务器的计算资源。
可选地,在本实施例中,在上述通过上述多个第二服务器中安装的第二应用并行地执行上述并行计算任务,得到执行结果之后,上述方法还包括:通过目标终端将上述执行结果上传至上述云存储设备;或者,通过上述多个第二服务器将上述执行结果同步上传至上述云存储设备。
可选地,在执行完并行计算任务得到执行结果之后,还可以通过目标终端将该执行结果上传到云存储设备保存起来,或者,还可以通过多个第二服务器将并行执行结果同步上传到云存储设备。
可选地,在本实施例中,通过上述多个第二服务器中安装的第二应用并行地执行上述并行计算任务,得到执行结果之后,上述方法还包括:将上述执行结果从上述云存储设备下载至目标终端;或者将上述执行结果从上述云存储设备下载至上述第一服务器。
可选地,在通过上述多个第二服务器中安装的第二应用并行地执行上述并行计算任务,得到执行结果之后,还可以根据需求将执行结果下载到用户的目标终端上,使用户能够得到并行计算任务对应的执行结果;或者,将上述执行结果从上述云存储设备下载至上述第一服务器。
可选地,结合上述过程,以下说明并行计算任务的具体执行过程:
步骤1,将并行计算任务的输入文件(如上述第一文件)传到服务节点s(如上述第一服务器);
步骤2,用户登录服务节点s,可以使用命令行或者自动化脚本执行如下步骤来提交并行计算任务:
a)将输入文件(如上述第一文件)传到云存储。
b)调用批量计算(batch compute)API提交任务。批量计算(batch compute)API进行了如下操作:
1)根据并行计算任务的需求选择相应数量的运算节点(如上述多个第二服务器)。
2)每个运算节点(如上述第二服务器)内都有事先制备好的运算节点镜像(预安装了并行计算软件,并且配置好了免密通信);
3)输入输出跟云存储进行映射。
c)任务完成后,将结果下载到服务节点s。
通过本实施例,通过并行计算任务的提交,计算资源的弹性使用,节点间免密通信,提高了并行计算任务的执行效率。
以下介绍第一服务器镜像的制备过程:
可选地,在本实施例中,在上述通过上述多个第二服务器中安装的第二应用并行地执行上述并行计算任务,得到执行结果之前,上述方法还包括:通过第三服务器生成上述第一服务器镜像,其中,上述第三服务器用于生成上述第一服务器镜像。
可选地,在得到上述执行结果之前,需要通过一台普通的第三服务器预先生成上述第一服务器镜像。
可选地,在本实施例中,上述通过上述第三服务器生成上述第一服务器镜像,包括:登录上述第三服务器;在上述第三服务器上安装上述第一应用;生成目标公钥和目标私钥,将上述目标公钥和上述目标私钥存放在上述第三服务器的目标目录下,其中,上述第一服务器和上述第二服务器之间进行数据通信时,使用上述目标公钥进行加密,并使用上述目标私钥进行解密;通过上述第三服务器生成上述第一服务器镜像,其中,上述第一服务器镜像用于存储上述第一应用,上述第一服务器镜像中存储有上述目标目录;在上述通过上述第一服务器中安装的第一应用以及第二文件调用批量计算接口之前,上述方法还包括:在上述第一服务器中安装上述第一服务器镜像中的上述第一应用。
可选地,上述第三服务器是一台普通的服务器,用于制备第一服务器镜像。生成第一服务器镜像的具体过程如下:
首先,登录上述第三服务器;然后,在上述第三服务器上安装上述第一应用;生成目标公钥和目标私钥,并将上述目标公钥和上述目标私钥保存在目标目录下,当上述第一服务器和上述第二服务器之间存在数据通信的情况时,能够使第一服务器和上述第二服务器使用上述目标公钥进行加密,并使用上述目标私钥进行解密;最后,通过上述第三服务器生成上述第一服务器镜像。其中,第一服务器镜像用于存储第一应用。
通过上述方式可以生成第一服务器镜像,在上述通过上述第一服务器中安装的第一应用以及第二文件调用批量计算接口之前,需要在第一服务器中预先安装上述第一服务器镜像中的上述第一应用,且第一应用只需要在第一服务器中安装一次即可,不用每次都执行安装第一应用的步骤,在安装好第一应用之后,每次使用第一应用,只需要在第一服务器中启动该第一应用即可。
需要说明的是,由于第一服务器镜像中存储有上述目标目录,第二服务器镜像中同样存储有目标目录,目标目录中存储有目标公钥和目标私钥,第一应用和第二应用均使用了目标目录中的目标公钥和目标私钥,而第一服务器中安装了第一应用,第二服务器中安装了第二应用,使得第一服务器和第二服务器在通信过程中能够使用相同的目标公钥和目标私钥,使得密钥认证过程变得十分简单,提高了通信过程。其中,第二服务器镜像中存储目标目录的过程详见以下实施例。
通过本实施例,通过使用相同的目标公钥和目标私钥,在第一服务器和上述第二服务器的通信过程中,由于它们的密钥都相同,密钥认证就都会通过,就好像自己在跟自己通信,加快了通信过程。
以下介绍第二服务器镜像的制备过程:
可选地,在本实施例中,在上述通过上述多个第二服务器中安装的第二应用并行地执行上述并行计算任务,得到执行结果之前,上述方法还包括:通过第四服务器生成第二服务器镜像,其中,上述第四服务器用于生成上述第二服务器镜像。
可选地,在得到上述执行结果之前,需要通过一台普通的第四服务器预先生成上述第二服务器镜像。
可选地,在本实施例中,上述通过上述多个第二服务器生成多个第二服务器镜像,包括:登录上述第四服务器;在上述第四服务器上安装上述第二应用;将目标目录复制在上述第四服务器的根目录下,以使上述多个第二服务器之间进行数据通信使用的公钥和私钥为目标公钥和目标私钥,其中,上述目标目录与生成上述第一服务器镜像的第三服务器的目标目录相同,上述目标目录用于存放上述目标公钥和上述目标私钥,上述多个第二服务器之间进行数据通信时,使用上述目标公钥进行加密,并使用上述目标私钥进行解密;通过上述第四服务器生成上述第二服务器镜像,其中,上述第二服务器镜像用于存储上述第二应用,上述第二服务器镜像中存储有上述目标目录;在上述通过上述多个第二服务器中安装的第二应用并行地执行上述并行计算任务,得到执行结果之前,上述方法还包括:在上述多个第二服务器中安装上述第二服务器镜像中的上述第二应用。
可选地,上述第四服务器是一台普通的服务器,用于制备第二服务器镜像。生成第二服务器镜像的具体过程如下:
首先,登录上述第二服务器;然后,在上述第二服务器上安装上述第二应用;将目标目录复制在上述第四服务器的根目录下,该目标目录与生成第一服务器镜像的第三服务器的目标目录相同,且该目标目录中存储有目标公钥和目标私钥,当上述多个第二服务器之间存在数据通信的情况时,能够使多个第二服务器均使用上述目标公钥进行加密,并使用上述目标私钥进行解密;最后,通过上述第四服务器生成上述第二服务器镜像。
通过上述方式可以生成第二服务器镜像,在通过多个第二服务器中安装的第二应用并行地执行上述并行计算任务,得到执行结果之前,需要在多个第二服务器中预先安装上述第二服务器镜像中的上述第二应用,且第二应用只需要在多个第二服务器中安装一次即可,不用每次都执行安装第二应用的步骤,在安装好第二应用之后,每次使用第二应用,只需要在多个第二服务器中启动该第二应用即可。
通过本实施例,通过使用相同的目标公钥和目标私钥,在第二服务器和上述第二-服务器镜像彼此的通信过程中,由于它们的密钥都相同,密钥认证就都会通过,就好像自己在跟自己通信,加快了通信过程。
需要说明的是,传统技术方案,存在以下缺点:
1、在传统的超级计算(HPC)数据中心和自建的小规模并行计算集群中,计算资源没有虚拟化这一层,在资源使用上会造成资源浪费。
2、由于国内外的高校和科研单位的超算中心资源非常有限,一般不对外开放,使得普通个人用户或者企业用户无法用到这些计算资源。
3、在公有云上,例如AWS(一种能够提供云计算、存储、数据库、分析、应用程序和部署服务的平台),云服务商等都提供了多节点并行的弹性计算能力,但是并没有提供一个支持计算节点间免密通信(比如MPI)的接口服务方案。
为了解决上述问题,下面结合可选示例对并行任务的执行方法的流程进行说明。
需要说明的是,本实施例中涉及的专业术语如下:
1、跨语言的通讯协议(Message Passing Interface,简称MPI):用于编写并行计算程序,支持进程间点对点的通信和广播。
2、高性能计算(High Performance Computing,简称HPC):是指能够执行一般个人电脑无法处理的大资料量与高速运算的电脑,其规格与性能比个人电脑强大许多。
3、Cluster:多节点的计算集群。
4、第一性原理(First Principle),是一个计算物理或计算化学专业名词,广义的第一性原理计算指的是一切基于量子力学原理的计算,通过求解薛定谔方程得到系统的状态和性质。
5、云虚拟机(Cloud Virtual Machine,简称CVM)。
6、服务节点镜像S:用于部署在服务节点(CVM)上的虚拟机镜像,对应节点用s表示。
7、计算节点镜像C:用于部署在运算节点(CVM)上的虚拟机镜像,对应节点用c表示。
8、并行计算软件V:安装在计算节点镜像里的并行计算软件V,该类软件在多节点运算时需要节点间免密通信(比如MPI框架)。
9、tccli:Tencent Cloud Command Line Interface,腾讯云命令行接口的缩写。
10、coscmd:腾讯云存储cos的命令行接口工具的缩写。
11、ssh:Secure Shell安全外壳协议的缩写,它是一个加密的专为远程登录会话和其他网络服务提供的安全协议工具。
如图3所示,上述制作服务节点镜像S(如上述第一服务器镜像)和计算节点镜像C(如上述第二服务器镜像)的具体步骤如下:
步骤301,申请云账号,并登录云。
步骤302,起两台Linux操作系统的CVM。一台服务节点s(如上述第一服务器)用于制作服务节点镜像S,一台计算节点c(如上述第二服务器)用于制作计算节点镜像C。
步骤303,制作服务节点镜像S,具体过程如下:
a)登录服务节点s;
b)安装云命令行接口,对于腾讯云来说,可以是tccli和coscmd;
c)用ssh-keygen生成公钥和私钥,默认放在根目录的隐藏目录.ssh/下,即名为id_rsa(私钥)和id_rsa.pub(公钥)的两个文件,具体的命令操作如下:
(1)用这个命令在当前目录生成名为id_rsa的私钥文件和名为id_rsa.pub的公钥文件:ssh-keygen-t rsa
(2)上面这个命令生成的密钥长度为2048,如果你对安全性要求比较高可以在上述命令中加参数-b 4096指定4096位的长度;-t表示密钥类型是rsa
(3)将私钥和公钥文件复制到根目录的隐藏目录.ssh/下;
d)用这台服务器s生成一个服务节点镜像S。
步骤304,制作计算节点镜像C,具体过程如下:
a)登录计算节点c;
b)安装待运行的并行计算软件V以及其所依赖的所有库(比如MPI等等);
可选地,并行计算软件可以不制作成虚拟机镜像,而制作成docker镜像。计算节点的虚拟机起来以后,在计算节点上用docker去拉取计算软件镜像,然后用docker run运行程序。
c)把服务节点s根目录下的.ssh/目录安全复制到计算节点c的根目录下;
d)用这台服务器c生成一个计算节点镜像C。
步骤305,关闭并销毁服务节点s和计算节点c,停止计费。需要的服务节点镜像S和计算节点镜像C就都做好了。
可选地,可以设置镜像里的私钥和公钥都相同。当使用这些镜像分别起的服务节点s和所有运算节点c都自然的具有相同的私钥和公钥。在他们彼此的通信过程中(如s-to-c,c-to-s,c-to-c),由于所有节点的密钥都相同,密钥认证都会通过,好像自己在跟自己通信,极大地提高了通信速度。
如图4所示,并行任务的执行方法的具体流程如下:
步骤S401,建立服务节点。
可选地,可以利用上述步骤中做好的服务节点镜像S,起一台CVM即可;或者,在上面步骤S305时不要关闭/销毁服务节点s,服务节点s自然就可以当作服务节点使用。
可选地,可以按照如图5所示的框架执行并行计算任务。
其中,图5中的虚线箭头表示在起该节点时使用相应的已经制备好的镜像(服务节点镜像里安装了tccli,coscmd;运算节点镜像里安装了并行计算的软件;镜像都配置了免密通信)。
步骤S402,提交并行计算任务。
(1)登录服务节点s;
(2)将运行任务需要的输入文件上传至云存储,用云命令接口(coscmd)将它上传(这一步也可以在云网页上操作,但是建议用命令行直接可以脚本化、自动化);
(3)用云命令行接口(tccli)通过调用batch compute批量计算接口提交基于计算节点镜像C的并行计算任务。提交后得到批量计算接口batch compute返回的任务ID。
其中,批量计算对运算节点的使用和调度是弹性的,需要多少申请多少多少。
需要说明的是,上面第(2)、(3)步可以用一个脚本解决,使得整个提交运行的过程就用一行命令即可。
步骤S403,通过运算节点执行并行计算任务。
可选地,各个运算节点之间有数据通信,且配置了免密通信,运算节点的输入输出的结果放在云存储上。
步骤S404,查询任务状态。
可选地,可以用命令行调用批量计算接口batch compute查询任务API,提供提交任务时得到的任务ID,即可查到任务状态。或者直接到云的批量计算接口batch compute任务网页查看。
步骤S405,并行计算任务完成,终止并行计算任务。
可选地,可以使用用命令行调用batch compute终止任务API,提供提交任务时得到的任务ID,即可终止任务,或者直接到云的batch compute任务网页终止任务。任务终止后,计算资源自动销毁,退还给资源池,并停止计算计费。
通过本实施例,由于本发明中的方法是搭建在公有云上的,一方面所有注册付费用户都会用可以进行并行计算,而且可以用到公有云提供的一切其他资源(infrastructure)和便利的SaaS服务,另一方面,在制作镜像时解决了节点间免密通信的问题,使得搭建的接口服务可以支持在公有云上进行比如MPI框架的并行计算,提高了并行计算的效率。
以下介绍一个通过本发明的批量计算接口服务提交并行计算任务的例子:
如图6所示,为是扶手椅型碳纳米管的原子结构图。其中,扶手椅型(n,n)碳纳米管原子结构。这个网络中每个节点代表一个碳原子,每一个边代表一个碳跟碳形成的化学键。结合图6,上述并行计算任务可以为对纳米碳管中的一个(6,6)型碳管进行第一性原理计算。
如图7所示,对这类纳米碳管中的一个(6,6)型碳管进行第一性原理计算的过程如下:
步骤701,对这类纳米碳管中的一个(6,6)型碳管进行了第一性原理计算,提交对应的并行计算任务:
(1)用预先制备的服务节点镜像S,起一个服务节点s;
(2)准备计算需要的若干输入文件,其中包括参数文件,原子的坐标文件,描述碳原子之间相互作用势的文件等,通过scp或者FTP软件上传到服务节点s上;
(3)在服务节点s上运行我们开发的自动化脚本提交任务,提交任务的步骤如下:
S1,将若干输入文件上传到指定的云存储桶(cos)。
S2,准备好调用batch compute API提交任务所需要的json文件(如上述第二文件),该文件可以包括如下参数:
a)并行计算任务需要的运算节点的数量,以及并行计算任务需要的运算节点的机型(CPU和内存);
b)预先制备好的运算节点镜像C的位置和ID;
c)上传到云存储桶(cos)的输入文件的位置;
d)在运算节点上启动并行计算任务的命令。
步骤702,启动批量计算接口batch compute API提交任务,批量计算batchcompute后端操作如下:
a)起相应数量相应机型的CVM作为运算节点c,并载入预先制备好的运算节点镜像C(根据指定的镜像ID得到该运算节点镜像C);
b)把云存储桶输入文件的位置映射到运算节点;
c)选择一个运算节点,启动任务;
d)任务启动,向服务节点返回一个JobID;
e)计算任务并行运行中,运算节点c之间存在大量通信。
步骤703,脚本持续(例如每10秒)向批量计算接口batch compute API发起查询命令,查询任务JobID状态。直到任务JobID的状态变为成功SUCCESS或者FAILURE,表明任务结束。
步骤704,脚本通过coscmd API从云存储桶上把运算结果和对应文件下载到服务节点s。
步骤705,任务运行时所有的运算节点c在任务结束后自动由批量计算接口batchcompute销毁退还,停止计算计费。
步骤706,并行计算任务在服务节点s计算完成后,从服务节点s上把计算结果数据下载到台式机或者其他终端上进行数据处理。
通过计算得到图6中纳米碳管中的一个(6,6)型碳管第一性原理计算的结果,得到如图8所示的扶手椅型(6,6)碳纳米管的能带结构的电子能带结构图,表明它是一种金属性质的纳米管。
通过上述批量计算接口技术,可以直接在公有云上赋能广大需要使用并行计算来进行理论模拟类研究的专业工作者和科研人员。在效益方面,云服务提供商通过这个接口向并行计算用户租售丰富的云计算算力和资源,也会有相应的收入。超算作为一个服务类产品,属于新基建大类,是一种长期的进步趋势。
通过本实施例,将安装有计算或模拟软件的免密通信镜像,云计算资源和存储有机结合起来,实现了并行计算任务的提交,计算资源的弹性使用,节点间免密通信,任务结束资源自动销毁(退还给资源池),避免资源浪费。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的又一方面,还提供了一种并行任务的执行装置,如图9所示,该装置包括:
第一处理单元902,用于将并行计算任务的第一文件上传至云存储设备,其中,上述第一文件用于描述第一服务器获取到的上述并行计算任务;
第二处理单元904,用于通过上述第一服务器中安装的第一应用以及第二文件调用批量计算接口,将上述并行计算任务提交至多个第二服务器,其中,上述第二文件用于表示上述第一文件在上述云存储设备中的位置信息,以及表示执行上述并行计算任务所需要的上述多个第二服务器的参数信息,上述第一应用为上述第一服务器的第一服务器镜像中的应用,上述批量计算接口为上述第一服务器与上述多个第二服务器之间的通信接口;
第三处理单元906,用于根据上述第二文件所指示的上述位置信息,将上述云存储设备中存储的上述第一文件映射至上述多个第二服务器,通过上述多个第二服务器中安装的第二应用并行地执行上述并行计算任务,得到执行结果,其中,上述多个第二服务器中的每个第二服务器用于执行上述并行计算任务中的一个或多个任务,上述第二应用为上述第二服务器的第二服务器镜像中的应用,在上述多个第二服务器中的至少2个第二服务器执行对应的任务时使用相同的公钥进行数据加密并传输,并使用相同的私钥进行数据解密。
通过本实施例,通过第一服务器将用于描述并行计算任务的第一文件上传至云存储设备,通过第一服务器上安装的第一应用以及第二文件来调用批量计算接口,并通过该接口将并行计算任务提交至多个第二服务器,其中,第二文件用来表示第一文件在云存储设备中的位置信息,以及用于执行并行计算任务所需要的多个第二服务器的参数信息,第一服务器中安装了第一服务器镜像中的第一应用,最后,根据第二文件指示的位置信息,将云存储设备中存储的第一文件映射到多个第二服务器,并通过第二服务器中安装的第二应用并行地执行并行计算任务,得到最终的执行结果,该多个第二服务器中的每个第二服务器可以执行并行计算任务中的一个或多个子任务,在上述多个第二服务器中的至少2个第二服务器执行对应的任务时使用相同的公钥进行数据加密并传输,并使用相同的私钥进行数据解密,第二服务器中安装了第二服务器镜像中的第二应用。相关技术中,当计算超算业务时,由于普通个人用户或者企业用户无法获得高校和科研单位的超算中心的资源,使得超算业务难以完成,通过上述方式,为普通个人用户或者企业用户提供了一种能够计算超算业务的有效解决方案,并且,通过多个第二服务器中的至少2个第二服务器执行对应的任务时使用相同的公钥进行数据加密并传输,并使用相同的私钥进行数据解密,使得至少2个第二服务器之间的数据通信过程,达到了一种类似于免密通信的方式,提高了通信效率。
作为一种可选的技术方案,上述第三处理单元,还用于通过上述多个第二服务器中的每个第二服务器执行上述并行计算任务中的一个或多个任务。
作为一种可选的技术方案,上述第二处理单元,还用于通过上述第一服务器中的上述第一应用、以及上述第二文件所表示的上述多个第二服务器的参数信息调用上述批量计算接口,通过上述批量计算接口将上述并行计算任务提交至上述多个第二服务器,其中,上述第一应用用于调用上述批量计算接口。
作为一种可选的技术方案,上述第一应用为自动化脚本。
作为一种可选的技术方案,上述装置还包括:确定单元,用于根据上述并行计算任务的需求确定用于执行上述并行计算任务所需要的上述多个第二服务器的参数信息,其中,上述参数信息包括上述多个第二服务器的数量,和/或,上述多个第二服务器机型。
作为一种可选的技术方案,上述装置还包括:第四处理单元,用于在每个上述多个第二服务器中,发起启动命令,其中,上述启动命令用于指示每个上述多个第二服务器开始执行上述并行计算任务;在每个上述多个第二服务器获取到上述启动命令的情况下,使上述多个第二服务器中安装的上述第二应用开始并行地执行上述并行计算任务。
作为一种可选的技术方案,上述装置还包括:第五处理单元,用于查询执行上述并行计算任务的上述多个第二服务器的任务状态;在上述多个第二服务器的任务状态均为完成状态的情况下,停止执行上述并行计算任务。
作为一种可选的技术方案,上述装置还包括:第六处理单元,用于释放上述多个第二服务器使用的目标计算资源,其中,上述目标计算资源为用于执行上述并行计算任务的资源。
作为一种可选的技术方案,上述装置还包括:第七处理单元,用于通过目标终端将上述执行结果上传至上述云存储设备;或者,通过上述多个第二服务器将上述执行结果同步上传至上述云存储设备。
作为一种可选的技术方案,上述装置还包括:下载单元,用于将上述执行结果从上述云存储设备下载至目标终端;或者,将上述执行结果从上述云存储设备下载至上述第一服务器。
作为一种可选的技术方案,上述装置还包括:第一生成单元,用于通过第三服务器生成上述第一服务器镜像,其中,上述第三服务器用于生成上述第一服务器镜像。
作为一种可选的技术方案,上述第一生成单元,包括:第一登录模块,用于登录上述第三服务器;第一安装模块,用于在上述第三服务器上安装上述第一应用;第一处理模块,用于生成目标公钥和目标私钥,将上述目标公钥和上述目标私钥存放在上述第三服务器的目标目录下,其中,上述第一服务器和上述第二服务器之间进行数据通信时,使用上述目标公钥进行加密,并使用上述目标私钥进行解密;第二处理模块,用于通过上述第三服务器生成上述第一服务器镜像,其中,上述第一服务器镜像用于存储上述第一应用,上述第一服务器镜像中存储有上述目标目录;上述装置还包括:第八处理单元,用于在上述第一服务器中安装上述第一服务器镜像中的上述第一应用。
作为一种可选的技术方案,上述装置还包括:第二生成单元,用于通过第四服务器生成第二服务器镜像,其中,上述第四服务器用于生成上述第二服务器镜像。
作为一种可选的技术方案,上述第二生成单元,包括:第二登录模块,,用于登录上述第四服务器;第二安装模块,用于在上述第四服务器上安装上述第二应用;第三处理模块,用于将目标目录复制在上述第四服务器的根目录下,以使上述多个第二服务器之间进行数据通信使用的公钥和私钥为目标公钥和目标私钥,其中,上述目标目录与生成上述第一服务器镜像的第三服务器的目标目录相同,上述目标目录用于存放上述目标公钥和上述目标私钥,上述多个第二服务器之间进行数据通信时,使用上述目标公钥进行加密,并使用上述目标私钥进行解密;第四处理模块,用于通过上述第四服务器生成上述第二服务器镜像,其中,上述第二服务器镜像用于存储上述第二应用,上述第二服务器镜像中存储有上述目标目录;上述装置还包括:第九处理单元,用于在上述多个第二服务器中安装上述第二服务器镜像中的上述第二应用。
根据本发明的实施例的又一方面,还提供了一种计算机可读的存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,通过第一服务器将并行计算任务的第一文件上传至云存储设备,其中,上述第一文件用于描述第一服务器获取到的上述并行计算任务;
S2,通过上述第一服务器中安装的第一应用以及第二文件调用批量计算接口,将上述并行计算任务提交至多个第二服务器,其中,上述第二文件用于表示上述第一文件在上述云存储设备中的位置信息,以及表示执行上述并行计算任务所需要的上述多个第二服务器的参数信息,上述第一应用为上述第一服务器的第一服务器镜像中的应用,上述批量计算接口为上述第一服务器与上述多个第二服务器之间的通信接口;
S3,根据上述第二文件所指示的上述位置信息,将上述云存储设备中存储的上述第一文件映射至上述多个第二服务器,通过上述多个第二服务器中安装的第二应用并行地执行上述并行计算任务,得到执行结果,其中,上述多个第二服务器中的每个第二服务器用于执行上述并行计算任务中的一个或多个任务,上述第二应用为上述第二服务器的第二服务器镜像中的应用,在上述多个第二服务器中的至少2个第二服务器执行对应的任务时使用相同的公钥进行数据加密并传输,并使用相同的私钥进行数据解密。
根据本发明实施例的又一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述并行任务的执行方法的各种可选实现方式中提供的方法。
可选地,在本实施例中,上述计算机程序产品或计算机程序可以被设置为存储用于执行以下步骤的计算机程序:
S1,通过第一服务器将并行计算任务的第一文件上传至云存储设备,其中,上述第一文件用于描述第一服务器获取到的上述并行计算任务;
S2,通过上述第一服务器中安装的第一应用以及第二文件调用批量计算接口,将上述并行计算任务提交至多个第二服务器,其中,上述第二文件用于表示上述第一文件在上述云存储设备中的位置信息,以及表示执行上述并行计算任务所需要的上述多个第二服务器的参数信息,上述第一应用为上述第一服务器的第一服务器镜像中的应用,上述批量计算接口为上述第一服务器与上述多个第二服务器之间的通信接口;
S3,根据上述第二文件所指示的上述位置信息,将上述云存储设备中存储的上述第一文件映射至上述多个第二服务器,通过上述多个第二服务器中安装的第二应用并行地执行上述并行计算任务,得到执行结果,其中,上述多个第二服务器中的每个第二服务器用于执行上述并行计算任务中的一个或多个任务,上述第二应用为上述第二服务器的第二服务器镜像中的应用,在上述多个第二服务器中的至少2个第二服务器执行对应的任务时使用相同的公钥进行数据加密并传输,并使用相同的私钥进行数据解密。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来命令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随机存取器)、磁盘或光盘等。
根据本发明实施例的又一个方面,还提供了一种用于实施上述并行任务的执行方法的电子设备,该电子设备可以是图1所示的终端设备或服务器。本实施例以该电子设备为终端设备为例来说明。如图9所示,该电子设备包括存储器902和处理器904,该存储器902中存储有计算机程序,该处理器904被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,通过第一服务器将并行计算任务的第一文件上传至云存储设备,其中,上述第一文件用于描述第一服务器获取到的上述并行计算任务;
S2,通过上述第一服务器中安装的第一应用以及第二文件调用批量计算接口,将上述并行计算任务提交至多个第二服务器,其中,上述第二文件用于表示上述第一文件在上述云存储设备中的位置信息,以及表示执行上述并行计算任务所需要的上述多个第二服务器的参数信息,上述第一应用为上述第一服务器的第一服务器镜像中的应用,上述批量计算接口为上述第一服务器与上述多个第二服务器之间的通信接口;
S3,根据上述第二文件所指示的上述位置信息,将上述云存储设备中存储的上述第一文件映射至上述多个第二服务器,通过上述多个第二服务器中安装的第二应用并行地执行上述并行计算任务,得到执行结果,其中,上述多个第二服务器中的每个第二服务器用于执行上述并行计算任务中的一个或多个任务,上述第二应用为上述第二服务器的第二服务器镜像中的应用,在上述多个第二服务器中的至少2个第二服务器执行对应的任务时使用相同的公钥进行数据加密并传输,并使用相同的私钥进行数据解密。
可选地,本领域普通技术人员可以理解,图10所示的结构仅为示意,其并不对上述电子设备的结构造成限定。例如,电子设备还可包括比图10中所示更多或者更少的组件(如网络接口等),或者具有与图10所示不同的配置。
其中,存储器1002可用于存储软件程序以及模块,如本发明实施例中的并行任务的执行方法和装置对应的程序命令/模块,处理器1004通过运行存储在存储器1002内的软件程序以及模块,从而执行各种功能应用以及OCR标注,即实现上述的并行任务的执行方法。存储器1002可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1002可进一步包括相对于处理器1004远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。作为一种示例,如图10所示,上述存储器1002中可以但不限于包括上述并行任务的执行装置中的第一处理单元902,第二处理单元904、第三处理单元906。此外,还可以包括但不限于上述并行任务的执行装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1006包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1006为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子设备还包括:显示器1008;和连接总线1010,用于连接上述电子设备中的各个模块部件。
在其他实施例中,上述终端设备或者服务器可以是一个分布式系统中的一个节点,其中,该分布式系统可以为区块链系统,该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中,节点之间可以组成点对点(P2P,Peer To Peer)网络,任意形式的计算设备,比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来命令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干命令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上上述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (15)
1.一种并行任务的执行方法,其特征在于,包括:
通过第一服务器将并行计算任务的第一文件上传至云存储设备,其中,所述第一文件用于描述第一服务器获取到的所述并行计算任务;
通过所述第一服务器中安装的第一应用以及第二文件调用批量计算接口,将所述并行计算任务提交至多个第二服务器,其中,所述第二文件用于表示所述第一文件在所述云存储设备中的位置信息,以及表示执行所述并行计算任务所需要的所述多个第二服务器的参数信息,所述第一应用为所述第一服务器的第一服务器镜像中的应用,所述批量计算接口为所述第一服务器与所述多个第二服务器之间的通信接口;
根据所述第二文件所指示的所述位置信息,将所述云存储设备中存储的所述第一文件映射至所述多个第二服务器,通过所述多个第二服务器中安装的第二应用并行地执行所述并行计算任务,得到执行结果,其中,所述多个第二服务器中的每个第二服务器用于执行所述并行计算任务中的一个或多个任务,所述第二应用为所述第二服务器的第二服务器镜像中的应用,在所述多个第二服务器中的至少2个第二服务器执行对应的任务时,使用相同的公钥进行数据加密并传输,并使用相同的私钥进行数据解密。
2.根据权利要求1所述的方法,其特征在于,所述通过所述多个第二服务器中安装的第二应用并行地执行所述并行计算任务,包括:
通过所述多个第二服务器中的每个第二服务器执行所述并行计算任务中的一个或多个任务。
3.根据权利要求1所述的方法,其特征在于,所述通过所述第一服务器中安装的第一应用以及第二文件调用批量计算接口,将所述并行计算任务提交至多个第二服务器,包括:
通过所述第一服务器中的所述第一应用、以及所述第二文件所表示的所述多个第二服务器的参数信息调用所述批量计算接口,通过所述批量计算接口将所述并行计算任务提交至所述多个第二服务器,其中,所述第一应用用于调用所述批量计算接口。
4.根据权利要求1所述的方法,其特征在于,在所述通过所述第一服务器中安装的第一应用以及第二文件调用批量计算接口,将所述并行计算任务提交至多个第二服务器之前,所述方法还包括:
根据所述并行计算任务的需求确定用于执行所述并行计算任务所需要的所述多个第二服务器的参数信息,其中,所述参数信息包括所述多个第二服务器的数量,和/或,所述多个第二服务器机型。
5.根据权利要求1所述的方法,其特征在于,在所述通过所述多个第二服务器中安装的第二应用并行地执行所述并行计算任务,得到执行结果之前,所述方法还包括:
在每个所述多个第二服务器中,发起启动命令,其中,所述启动命令用于指示每个所述多个第二服务器开始执行所述并行计算任务;
在每个所述多个第二服务器获取到所述启动命令的情况下,使所述多个第二服务器中安装的所述第二应用开始并行地执行所述并行计算任务。
6.根据权利要求1所述的方法,其特征在于,在所述得到执行结果之前,所述方法还包括:
查询执行所述并行计算任务的所述多个第二服务器的任务状态;
在所述多个第二服务器的任务状态均为完成状态的情况下,停止执行所述并行计算任务。
7.根据权利要求6所述的方法,其特征在于,在所述多个第二服务器的任务状态均为完成状态的情况下,停止执行所述并行计算任务之后,所述方法还包括:
释放所述多个第二服务器使用的目标计算资源,其中,所述目标计算资源为用于执行所述并行计算任务的资源。
8.根据权利要求1所述的方法,其特征在于,在所述通过所述多个第二服务器中安装的第二应用并行地执行所述并行计算任务,得到执行结果之后,所述方法还包括:
通过目标终端将所述执行结果上传至所述云存储设备;或者
通过所述多个第二服务器将所述执行结果同步上传至所述云存储设备。
9.根据权利要求1至8任一项中所述的方法,其特征在于,在所述通过所述多个第二服务器中安装的第二应用并行地执行所述并行计算任务,得到执行结果之前,所述方法还包括:
通过第三服务器生成所述第一服务器镜像,其中,所述第三服务器用于生成所述第一服务器镜像。
10.根据权利要求9所述的方法,其特征在于,所述通过所述第三服务器生成所述第一服务器镜像,包括:
登录所述第三服务器;
在所述第三服务器上安装所述第一应用;
生成目标公钥和目标私钥,将所述目标公钥和所述目标私钥存放在所述第三服务器的目标目录下,其中,所述第一服务器和所述第二服务器之间进行数据通信时,使用所述目标公钥进行加密,并使用所述目标私钥进行解密;
通过所述第三服务器生成所述第一服务器镜像,其中,所述第一服务器镜像用于存储所述第一应用,所述第一服务器镜像中存储有所述目标目录;
在所述通过所述第一服务器中安装的第一应用以及第二文件调用批量计算接口之前,所述方法还包括:
在所述第一服务器中安装所述第一服务器镜像中的所述第一应用。
11.根据权利要求1至8任一项中所述的方法,其特征在于,在所述通过所述多个第二服务器中安装的第二应用并行地执行所述并行计算任务,得到执行结果之前,所述方法还包括:
通过第四服务器生成第二服务器镜像,其中,所述第四服务器用于生成所述第二服务器镜像。
12.根据权利要求11所述的方法,其特征在于,所述通过第四服务器生成第二服务器镜像,包括:
登录所述第四服务器;
在所述第四服务器上安装所述第二应用;
将目标目录复制在所述第四服务器的根目录下,以使所述多个第二服务器之间进行数据通信使用的公钥和私钥为目标公钥和目标私钥,其中,所述目标目录与生成所述第一服务器镜像的第三服务器的目标目录相同,所述目标目录用于存放所述目标公钥和所述目标私钥,所述多个第二服务器之间进行数据通信时,使用所述目标公钥进行加密,并使用所述目标私钥进行解密;
通过所述第四服务器生成所述第二服务器镜像,其中,所述第二服务器镜像用于存储所述第二应用,所述第二服务器镜像中存储有所述目标目录;
在所述通过所述多个第二服务器中安装的第二应用并行地执行所述并行计算任务,得到执行结果之前,所述方法还包括:
在所述多个第二服务器中安装所述第二服务器镜像中的所述第二应用。
13.一种并行任务的执行装置,其特征在于,包括:
第二处理单元,用于通过第一服务器将并行计算任务的第一文件上传至云存储设备,其中,所述第一文件用于描述第一服务器获取到的所述并行计算任务;
第二处理单元,用于通过所述第一服务器中安装的第一应用以及第二文件调用批量计算接口,将所述并行计算任务提交至多个第二服务器,其中,所述第二文件用于表示所述第一文件在所述云存储设备中的位置信息,以及表示执行所述并行计算任务所需要的所述多个第二服务器的参数信息,所述第一应用为所述第一服务器的第一服务器镜像中的应用,所述批量计算接口为所述第一服务器与所述多个第二服务器之间的通信接口;
第三处理单元,用于根据所述第二文件所指示的所述位置信息,将所述云存储设备中存储的所述第一文件映射至所述多个第二服务器,通过所述多个第二服务器中安装的第二应用并行地执行所述并行计算任务,得到执行结果,其中,所述多个第二服务器中的每个第二服务器用于执行所述并行计算任务中的一个或多个任务,所述第二应用为所述第二服务器的第二服务器镜像中的应用,在所述多个第二服务器中的至少2个第二服务器执行对应的任务时,使用相同的公钥进行数据加密并传输,并使用相同的私钥进行数据解密。
14.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至12任一项中所述的方法。
15.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至12任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010828030.7A CN111898162B (zh) | 2020-08-17 | 2020-08-17 | 并行任务的执行方法和装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010828030.7A CN111898162B (zh) | 2020-08-17 | 2020-08-17 | 并行任务的执行方法和装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111898162A true CN111898162A (zh) | 2020-11-06 |
CN111898162B CN111898162B (zh) | 2021-05-25 |
Family
ID=73229647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010828030.7A Active CN111898162B (zh) | 2020-08-17 | 2020-08-17 | 并行任务的执行方法和装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111898162B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113449829A (zh) * | 2021-06-25 | 2021-09-28 | 未鲲(上海)科技服务有限公司 | 基于光学字符识别技术的数据传输方法及相关装置 |
CN117459285A (zh) * | 2023-11-02 | 2024-01-26 | 北京光润通科技发展有限公司 | 一种网络链路层数据保护方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103941662A (zh) * | 2014-03-19 | 2014-07-23 | 华存数据信息技术有限公司 | 一种基于云计算的任务调度系统和调度方法 |
CN106375373A (zh) * | 2016-08-24 | 2017-02-01 | 广西小草信息产业有限责任公司 | 一种基于动态云节点的任务分解方法和系统 |
CN108062254A (zh) * | 2017-12-12 | 2018-05-22 | 腾讯科技(深圳)有限公司 | 作业处理方法、装置、存储介质及设备 |
CN110209484A (zh) * | 2019-05-30 | 2019-09-06 | 华南理工大学 | 基于多云和安全映射的可信云任务调度系统及方法 |
-
2020
- 2020-08-17 CN CN202010828030.7A patent/CN111898162B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103941662A (zh) * | 2014-03-19 | 2014-07-23 | 华存数据信息技术有限公司 | 一种基于云计算的任务调度系统和调度方法 |
CN106375373A (zh) * | 2016-08-24 | 2017-02-01 | 广西小草信息产业有限责任公司 | 一种基于动态云节点的任务分解方法和系统 |
CN108062254A (zh) * | 2017-12-12 | 2018-05-22 | 腾讯科技(深圳)有限公司 | 作业处理方法、装置、存储介质及设备 |
CN110209484A (zh) * | 2019-05-30 | 2019-09-06 | 华南理工大学 | 基于多云和安全映射的可信云任务调度系统及方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113449829A (zh) * | 2021-06-25 | 2021-09-28 | 未鲲(上海)科技服务有限公司 | 基于光学字符识别技术的数据传输方法及相关装置 |
CN117459285A (zh) * | 2023-11-02 | 2024-01-26 | 北京光润通科技发展有限公司 | 一种网络链路层数据保护方法及系统 |
CN117459285B (zh) * | 2023-11-02 | 2024-09-27 | 北京光润通科技发展有限公司 | 一种网络链路层数据保护方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111898162B (zh) | 2021-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112119374B (zh) | 使用替代服务器名称选择性地提供相互传输层安全 | |
Petcu et al. | Experiences in building a mOSAIC of clouds | |
Yangui et al. | CompatibleOne: The open source cloud broker | |
CN112799789A (zh) | 一种节点集群管理方法、装置、设备及存储介质 | |
US20170171026A1 (en) | Configuring a cloud from aggregate declarative configuration data | |
CN111212116A (zh) | 一种基于容器云的高性能计算集群创建方法和系统 | |
CN111625496B (zh) | 分布式文件系统在虚拟机环境下的部署方法、装置及设备 | |
US11996977B2 (en) | System and method for automated information technology services management | |
CN111898162B (zh) | 并行任务的执行方法和装置、存储介质及电子设备 | |
CN111124617B (zh) | 区块链系统的创建方法和装置、存储介质及电子装置 | |
He et al. | Block-stream as a service: A more secure, nimble, and dynamically balanced cloud service model for ambient computing | |
CN115349117A (zh) | 用于多租户无服务器环境的多级高速缓存网格系统 | |
CN111367804A (zh) | 基于云计算及网络编程实现前端协作调试的方法 | |
JP2023554503A (ja) | コンテナベース環境のための統合型認証 | |
CN114138898A (zh) | Smg-vme-afs可迭代分布式存储系统 | |
Iyer et al. | Extending android application programming framework for seamless cloud integration | |
US9537931B2 (en) | Dynamic object oriented remote instantiation | |
Mohamed et al. | Automatic generation of distributed run-time infrastructure for internet of things | |
CN114745380B (zh) | 基于服务网格的跨私网多集群管理方法及装置 | |
Xiong et al. | A novel resource management method of providing operating system as a service for mobile transparent computing | |
Hao | Edge computing on low availability devices with K3S in a smart home IoT system | |
Berthold et al. | A principled approach to grid middleware: Status report on the minimum intrusion grid | |
Mendez et al. | e-clouds: Scientific computing as a service | |
Lee et al. | Multicast and customized deployment of large-scale operating systems | |
CN110768855A (zh) | 链路化性能测试的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |