CN109491786A - 一种基于云平台的任务处理方法和装置 - Google Patents

一种基于云平台的任务处理方法和装置 Download PDF

Info

Publication number
CN109491786A
CN109491786A CN201811292034.7A CN201811292034A CN109491786A CN 109491786 A CN109491786 A CN 109491786A CN 201811292034 A CN201811292034 A CN 201811292034A CN 109491786 A CN109491786 A CN 109491786A
Authority
CN
China
Prior art keywords
destination node
information
scan data
client database
scan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811292034.7A
Other languages
English (en)
Inventor
王倩男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201811292034.7A priority Critical patent/CN109491786A/zh
Publication of CN109491786A publication Critical patent/CN109491786A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种基于云平台的任务处理方法，所述方法包括：管理端向目标节点发送扫描任务，所述目标节点包括以下内容中的一种或多种：集群下的一个或多个主机、一个或多个集群；接收所述目标结点返回的扫描数据。通过上述技术方案，可以实现多个目标节点并发执行扫描任务，提高了扫描的效率。

Description

一种基于云平台的任务处理方法和装置
技术领域
本发明涉及计算机领域，尤其涉及一种基于云平台的任务处理方法和装置。
背景技术
近年来随着云计算技术的发展和大规模普及，虚拟化平台作为云计算的基础之一也得到广泛的应用。并且由于互联网时代的发展和数据的爆发式增长，使得相应的计算能力需求和数据处理需求也日益增长，因而在一个虚拟化平台中可能管理的计算节点可能高达数百至数千个。存储系统依赖于存储适配器的扫描以获取底层存储划分来提供存储磁盘。现有的扫描存储适配器的方式不支持并发处理，只能以一个主机接一个主机串行的方式进行扫描，在较多计算节点的情况下耗时长。此外，现有的扫描方式通常由人工手动扫描，从而导致了整个过程过多重复性操作及易出错等问题。
发明内容
本申请所要解决的技术是提供一种基于云平台的任务处理方法和装置，可以实现多个目标节点并发执行扫描任务。
为了解决上述技术问题，本申请提供了一种基于云平台的任务处理方法，所述方法包括：
管理端向目标节点发送扫描任务，所述目标节点包括以下内容中的一种或多种：集群下的一个或多个主机、一个或多个集群；
接收所述目标结点返回的扫描数据。
可选地，所述接收所述目标结点返回的扫描数据之后，所述方法还包括：
根据所述目标节点返回的扫描数据更新管理端数据库中的相应数据。
可选地，所述目标节点返回的扫描数据包括所述目标节点的存储适配器的信息以及磁盘信息；
所述根据所述目标节点返回的扫描数据更新管理端数据库中的相应数据包括：
更新所述管理端数据库中的所述目标节点对应的存储适配器信息和/或磁盘信息，以使所述管理端数据库中的所述目标节点对应的存储适配器信息和磁盘信息与所述目标节点返回的扫描数据一致。
可选地，所述存储适配器包括小型计算机系统接口iSCSI软件适配器；
当所述存储适配器为iSCSI软件适配器时，所述目标节点返回的扫描数据包括target信息和iface信息；所述根据所述目标节点返回的扫描数据更新管理端数据库中的相应数据还包括：
更新所述管理端数据库中的所述目标节点对应的target信息和iface信息，以使所述管理端数据库中的所述目标节点对应的target信息和iface信息与所述目标节点返回的扫描数据一致。
可选地，所述管理端向目标节点发送扫描任务包括：
所述管理端通过表现层状态转移REST应用程序编程接口API以及软件开发工具包SDK向目标节点发送扫描任务。
本申请还提供一种基于云平台的任务处理装置，包括：存储器和处理器；其特征在于：
所述存储器，用于保存用于基于云平台的任务处理的程序；
所述处理器，用于读取执行所述用于基于云平台的任务处理的程序，执行如下操作：
管理端向目标节点发送扫描任务，所述目标节点包括以下内容中的一种或多种：集群下的一个或多个主机、一个或多个集群；
接收所述目标结点返回的扫描数据。
可选地，所述处理器用于读取执行所述用于基于云平台的任务处理的程序，还执行如下操作：
所述接收所述目标结点返回的扫描数据之后，根据所述目标节点返回的扫描数据更新管理端数据库中的相应数据。
可选地，所述目标节点返回的扫描数据包括所述目标节点的存储适配器的信息以及磁盘信息；
所述根据所述目标节点返回的扫描数据更新管理端数据库中的相应数据包括：
更新所述管理端数据库中的所述目标节点对应的存储适配器信息和/或磁盘信息，以使所述管理端数据库中的所述目标节点对应的存储适配器信息和磁盘信息与所述目标节点返回的扫描数据一致。
可选地，所述存储适配器包括小型计算机系统接口iSCSI软件适配器；
当所述存储适配器为iSCSI软件适配器时，所述目标节点返回的扫描数据包括target信息和iface信息；所述根据所述目标节点返回的扫描数据更新管理端数据库中的相应数据还包括：
更新所述管理端数据库中的所述目标节点对应的target信息和iface信息，以使所述管理端数据库中的所述目标节点对应的target信息和iface信息与所述目标节点返回的扫描数据一致。
可选地，所述管理端向目标节点发送扫描任务包括：
所述管理端通过表现层状态转移REST应用程序编程接口API以及软件开发工具包SDK向目标节点发送扫描任务。
与现有技术相比，本申请包括：管理端向目标节点发送扫描任务，所述目标节点包括以下内容中的一种或多种：集群下的一个或多个主机、一个或多个集群；接收所述目标结点返回的扫描数据。通过上述技术方案，可以实现多个目标节点并发执行扫描任务，提高了扫描的效率。
附图说明
图1是本发明实施例一的基于云平台的任务处理方法的流程示意图；
图2是本发明实施例一的基于云平台的任务处理方法的另一流程示意图；
图3是本发明实施例一的基于云平台的任务处理装置的结构示意图；
图4是本发明示例一的基于云平台的任务处理方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
如图1所示，本实施例提供一种基于云平台的任务处理方法，所述方法包括：
步骤S100、管理端向目标节点发送扫描任务，所述目标节点包括以下内容中的一种或多种：集群下的一个或多个主机、一个或多个集群；
本实施例中，描任务可以直接下发给任一集群中的任一主机，也可以下发给一个集群节点，然后这个集群节点再下发给其下所有的主机。
步骤S102、接收所述目标结点返回的扫描数据。
本实施例中，主机接收到扫描任务后，执行该扫描任务，该扫描任务是扫描该主机下的存储适配器及存储适配器下的所有磁盘。
可选地，如图2所示，所述接收所述目标结点返回的扫描数据之后，所述方法还可以包括：
步骤S104、根据所述目标节点返回的扫描数据更新管理端数据库中的相应数据。
可选地，所述目标节点返回的扫描数据可以包括所述目标节点的存储适配器的信息以及磁盘信息；
所述根据所述目标节点返回的扫描数据更新管理端数据库中的相应数据可以包括：
更新所述管理端数据库中的所述目标节点对应的存储适配器信息和/或磁盘信息，以使所述管理端数据库中的所述目标节点对应的存储适配器信息和磁盘信息与所述目标节点返回的扫描数据一致。
本实施例中，管理端可以将目标节点返回的扫描数据与管理端数据库中的数据进行比对，根据目标节点返回的扫描数据，可以删除管理端数据库中的信息、修改管理端数据库中的信息，还可以是向管理端数据库新增信息。
可选地，所述存储适配器可以包括iSCSI(Internet Small Computer SystemInterface，小型计算机系统接口)软件适配器；
当所述存储适配器为iSCSI软件适配器时，所述目标节点返回的扫描数据可以包括target信息和iface信息；所述根据所述目标节点返回的扫描数据更新管理端数据库中的相应数据还可以包括：
更新所述管理端数据库中的所述目标节点对应的target信息和iface信息，以使所述管理端数据库中的所述目标节点对应的target信息和iface信息与所述目标节点返回的扫描数据一致。
本实施例中，存储适配器可以包括：本地软件适配器，iSCSI软件适配器以及FC(Fibre Channel，光纤通道)软件适配器等。
可选地，所述管理端向目标节点发送扫描任务可以包括：
所述管理端通过REST(Representational State Transfer，表现层状态转移)API(Application Programming Interface，应用程序编程接口)以及SDK(SoftwareDevelopment Kit，软件开发工具包)向目标节点发送扫描任务。
通过上述技术方案，可以实现多个目标节点并发执行扫描任务，提高了扫描的效率。
如图3所示，本实施例还提供一种基于云平台的任务处理装置，包括：存储器10和处理器20；所述存储器10，用于保存用于基于云平台的任务处理的程序；
所述处理器20，用于读取执行所述用于基于云平台的任务处理的程序，执行如下操作：
管理端向目标节点发送扫描任务，所述目标节点包括以下内容中的一种或多种：集群下的一个或多个主机、一个或多个集群；
接收所述目标结点返回的扫描数据。
可选地，所述处理器20用于读取执行所述用于基于云平台的任务处理的程序，还可以执行如下操作：
所述接收所述目标结点返回的扫描数据之后，根据所述目标节点返回的扫描数据更新管理端数据库中的相应数据。
可选地，所述目标节点返回的扫描数据可以包括所述目标节点的存储适配器的信息以及磁盘信息；
所述根据所述目标节点返回的扫描数据更新管理端数据库中的相应数据可以包括：
更新所述管理端数据库中的所述目标节点对应的存储适配器信息和/或磁盘信息，以使所述管理端数据库中的所述目标节点对应的存储适配器信息和磁盘信息与所述目标节点返回的扫描数据一致。
可选地，所述存储适配器可以包括小型计算机系统接口iSCSI软件适配器；
当所述存储适配器为iSCSI软件适配器时，所述目标节点返回的扫描数据可以包括target信息和iface信息；所述根据所述目标节点返回的扫描数据更新管理端数据库中的相应数据还可以包括：
更新所述管理端数据库中的所述目标节点对应的target信息和iface信息，以使所述管理端数据库中的所述目标节点对应的target信息和iface信息与所述目标节点返回的扫描数据一致。
可选地，所述管理端向目标节点发送扫描任务可以包括：
所述管理端通过表现层状态转移REST应用程序编程接口API以及软件开发工具包SDK向目标节点发送扫描任务。
通过上述技术方案，可以实现多个目标节点并发执行扫描任务，提高了扫描的效率。
示例一
下面通过示例进一步说明书本申请基于云平台的任务处理方法。
如图4所示，本示例的基于云平台的任务处理方法包括：
步骤S201、管理端向主机下发任务；
步骤S202、主机底层进行扫描并返回数据；
步骤S203、管理端将底层返回数据和数据库所存数据进行比对；
步骤S204、根据比对结果更新管理端的存储适配器信息；
步骤S205、若存储适配器为iSCSI软件适配器，则根据比对结果更新管理端的iface信息和target信息；
步骤S206、根据比对结果更新管理端的磁盘信息。
需要说明的是，步骤S204至步骤S206的执行顺序不做限定，在其他示例中也可以采用其他执行顺序。
本示例的基于云平台的任务处理方法通过REST API以及SDK的方式开放接口，可通过编程的方式根据实际需要扫描的主机进行调用。通常情况下，主机底层进行扫描并返回数据需要耗费较多的时间，现有的扫描方式通常采用串行方式进行，不仅耗时还容易出现错误。通过本申请的技术方案可以实现并行扫描，缩短了扫描过程的整体耗时，提高了存储适配器扫描的效率。同时，上述技术方案可以简化扫描操作，使用人员只需在开始时指定需要扫描的主机或集群，降低了操作的复杂度，同时也避免人工手动操作容易出现的误操作或错误配置等情况。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请不限制于任何特定形式的硬件和软件的结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于云平台的任务处理方法，其特征在于，所述方法包括：
管理端向目标节点发送扫描任务，所述目标节点包括以下内容中的一种或多种：集群下的一个或多个主机、一个或多个集群；
接收所述目标结点返回的扫描数据。
2.如权利要求1所述的方法，其特征在于，所述接收所述目标结点返回的扫描数据之后，所述方法还包括：
根据所述目标节点返回的扫描数据更新管理端数据库中的相应数据。
3.如权利要求2所述的方法，其特征在于：
所述目标节点返回的扫描数据包括所述目标节点的存储适配器的信息以及磁盘信息；
所述根据所述目标节点返回的扫描数据更新管理端数据库中的相应数据包括：
更新所述管理端数据库中的所述目标节点对应的存储适配器信息和/或磁盘信息，以使所述管理端数据库中的所述目标节点对应的存储适配器信息和磁盘信息与所述目标节点返回的扫描数据一致。
4.如权利要求3所述的方法，其特征在于：
所述存储适配器包括小型计算机系统接口iSCSI软件适配器；
当所述存储适配器为iSCSI软件适配器时，所述目标节点返回的扫描数据包括target信息和iface信息；所述根据所述目标节点返回的扫描数据更新管理端数据库中的相应数据还包括：
更新所述管理端数据库中的所述目标节点对应的target信息和iface信息，以使所述管理端数据库中的所述目标节点对应的target信息和iface信息与所述目标节点返回的扫描数据一致。
5.如权利要求1至4任一所述的方法，其特征在于，所述管理端向目标节点发送扫描任务包括：
所述管理端通过表现层状态转移REST应用程序编程接口API以及软件开发工具包SDK向目标节点发送扫描任务。
6.一种基于云平台的任务处理装置，包括：存储器和处理器；其特征在于：
所述存储器，用于保存用于基于云平台的任务处理的程序；
所述处理器，用于读取执行所述用于基于云平台的任务处理的程序，执行如下操作：
管理端向目标节点发送扫描任务，所述目标节点包括以下内容中的一种或多种：集群下的一个或多个主机、一个或多个集群；
接收所述目标结点返回的扫描数据。
7.如权利要求6所述的装置，其特征在于，所述处理器用于读取执行所述用于基于云平台的任务处理的程序，还执行如下操作：
所述接收所述目标结点返回的扫描数据之后，根据所述目标节点返回的扫描数据更新管理端数据库中的相应数据。
8.如权利要求7所述的装置，其特征在于：
所述目标节点返回的扫描数据包括所述目标节点的存储适配器的信息以及磁盘信息；
所述根据所述目标节点返回的扫描数据更新管理端数据库中的相应数据包括：
更新所述管理端数据库中的所述目标节点对应的存储适配器信息和/或磁盘信息，以使所述管理端数据库中的所述目标节点对应的存储适配器信息和磁盘信息与所述目标节点返回的扫描数据一致。
9.如权利要求8所述的装置，其特征在于：所述存储适配器包括小型计算机系统接口iSCSI软件适配器；
当所述存储适配器为iSCSI软件适配器时，所述目标节点返回的扫描数据包括target信息和iface信息；所述根据所述目标节点返回的扫描数据更新管理端数据库中的相应数据还包括：
更新所述管理端数据库中的所述目标节点对应的target信息和iface信息，以使所述管理端数据库中的所述目标节点对应的target信息和iface信息与所述目标节点返回的扫描数据一致。
10.如权利要求6至9任一所述的装置，其特征在于，所述管理端向目标节点发送扫描任务包括：
所述管理端通过表现层状态转移REST应用程序编程接口API以及软件开发工具包SDK向目标节点发送扫描任务。
CN201811292034.7A 2018-11-01 2018-11-01 一种基于云平台的任务处理方法和装置 Pending CN109491786A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811292034.7A CN109491786A (zh) 2018-11-01 2018-11-01 一种基于云平台的任务处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811292034.7A CN109491786A (zh) 2018-11-01 2018-11-01 一种基于云平台的任务处理方法和装置

Publications (1)

Publication Number Publication Date
CN109491786A true CN109491786A (zh) 2019-03-19

Family

ID=65692171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811292034.7A Pending CN109491786A (zh) 2018-11-01 2018-11-01 一种基于云平台的任务处理方法和装置

Country Status (1)

Country Link
CN (1) CN109491786A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030135609A1 (en) * 2002-01-16 2003-07-17 Sun Microsystems, Inc. Method, system, and program for determining a modification of a system resource configuration
CN102143228A (zh) * 2011-03-30 2011-08-03 浪潮(北京)电子信息产业有限公司 一种云存储系统、云客户端及实现存储区域网络服务的方法
CN102882909A (zh) * 2011-07-15 2013-01-16 易云捷讯科技（北京）有限公司 云计算服务监控系统及方法
CN103236949A (zh) * 2013-04-27 2013-08-07 北京搜狐新媒体信息技术有限公司 一种服务器集群的监控方法、装置与系统
CN103763155A (zh) * 2014-01-24 2014-04-30 国家电网公司 分布式云存储系统多服务心跳监测方法
US8997097B1 (en) * 2011-08-10 2015-03-31 Nutanix, Inc. System for implementing a virtual disk in a virtualization environment
CN105550362A (zh) * 2015-12-31 2016-05-04 浙江大华技术股份有限公司 一种存储系统的索引数据修复方法和存储系统
CN106227470A (zh) * 2016-08-05 2016-12-14 浪潮(北京)电子信息产业有限公司 一种存储资源管理方法及装置
US9817702B2 (en) * 2008-08-12 2017-11-14 International Business Machines Corporation System resource management moderator protocol

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030135609A1 (en) * 2002-01-16 2003-07-17 Sun Microsystems, Inc. Method, system, and program for determining a modification of a system resource configuration
US9817702B2 (en) * 2008-08-12 2017-11-14 International Business Machines Corporation System resource management moderator protocol
CN102143228A (zh) * 2011-03-30 2011-08-03 浪潮(北京)电子信息产业有限公司 一种云存储系统、云客户端及实现存储区域网络服务的方法
CN102882909A (zh) * 2011-07-15 2013-01-16 易云捷讯科技（北京）有限公司 云计算服务监控系统及方法
US8997097B1 (en) * 2011-08-10 2015-03-31 Nutanix, Inc. System for implementing a virtual disk in a virtualization environment
CN103236949A (zh) * 2013-04-27 2013-08-07 北京搜狐新媒体信息技术有限公司 一种服务器集群的监控方法、装置与系统
CN103763155A (zh) * 2014-01-24 2014-04-30 国家电网公司 分布式云存储系统多服务心跳监测方法
CN105550362A (zh) * 2015-12-31 2016-05-04 浙江大华技术股份有限公司 一种存储系统的索引数据修复方法和存储系统
CN106227470A (zh) * 2016-08-05 2016-12-14 浪潮(北京)电子信息产业有限公司 一种存储资源管理方法及装置

Similar Documents

Publication Publication Date Title
CN103365781B (zh) 用于动态地重新配置存储系统的方法和设备
JP5291456B2 (ja) ストレージシステム・アーキテクチャ内のデータ・アロケーション
US8656136B2 (en) Computer system, computer and method for performing thin provisioning capacity management in coordination with virtual machines
US20070078914A1 (en) Method, apparatus and program storage device for providing a centralized policy based preallocation in a distributed file system
US9965207B2 (en) Maintenance of cloned computer data
US20100125715A1 (en) Storage System and Operation Method Thereof
US8341119B1 (en) Flexible copies having different sub-types
CN107122127A (zh) 向存储硬件的存储操作卸载
US20060074957A1 (en) Method of configuration management of a computer system
EP1637987A2 (en) Operation environment associating data migration method
JP2009003719A (ja) 連携して動作する複数のアプリケーションが使用するデータのバックアップ環境の設定を行う計算機及び方法
JP6211631B2 (ja) ボリューム複製を目的としたワークロードの特定およびバッファのサイズ設定
US10346362B2 (en) Sparse file access
US11119912B2 (en) Ordering data updates for improving garbage collection being performed while performing the set of data updates
CN105740165A (zh) 用于管理统一存储系统的文件系统的方法和装置
US11636072B2 (en) Parallel processing of a keyed index file system
CN104077239A (zh) Ip硬盘与存储系统，及其数据操作方法
JP2012504295A (ja) データベースサーバシステムのためのストレージ階層
JP2001188702A (ja) 分散ファイルシステム及びファイル操作方法
CN105302536A (zh) MapReduce应用的相关参数的配置方法和装置
US7792966B2 (en) Zone control weights
JP6221717B2 (ja) ストレージ装置、ストレージシステム及びデータ管理プログラム
JP5272185B2 (ja) 計算機システム及びストレージシステム
CN109491786A (zh) 一种基于云平台的任务处理方法和装置
CN108604231A (zh) 镜像处理方法以及计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190319

RJ01 Rejection of invention patent application after publication