CN113238839B - 一种基于云计算数据管理方法及装置 - Google Patents

一种基于云计算数据管理方法及装置 Download PDF

Info

Publication number
CN113238839B
CN113238839B CN202110454235.8A CN202110454235A CN113238839B CN 113238839 B CN113238839 B CN 113238839B CN 202110454235 A CN202110454235 A CN 202110454235A CN 113238839 B CN113238839 B CN 113238839B
Authority
CN
China
Prior art keywords
data management
management task
cloud service
cloud
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110454235.8A
Other languages
English (en)
Other versions
CN113238839A (zh
Inventor
周洪峰
李石平
田赟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vphonor Information Technology Co ltd
Original Assignee
Shenzhen Vphonor Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vphonor Information Technology Co ltd filed Critical Shenzhen Vphonor Information Technology Co ltd
Priority to CN202110454235.8A priority Critical patent/CN113238839B/zh
Publication of CN113238839A publication Critical patent/CN113238839A/zh
Application granted granted Critical
Publication of CN113238839B publication Critical patent/CN113238839B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于云计算数据管理方法及装置。所述方法包括:当接收到处理数据管理任务的触发事件时,对所述数据管理任务进行解析以获取所述数据管理任务的预设属性;获取与本地对应的多个云服务的负载情况和/或资费情况;基于所述数据管理任务的预设属性以及所述多个云服务的负载情况和/或资费情况确定符合预设条件的云服务使用策略;根据所述云服务使用策略调用对应的云服务对所述数据管理任务进行处理。采用本发明所提供的方案,可以基于数据管理任务的预设属性来分析不同数据管理任务的需求,从而能够基于不同的任务来优化云服务的使用策略,进而满足不同数据管理任务的需求。

Description

一种基于云计算数据管理方法及装置
技术领域
本发明涉及数据管理技术领域,特别涉及一种基于云计算数据管理方法及 装置。
背景技术
云计算是继互联网、计算机后在信息时代又一种新的革新,随着云计算的 发展,其应用到各类领域中,例如,数据管理领域,利用云资源对数据进行有 效的收集、存储、处理和应用。
云计算可以将巨大的数据处理程序分解成多个小程序,然后通过多部服务 器组成的系统进行处理和分析这些小程序,得到结果之后再进行汇总,可以充 分利用各个集群的资源,提升了处理速度,而数据管理可以充分有效地发挥数 据的作用。因此,基于云计算数据管理方案可以高效地对数据进行处理,更加 有效地发挥数据的作用。
现有技术中,由于不同云服务在不同时段的负载情况不同,因此,用户需 要进行处理的数据管理任务的完成时间无法保障,对于一些亟需快速处理的任 务无法做到及时相应和处理。并且各个云服务的资费情况也不同,例如不同的 运营商提供的云服务资费不统一,且混合云中私有云和公有云的资费也不相 同,对于一些对处理速度没有要求的任务而言,如何能够降低云服务的使用成 本,也是一较为重要的诉求,因此,如何提供一种基于云计算数据管理方法, 用以基于不同的任务来优化云服务的使用策略,进而满足不同数据管理任务的 需求,是一亟待解决的技术问题。
发明内容
本发明提供一种基于云计算数据管理方法及装置,用以基于不同的任务来 优化云服务的使用策略,进而满足不同数据管理任务的需求。
本发明提供一种基于云计算数据管理方法,包括:
当接收到处理数据管理任务的触发事件时,对所述数据管理任务进行解析 以获取所述数据管理任务的预设属性,其中,所述预设属性包括所述数据管理 任务的紧急程度、优先级、重要程度以及处理所述数据管理任务所需要的时间;
获取与本地对应的多个云服务的负载情况和/或资费情况;
基于所述数据管理任务的预设属性以及所述多个云服务的负载情况和/或 资费情况确定符合预设条件的云服务使用策略;
根据所述云服务使用策略调用对应的云服务对所述数据管理任务进行处 理。
本发明的有益效果在于:基于所述数据管理任务的预设属性以及所述多个 云服务的负载情况和/或资费情况确定符合预设条件的云服务使用策略;根据所 述云服务使用策略调用对应的云服务对所述数据管理任务进行处理,可以基于 数据管理任务的预设属性来分析不同数据管理任务的需求,从而能够基于不同 的任务来优化云服务的使用策略,进而满足不同数据管理任务的需求。
在一个实施例中,所述对所述数据管理任务进行解析以获取所述数据管理 任务的预设属性,包括:
获取所述数据管理任务中用于表征任务紧急程度的标识信息;
根据所述标识信息确定所述数据管理任务的紧急程度。
在一个实施例中,所述对所述数据管理任务进行解析以获取所述数据管理 任务的预设属性,包括:
获取所述数据管理任务对应的标题或描述信息;
根据所述数据管理任务对应的标题或描述信息确定所述数据管理任务的 类型;
根据所述数据管理任务的类型确定所述数据管理任务的优先级。
在一个实施例中,所述对所述数据管理任务进行解析以获取所述数据管理 任务的预设属性,包括:
获取所述数据管理任务对应的标题或描述信息;
根据所述数据管理任务对应的标题或描述信息确定所述数据管理任务的 类型;
统计所述数据管理任务所涉及的数据量;
根据所述数据管理任务的类型及所述数据管理任务所涉及的数据量确定 处理所述数据管理任务所需要的时间。
在一个实施例中,获取与本地对应的多个云服务的负载情况,包括:
向与本地对应的多个云服务发送负载情况获取请求;
接收所述多个云服务基于所述负载情况获取请求反馈的自身负载情况。
在一个实施例中,基于所述数据管理任务的预设属性以及所述多个云服务 的负载情况和/或资费情况确定符合预设条件的云服务使用策略,包括:
当所述数据管理任务的预设属性表征所述数据管理任务的紧急程度小于 第一预设值时,确定符合预设条件的云服务使用策略为使用资费最低的云服务 处理所述数据管理任务;
所述根据所述云服务使用策略调用对应的云服务对所述数据管理任务进 行处理,包括:
调用资费最低的云服务对所述数据管理任务进行处理。
在一个实施例中,基于所述数据管理任务的预设属性以及所述多个云服务 的负载情况和/或资费情况确定符合预设条件的云服务使用策略,包括:
当所述数据管理任务的预设属性表征所述数据管理任务所涉及的数据量 大于第二预设值时,确定符合预设条件的云服务使用策略为使用资费最低的云 服务处理所述数据管理任务;
所述根据所述云服务使用策略调用对应的云服务对所述数据管理任务进 行处理,包括:
调用资费最低的云服务对所述数据管理任务进行处理。
本实施例的有益效果在于:能够利用资费最低的云服务对时间要求不高的 数据管理任务进行处理,节省了成本。
在一个实施例中,基于所述数据管理任务的预设属性以及所述多个云服务 的负载情况和/或资费情况确定符合预设条件的云服务使用策略,包括:
当所述数据管理任务的预设属性表征所述数据管理任务所要求的安全程 度大于第三预设值时,和/或所述数据管理任务的优先级大于第四预设值时,确 定符合预设条件的云服务使用策略为使用安全程度最高的云服务处理所述数 据管理任务;
所述根据所述云服务使用策略调用对应的云服务对所述数据管理任务进 行处理,包括:
调用安全程度最高的云服务对所述数据管理任务进行处理。
本实施例的有益效果在于:通过安全程度最高的云服务处理要求的安全程 度较高的数据管理任务,满足了数据管理任务的需求,提升了数据管理任务的 数据的安全性。
本申请还提供一种基于云计算数据管理装置,包括:
解析模块,用于当接收到处理数据管理任务的触发事件时,对所述数据管 理任务进行解析以获取所述数据管理任务的预设属性,其中,所述预设属性包 括所述数据管理任务的紧急程度、优先级、重要程度以及处理所述数据管理任 务所需要的时间;
获取模块,用于获取与本地对应的多个云服务的负载情况和/或资费情况;
确定模块,用于基于所述数据管理任务的预设属性以及所述多个云服务的 负载情况和/或资费情况确定符合预设条件的云服务使用策略;
调用模块,用于根据所述云服务使用策略调用对应的云服务对所述数据管 理任务进行处理。
在一个实施例中,所述解析模块,包括:
获取子模块,用于获取所述数据管理任务中用于表征任务紧急程度的标识 信息;
确定子模块,用于根据所述标识信息确定所述数据管理任务的紧急程度。
在一个实施例中,所述解析模块,包括:
第一获取子模块,用于获取所述数据管理任务对应的标题或描述信息;
第二确定子模块,用于根据所述数据管理任务对应的标题或描述信息确定 所述数据管理任务的类型;
第三确定子模块,用于根据所述数据管理任务的类型确定所述数据管理任 务的优先级。
在一个实施例中,所述解析模块,包括:
第二获取子模块,用于获取所述数据管理任务对应的标题或描述信息;
第四确定子模块,用于根据所述数据管理任务对应的标题或描述信息确定 所述数据管理任务的类型;
统计子模块,用于统计所述数据管理任务所涉及的数据量;
第五确定子模块,用于根据所述数据管理任务的类型及所述数据管理任务 所涉及的数据量确定处理所述数据管理任务所需要的时间。
在一个实施例中,获取模块,包括:
第三获取子模块,用于向与本地对应的多个云服务发送负载情况获取请 求;
接收子模块,用于接收所述多个云服务基于所述负载情况获取请求反馈的 自身负载情况。
在一个实施例中,确定模块,包括:
第六确定子模块,用于当所述数据管理任务的预设属性表征所述数据管理 任务的紧急程度小于第一预设值时,确定符合预设条件的云服务使用策略为使 用资费最低的云服务处理所述数据管理任务;
调用模块,包括:
第一调用子模块,用于调用资费最低的云服务对所述数据管理任务进行处 理。
在一个实施例中,确定模块,包括:
第七确定子模块,用于当所述数据管理任务的预设属性表征所述数据管理 任务所涉及的数据量大于第二预设值时,确定符合预设条件的云服务使用策略 为使用资费最低的云服务处理所述数据管理任务;
调用模块,包括:
第二调用子模块,用于调用资费最低的云服务对所述数据管理任务进行处 理。
在一个实施例中,确定模块,包括:
第八确定子模块,用于当所述数据管理任务的预设属性表征所述数据管理 任务所要求的安全程度大于第三预设值时,和/或所述数据管理任务的优先级大 于第四预设值时,确定符合预设条件的云服务使用策略为使用安全程度最高的 云服务处理所述数据管理任务;
调用模块,包括:
第三调用子模块,用于调用安全程度最高的云服务对所述数据管理任务进 行处理。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明 书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可 通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获 得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发 明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明一实施例中一种基于云计算数据管理方法的流程图;
图2为本发明另一实施例中一种基于云计算数据管理方法的流程图;
图3为本发明一实施例中一种基于云计算数据管理装置的框图;
图4为本发明另一实施例中一种基于云计算数据管理装置的框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的 优选实施例仅用于说明和解释本发明,并不用于限定本发明。
图1为本发明一实施例中一种基于云计算数据管理方法的流程图,该方法 可用于多类云服务的代理者对应的服务器或者云服务用户对应的设备,如图1 所示,该方法可被实施为以下步骤S11-S14:
在步骤S11中,当接收到处理数据管理任务的触发事件时,对数据管理任 务进行解析以获取数据管理任务的预设属性,其中,预设属性包括数据管理任 务的紧急程度、优先级、重要程度以及处理数据管理任务所需要的时间;
具体的,在该步骤中,预设属性包括数据管理任务的紧急程度、优先级、 重要程度以及处理数据管理任务所需要的时间:
其中,不同的预设属性的获取方式不同,下面,基于不同的预设属性分别 介绍不同的获取方式:
方式一
当预设属性为数据管理任务的紧急程度时,获取数据管理任务中用于表征 任务紧急程度的标识信息;根据标识信息确定数据管理任务的紧急程度。具体 的,用户在发布数据管理任务时,可以基于一标识信息对数据管理任务的紧急 程度进行标注,例如标识信息为“紧急程度高”、“紧急程度中等”、“紧急 程度低”,本申请的执行主体可以基于该标识信息来确定管理任务的紧急程 度。或者用户在发布数据管理任务时,可以设置预期完成时间,则该完成时间 即为标识信息,本申请的执行主体可以基于预期完成时间确定管理任务的紧急 程度。
方式二
当预设属性为数据管理任务的优先级时,获取数据管理任务对应的标题或 描述信息;根据数据管理任务对应的标题或描述信息确定数据管理任务的类 型;根据数据管理任务的类型确定数据管理任务的优先级。具体的,数据管理 任务会存在相应的标题或描述信息,该标题或者描述信息中的一些关键词可以 表征数据管理任务的具体类型,数据管理任务的类型通常分为数据收集任务, 数据存储任务,数据处理(例如分类、计算等)和数据应用任务。假设是数据 收集任务或者数据处理任务,通常会赋予较高的有消极,而数据存储任务则赋 予较低的优先级,因此,本申请的执行主体可以基于对标题或描述信息中的关键词进行识别,来确定数据管理任务的类型,然后基于数据管理任务的类型确 定数据管理任务的优先级。
方式三
当预设属性为处理数据管理任务所需要的时间时,获取数据管理任务对应 的标题或描述信息;根据数据管理任务对应的标题或描述信息确定数据管理任 务的类型;统计数据管理任务所涉及的数据量;根据数据管理任务的类型及数 据管理任务所涉及的数据量确定处理数据管理任务所需要的时间。具体的,数 据管理任务会存在相应的标题或描述信息,该标题或者描述信息中的一些关键 词可以表征数据管理任务的具体类型,数据管理任务的类型通常分为数据收集 任务,数据存储任务,数据处理(例如分类、计算等)和数据应用任务。本申 请的执行主体可以基于对标题或描述信息中的关键词进行识别,来确定数据管 理任务的类型,另外,相同任务类型下,任务所涉及的数据量多少决定了处理 数据管理任务所需要的时间,而相同数据量下,不同任务类型所需的处理时间 也不同,因此,需要结合数据管理任务的类型及数据管理任务所涉及的数据量 二者综合确定处理数据管理任务所需要的时间。
在步骤S12中,获取与本地对应的多个云服务的负载情况和/或资费情况;
本步骤中,获取本地对应的多个云服务的负载情况时,如果本地(本申请 的执行主体)为使用云服务的用户对应的终端时,在其激活了多个云服务类型 (例如,不同的运营商提供的不同的云服务,或者混合云下的私有云和公有云) 的情况下,其可以向对应的云服务发送负载情况获取请求;然后云服务接收到 负载情况获取请求之后,可以将自身的负载情况反馈给本地,本地接收多个云 服务基于负载情况获取请求反馈的自身负载情况。
如果本地(本申请的执行主体)为多个不同的云服务的代理商时,其接收 到处理数据管理任务的触发事件是指其接收到实际的云服务用户向其发送了 数据管理任务,其既可以向对应的云服务发送负载情况获取请求,也可以预先 向云服务提供商申请获取监控云服务集群负载的权限,在成功申请到获取监控 云服务集群负载的权限的情况下,可以对云服务的负载情况进行监控。
而关于资费情况,在预先激活云服务的情况下,提供云服务的服务器会将 具体资费信息发送至终端或者代理者,因此,可以将具体资费情况预先以文 本、表单等形式预存储在本地,在接收到处理数据管理任务的触发事件之后, 可以从本地预存储的文本、表单等信息中获取资费情况。
在步骤S13中,基于数据管理任务的预设属性以及多个云服务的负载情况 和/或资费情况确定符合预设条件的云服务使用策略;
本步骤中,基于不同的预设属性、预设属性值、云服务的负载情况和/或资 费情况综合确定符合预设条件的云服务使用策略,下面,通过举例的形式对综 合确定符合预设条件的云服务使用策略的部分情况进行说明:
例如,当数据管理任务的预设属性表征数据管理任务的紧急程度较低时, 说明该任务并不着急处理,因此,在制定云服务使用策略时,就无需考虑处理 速度,只需从节省资费,提高安全性等角度考虑,假设其没有对安全性进行规 定,那么,确定符合预设条件的云服务使用策略为使用资费最低的云服务处理 数据管理任务。同理可知,当数据管理任务的预设属性表征数据管理任务的紧 急程度很高时,说明该任务需要在最短的时间进行反馈,此时,则使用速度最 快的云服务处理数据管理任务。
特别的,本实施例结合了资费、任务紧急程度两方面的因素,通过如下模 型确定云服务使用策略:
Figure BDA0003039928750000101
Figure RE-GDA0003132679200000012
其中:
Figure BDA0003039928750000103
μij=0或1,
Figure BDA0003039928750000104
λj∈(0,1)。
其中,C为数据任务总量;i=1,…,n,表示有n家云服务商;j=1,…,m, 表示有m条任务量;ej表示第j条任务的任务量;λj∈(0,1)表示第j条任务的 紧急程度,紧急程度越高,该值越大;当前第i家云服务商可利用的私有云负 载为Di、Fi第i家云服务商私有云的资费;可利用的公有云负载为
Figure BDA0003039928750000107
第i家 云服务商公有云的资费。L1为综合指数,当资费越低、任务紧急程度越高,则 该指数数值越低。需要说明的是,为了使该指数更具有参考性,可对上述数据 进行标准化处理。
μij=0或1,当取1时,表示第j条任务分配给第i家云服务商私有云,当 取0是表示没有分配给第i家云服务商私有云;
Figure BDA0003039928750000105
当取1时,表示第 j条任务分配给第i家云服务商公有云;当取0是表示没有分配给第i家云服务 商公有云。
又例如,当数据管理任务的预设属性表征数据管理任务所涉及的数据量大 于第二预设值时,确定符合预设条件的云服务使用策略为使用资费最低的云服 务处理数据管理任务。
再例如,当数据管理任务的预设属性表征数据管理任务所要求的安全程度 较高时,和/或数据管理任务的优先级较高时,说明该数据管理任务需要在较为 安全的环境中进行运算,那么,确定符合预设条件的云服务使用策略为使用安 全程度最高的云服务处理数据管理任务,例如,完全使用私有云处理数据管理 任务。
另外,需要说明的是,当数据管理任务的预设属性表征数据管理任务所要 求的安全程度适中,紧急程度也适中的情况下,则需要兼顾一定的安全性和一 定的时效性,因此,需要选取能够保证一定安全性,且能够在规定时间内完成 数据管理任务的云服务。即在数据管理任务的预设属性表征数据管理任务所要 求的安全程度位于第一预设区间,且数据管理任务的紧急程度位于第二预设区 间的情况下,根据云服务使用策略调用对应的云服务对数据管理任务进行处 理,包括:调用与本地对应的,安全程度大于第五预设值,且处理速度大于第 六预设值的至少一个云服务对数据管理任务进行处理。
还需要说明的是,当本地为使用云服务的用户所对应的终端,且本地对应 的多个云服务为私有云和公有云组成的混合云的情况下,基于数据管理任务的 预设属性以及多个云服务的负载情况和/或资费情况确定符合预设条件的云服 务使用策略还包括:对数据管理任务进行拆分,以将数据管理任务拆分为第一 部分和第二部分,其中,第一部分所对应的安全性要求大于第七预设值(安全 性要求较高),第二部分对应的安全性要求小于第八预设值(安全性要求较 低),那么,根据云服务使用策略调用对应的云服务对数据管理任务进行处理, 包括:调用私有云对数据管理任务的第一部分进行处理,并调用公有云对数据 管理任务的第二部分进行处理。采用这种方案,能够将同一个任务进行细粒度 拆分,将安全性要求高的数据通过私有云进行处理,将安全性要求低的数据通 过公有云进行处理,从而使得私有云只处理需要保障安全性的数据,提升了私 有云的利用率,并且在提升了安全性的基础上,节省了成本。
特别的,本实施例结合了资费、处理时间、安全性三方面的因素,通过如 下模型确定云服务使用策略:
Figure BDA0003039928750000121
Figure BDA0003039928750000122
其中i=1,2,……,n;
Figure BDA0003039928750000123
Figure BDA0003039928750000124
其中,C为数据任务总量;i=1,…,n,表示有n家云服务商;当前第i家 云服务商可利用的私有云负载为Di、处理速度为δi、Fi第i家云服务商私有云 的资费;可利用的公有云负载为
Figure BDA0003039928750000125
处理速度为
Figure BDA0003039928750000126
第i家云服务商公有云 的资费;T为本次任务处理时间。Ci本次任务分配给第i家云服务商私有云的 任务量;
Figure BDA0003039928750000127
本次任务分配给第i家云服务商公有云的任务量。L2为综合指数, 当资费越低、处理时间越短、安全性越高,则该指数数值越低。需要说明的是, 为了使该指数更具有参考性,可对上述数据进行标准化处理。
在步骤S14中,根据云服务使用策略调用对应的云服务对数据管理任务进 行处理。
本发明的有益效果在于:基于数据管理任务的预设属性以及多个云服务的 负载情况和/或资费情况确定符合预设条件的云服务使用策略;根据云服务使用 策略调用对应的云服务对数据管理任务进行处理,可以基于数据管理任务的预 设属性来分析不同数据管理任务的需求,从而能够基于不同的任务来优化云服 务的使用策略,进而满足不同数据管理任务的需求。
在一个实施例中,如图2所示,上述步骤S11可被实施为以下步骤S21-S22:
在步骤S21中,获取数据管理任务中用于表征任务紧急程度的标识信息;
在步骤S22中,根据标识信息确定数据管理任务的紧急程度。
本实施例中,当预设属性为数据管理任务的紧急程度时,获取数据管理任 务中用于表征任务紧急程度的标识信息;根据标识信息确定数据管理任务的紧 急程度。具体的,用户在发布数据管理任务时,可以基于一标识信息对数据管 理任务的紧急程度进行标注,例如标识信息为“紧急程度高”、“紧急程度中 等”、“紧急程度低”,本申请的执行主体可以基于该标识信息来确定管理任 务的紧急程度。或者用户在发布数据管理任务时,可以设置预期完成时间,则 该完成时间即为标识信息,本申请的执行主体可以基于预期完成时间确定管理 任务的紧急程度。
在一个实施例中,上述步骤S11可被实施为以下步骤A1-A3:
在步骤A1中,获取数据管理任务对应的标题或描述信息;
在步骤A2中,根据数据管理任务对应的标题或描述信息确定数据管理任 务的类型;
在步骤A3中,根据数据管理任务的类型确定数据管理任务的优先级。
本实施例中,当预设属性为数据管理任务的优先级时,获取数据管理任务 对应的标题或描述信息;根据数据管理任务对应的标题或描述信息确定数据管 理任务的类型;根据数据管理任务的类型确定数据管理任务的优先级。具体 的,数据管理任务会存在相应的标题或描述信息,该标题或者描述信息中的一 些关键词可以表征数据管理任务的具体类型,数据管理任务的类型通常分为数 据收集任务,数据存储任务,数据处理(例如分类、计算等)和数据应用任务。 假设是数据收集任务或者数据处理任务,通常会赋予较高的有消极,而数据存 储任务则赋予较低的优先级,因此,本申请的执行主体可以基于对标题或描述 信息中的关键词进行识别,来确定数据管理任务的类型,然后基于数据管理任 务的类型确定数据管理任务的优先级。
在一个实施例中,上述步骤S11可被实施为以下步骤B1-B4:
在步骤B1中,获取数据管理任务对应的标题或描述信息;
在步骤B2中,根据数据管理任务对应的标题或描述信息确定数据管理任 务的类型;
在步骤B3中,统计数据管理任务所涉及的数据量;
在步骤B4中,根据数据管理任务的类型及数据管理任务所涉及的数据量 确定处理数据管理任务所需要的时间。
本实施例中,当预设属性为处理数据管理任务所需要的时间时,获取数据 管理任务对应的标题或描述信息;根据数据管理任务对应的标题或描述信息确 定数据管理任务的类型;统计数据管理任务所涉及的数据量;根据数据管理任 务的类型及数据管理任务所涉及的数据量确定处理数据管理任务所需要的时 间。具体的,数据管理任务会存在相应的标题或描述信息,该标题或者描述信 息中的一些关键词可以表征数据管理任务的具体类型,数据管理任务的类型通 常分为数据收集任务,数据存储任务,数据处理(例如分类、计算等)和数据 应用任务。本申请的执行主体可以基于对标题或描述信息中的关键词进行识别,来确定数据管理任务的类型,另外,相同任务类型下,任务所涉及的数据 量多少决定了处理数据管理任务所需要的时间,而相同数据量下,不同任务类 型所需的处理时间也不同,因此,需要结合数据管理任务的类型及数据管理任 务所涉及的数据量二者综合确定处理数据管理任务所需要的时间。
在一个实施例中,上述步骤S12中,获取与本地对应的多个云服务的负载 情况,可被实施为以下步骤C1-C2:
在步骤C1中,向与本地对应的多个云服务发送负载情况获取请求;
在步骤C2中,接收多个云服务基于负载情况获取请求反馈的自身负载情 况。
本实施例中,如果本地(本申请的执行主体)为使用云服务的用户对应的 终端时,在其激活了多个云服务类型(例如,不同的运营商提供的不同的云服 务,或者混合云下的私有云和公有云)的情况下,其可以向对应的云服务发送 负载情况获取请求;然后云服务接收到负载情况获取请求之后,可以将自身的 负载情况反馈给本地,本地接收多个云服务基于负载情况获取请求反馈的自身 负载情况。
如果本地(本申请的执行主体)为多个不同的云服务的代理商时,除本实 施例所公开的方案之外。
也可以预先向云服务提供商申请获取监控云服务集群负载的权限,在成功 申请到获取监控云服务集群负载的权限的情况下,可以对云服务的负载情况进 行监控,通过监控来获取与本地对应的多个云服务的负载情况。
在一个实施例中,上述步骤S13可被实施为以下步骤:
当数据管理任务的预设属性表征数据管理任务的紧急程度小于第一预设 值时,确定符合预设条件的云服务使用策略为使用资费最低的云服务处理数据 管理任务;
上述步骤S14可被实施为以下步骤:
调用资费最低的云服务对数据管理任务进行处理。
当数据管理任务的预设属性表征数据管理任务的紧急程度较低时,说明该 任务并不着急处理,因此,在制定云服务使用策略时,就无需考虑处理速度, 只需从节省资费,提高安全性等角度考虑,假设其没有对安全性进行规定,那 么,确定符合预设条件的云服务使用策略为使用资费最低的云服务处理数据管 理任务。同理可知,当数据管理任务的预设属性表征数据管理任务的紧急程度 很高时,说明该任务需要在最短的时间进行反馈,此时,则使用速度最快的云 服务处理数据管理任务。
通过上述方案,能够利用资费最低的云服务对时间要求不高的数据管理任 务进行处理,节省了成本。
在一个实施例中,上述步骤S13可被实施为以下步骤:
当数据管理任务的预设属性表征数据管理任务所涉及的数据量大于第二 预设值时,确定符合预设条件的云服务使用策略为使用资费最低的云服务处理 数据管理任务;
上述步骤S14可被实施为以下步骤:
调用资费最低的云服务对数据管理任务进行处理。
在一个实施例中,上述步骤S13可被实施为以下步骤:
当数据管理任务的预设属性表征数据管理任务所要求的安全程度大于第 三预设值时,和/或数据管理任务的优先级大于第四预设值时,确定符合预设条 件的云服务使用策略为使用安全程度最高的云服务处理数据管理任务;
上述步骤S14可被实施为以下步骤:
调用安全程度最高的云服务对数据管理任务进行处理。
本实施例中,当数据管理任务的预设属性表征数据管理任务所要求的安全 程度较高时,和/或数据管理任务的优先级较高时,说明该数据管理任务需要在 较为安全的环境中进行运算,那么,确定符合预设条件的云服务使用策略为使 用安全程度最高的云服务处理数据管理任务,例如,完全使用私有云处理数据 管理任务。
本实施例通过安全程度最高的云服务处理要求的安全程度较高的数据管 理任务,满足了数据管理任务的需求,提升了数据管理任务的数据的安全性。
图3为本发明一实施例中一种基于云计算数据管理装置的框图,如图3所 示,该装置包括以下模块:
解析模块31,用于当接收到处理数据管理任务的触发事件时,对数据管理 任务进行解析以获取数据管理任务的预设属性,其中,预设属性包括数据管理 任务的紧急程度、优先级、重要程度以及处理数据管理任务所需要的时间;
获取模块32,用于获取与本地对应的多个云服务的负载情况和/或资费情 况;
确定模块33,用于基于数据管理任务的预设属性以及多个云服务的负载情 况和/或资费情况确定符合预设条件的云服务使用策略;
调用模块34,用于根据云服务使用策略调用对应的云服务对数据管理任务 进行处理。
在一个实施例中,如图4所示,解析模块31,包括:
获取子模块311,用于获取数据管理任务中用于表征任务紧急程度的标识 信息;
确定子模块312,用于根据标识信息确定数据管理任务的紧急程度。
在一个实施例中,解析模块,包括:
第一获取子模块,用于获取数据管理任务对应的标题或描述信息;
第二确定子模块,用于根据数据管理任务对应的标题或描述信息确定数据 管理任务的类型;
第三确定子模块,用于根据数据管理任务的类型确定数据管理任务的优先 级。
在一个实施例中,解析模块,包括:
第二获取子模块,用于获取数据管理任务对应的标题或描述信息;
第四确定子模块,用于根据数据管理任务对应的标题或描述信息确定数据 管理任务的类型;
统计子模块,用于统计数据管理任务所涉及的数据量;
第五确定子模块,用于根据数据管理任务的类型及数据管理任务所涉及的 数据量确定处理数据管理任务所需要的时间。
在一个实施例中,获取模块,包括:
第三获取子模块,用于向与本地对应的多个云服务发送负载情况获取请 求;
接收子模块,用于接收多个云服务基于负载情况获取请求反馈的自身负载 情况。
在一个实施例中,确定模块,包括:
第六确定子模块,用于当数据管理任务的预设属性表征数据管理任务的紧 急程度小于第一预设值时,确定符合预设条件的云服务使用策略为使用资费最 低的云服务处理数据管理任务;
调用模块,包括:
第一调用子模块,用于调用资费最低的云服务对数据管理任务进行处理。
在一个实施例中,确定模块,包括:
第七确定子模块,用于当数据管理任务的预设属性表征数据管理任务所涉 及的数据量大于第二预设值时,确定符合预设条件的云服务使用策略为使用资 费最低的云服务处理数据管理任务;
调用模块,包括:
第二调用子模块,用于调用资费最低的云服务对数据管理任务进行处理。
在一个实施例中,确定模块,包括:
第八确定子模块,用于当数据管理任务的预设属性表征数据管理任务所要 求的安全程度大于第三预设值时,和/或数据管理任务的优先级大于第四预设值 时,确定符合预设条件的云服务使用策略为使用安全程度最高的云服务处理数 据管理任务;
调用模块,包括:
第三调用子模块,用于调用安全程度最高的云服务对数据管理任务进行处 理。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计 算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结 合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包 含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和 光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产 品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入 式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算 机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一 个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设 备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中 的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个 流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使 得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处 理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本 发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求 及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于云计算数据管理方法,其特征在于,包括:
当接收到处理数据管理任务的触发事件时,对所述数据管理任务进行解析以获取所述数据管理任务的预设属性,其中,所述预设属性包括所述数据管理任务的紧急程度、优先级、重要程度以及处理所述数据管理任务所需要的时间;
获取与本地对应的多个云服务的负载情况和/或资费情况;
基于所述数据管理任务的预设属性以及所述多个云服务的负载情况和/或资费情况确定符合预设条件的云服务使用策略;
根据所述云服务使用策略调用对应的云服务对所述数据管理任务进行处理;
所述基于所述数据管理任务的预设属性以及所述多个云服务的负载情况和/或资费情况确定符合预设条件的云服务使用策略,包括:对数据管理任务进行拆分,以将数据管理任务拆分为第一部分和第二部分,其中,第一部分所对应的安全性要求大于第七预设值,第二部分对应的安全性要求小于第八预设值;
所述根据云服务使用策略调用对应的云服务对数据管理任务进行处理,包括:调用私有云对数据管理任务的第一部分进行处理,并调用公有云对数据管理任务的第二部分进行处理。
2.如权利要求1所述的方法,其特征在于,所述对所述数据管理任务进行解析以获取所述数据管理任务的预设属性,包括:
获取所述数据管理任务中用于表征任务紧急程度的标识信息;
根据所述标识信息确定所述数据管理任务的紧急程度。
3.如权利要求1所述的方法,其特征在于,所述对所述数据管理任务进行解析以获取所述数据管理任务的预设属性,包括:
获取所述数据管理任务对应的标题或描述信息;
根据所述数据管理任务对应的标题或描述信息确定所述数据管理任务的类型;
根据所述数据管理任务的类型确定所述数据管理任务的优先级。
4.如权利要求1所述的方法,其特征在于,所述对所述数据管理任务进行解析以获取所述数据管理任务的预设属性,包括:
获取所述数据管理任务对应的标题或描述信息;
根据所述数据管理任务对应的标题或描述信息确定所述数据管理任务的类型;
统计所述数据管理任务所涉及的数据量;
根据所述数据管理任务的类型及所述数据管理任务所涉及的数据量确定处理所述数据管理任务所需要的时间。
5.如权利要求1所述的方法,其特征在于,获取与本地对应的多个云服务的负载情况,包括:
向与本地对应的多个云服务发送负载情况获取请求;
接收所述多个云服务基于所述负载情况获取请求反馈的自身负载情况。
6.如权利要求1所述的方法,其特征在于,基于所述数据管理任务的预设属性以及所述多个云服务的负载情况和/或资费情况确定符合预设条件的云服务使用策略,包括:
当所述数据管理任务的预设属性表征所述数据管理任务的紧急程度小于第一预设值时,确定符合预设条件的云服务使用策略为使用资费最低的云服务处理所述数据管理任务;
所述根据所述云服务使用策略调用对应的云服务对所述数据管理任务进行处理,包括:
调用资费最低的云服务对所述数据管理任务进行处理。
7.如权利要求1所述的方法,其特征在于,基于所述数据管理任务的预设属性以及所述多个云服务的负载情况和/或资费情况确定符合预设条件的云服务使用策略,包括:
当所述数据管理任务的预设属性表征所述数据管理任务所涉及的数据量大于第二预设值时,确定符合预设条件的云服务使用策略为使用资费最低的云服务处理所述数据管理任务;
所述根据所述云服务使用策略调用对应的云服务对所述数据管理任务进行处理,包括:
调用资费最低的云服务对所述数据管理任务进行处理。
8.如权利要求1所述的方法,其特征在于,基于所述数据管理任务的预设属性以及所述多个云服务的负载情况和/或资费情况确定符合预设条件的云服务使用策略,包括:
当所述数据管理任务的预设属性表征所述数据管理任务所要求的安全程度大于第三预设值时,和/或所述数据管理任务的优先级大于第四预设值时,确定符合预设条件的云服务使用策略为使用安全程度最高的云服务处理所述数据管理任务;
所述根据所述云服务使用策略调用对应的云服务对所述数据管理任务进行处理,包括:
调用安全程度最高的云服务对所述数据管理任务进行处理。
9.一种基于云计算数据管理装置,其特征在于,包括:
解析模块,用于当接收到处理数据管理任务的触发事件时,对所述数据管理任务进行解析以获取所述数据管理任务的预设属性,其中,所述预设属性包括所述数据管理任务的紧急程度、优先级、重要程度以及处理所述数据管理任务所需要的时间;
获取模块,用于获取与本地对应的多个云服务的负载情况和/或资费情况;
确定模块,用于基于所述数据管理任务的预设属性以及所述多个云服务的负载情况和/或资费情况确定符合预设条件的云服务使用策略;
调用模块,用于根据所述云服务使用策略调用对应的云服务对所述数据管理任务进行处理;
所述基于所述数据管理任务的预设属性以及所述多个云服务的负载情况和/或资费情况确定符合预设条件的云服务使用策略,包括:对数据管理任务进行拆分,以将数据管理任务拆分为第一部分和第二部分,其中,第一部分所对应的安全性要求大于第七预设值,第二部分对应的安全性要求小于第八预设值;
所述根据云服务使用策略调用对应的云服务对数据管理任务进行处理,包括:调用私有云对数据管理任务的第一部分进行处理,并调用公有云对数据管理任务的第二部分进行处理。
10.如权利要求9所述的装置,其特征在于,所述解析模块,包括:
获取子模块,用于获取所述数据管理任务中用于表征任务紧急程度的标识信息;
确定子模块,用于根据所述标识信息确定所述数据管理任务的紧急程度。
CN202110454235.8A 2021-04-26 2021-04-26 一种基于云计算数据管理方法及装置 Active CN113238839B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110454235.8A CN113238839B (zh) 2021-04-26 2021-04-26 一种基于云计算数据管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110454235.8A CN113238839B (zh) 2021-04-26 2021-04-26 一种基于云计算数据管理方法及装置

Publications (2)

Publication Number Publication Date
CN113238839A CN113238839A (zh) 2021-08-10
CN113238839B true CN113238839B (zh) 2022-04-12

Family

ID=77129272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110454235.8A Active CN113238839B (zh) 2021-04-26 2021-04-26 一种基于云计算数据管理方法及装置

Country Status (1)

Country Link
CN (1) CN113238839B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104407923A (zh) * 2014-10-31 2015-03-11 百度在线网络技术(北京)有限公司 基于单节点触发的集群任务均衡方法和装置
CN107220118A (zh) * 2017-06-01 2017-09-29 四川大学 移动云计算中计算资源定价与任务负载迁移策略研究

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106161566A (zh) * 2015-04-24 2016-11-23 中兴通讯股份有限公司 一种云计算数据中心访问管理方法和云计算数据中心
CN104850450B (zh) * 2015-05-14 2017-11-28 华中科技大学 一种面向混合云应用的负载均衡方法及系统
CN106095546A (zh) * 2016-06-01 2016-11-09 深圳市永兴元科技有限公司 云计算平台的任务管理方法及装置
US20180253700A1 (en) * 2017-03-02 2018-09-06 Shop-Ware, Inc. Systems and methods for operating an interactive repair facility
CN107908458A (zh) * 2017-11-10 2018-04-13 苏州铭冠软件科技有限公司 一种考虑时间和费用的云计算数据资源调度方法
CN108009023B (zh) * 2017-11-29 2022-06-03 武汉理工大学 混合云中基于bp神经网络时间预测的任务调度方法
CN108093046A (zh) * 2017-12-18 2018-05-29 江苏润和软件股份有限公司 一种基于前馈控制的云应用容器资源调度方法
CN109885397B (zh) * 2019-01-15 2023-04-07 长安大学 一种边缘计算环境中时延优化的负载任务迁移算法
CN110362952B (zh) * 2019-07-24 2022-12-20 张�成 一种快速计算任务分流方法
CN112099932A (zh) * 2020-09-16 2020-12-18 广东石油化工学院 边缘计算中软-硬截止期任务卸载的最佳定价方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104407923A (zh) * 2014-10-31 2015-03-11 百度在线网络技术(北京)有限公司 基于单节点触发的集群任务均衡方法和装置
CN107220118A (zh) * 2017-06-01 2017-09-29 四川大学 移动云计算中计算资源定价与任务负载迁移策略研究

Also Published As

Publication number Publication date
CN113238839A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
US9112777B1 (en) Tag-based resource configuration control
WO2020087830A1 (zh) 数据分析方法、装置、服务器及存储介质
CN111338791A (zh) 集群队列资源的调度方法、装置、设备及存储介质
CN112732466A (zh) 一种服务调用方法、装置和系统
US20130347127A1 (en) Database management by analyzing usage of database fields
CN112905323A (zh) 数据处理方法、装置、电子设备及存储介质
CN113238839B (zh) 一种基于云计算数据管理方法及装置
CN116700929A (zh) 基于人工智能的任务批量处理方法及系统
CN110941681B (zh) 电力系统的多租户数据处理系统、方法和装置
CN110188258B (zh) 使用爬虫获取外部数据的方法及装置
CN104735134A (zh) 一种用于提供计算服务的方法和装置
CN111813542B (zh) 一种并行处理大规模图分析任务的负载均衡方法及其装置
CN111522843B (zh) 数据平台的控制方法、系统、设备及存储介质
CN115168297A (zh) 绕行日志审计方法及装置
CN110928938B (zh) 一种接口中间件系统
CN114443293A (zh) 一种大数据平台的部署系统及方法
CN113642836A (zh) 回调事件的处理方法、装置、计算机设备及存储介质
CN113612832A (zh) 流式数据分发方法与系统
CN110705736A (zh) 宏观经济预测方法、装置、计算机设备及存储介质
CN113821560A (zh) 一种基于dap平台的大数据处理方法及系统
CN111625352A (zh) 调度方法、装置及存储介质
Netto et al. An automated approach for scheduling bug fix tasks
CN113709183B (zh) 数据处理方法、装置、设备及存储介质
CN112948381B (zh) 数据处理方法、系统、计算机设备及可读存储介质
CN117170832A (zh) 基于人工智能的任务批量处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant