CN110704851A - 公有云数据处理方法和设备 - Google Patents

公有云数据处理方法和设备 Download PDF

Info

Publication number
CN110704851A
CN110704851A CN201910884445.3A CN201910884445A CN110704851A CN 110704851 A CN110704851 A CN 110704851A CN 201910884445 A CN201910884445 A CN 201910884445A CN 110704851 A CN110704851 A CN 110704851A
Authority
CN
China
Prior art keywords
public cloud
sequence
information
load information
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910884445.3A
Other languages
English (en)
Inventor
高海峰
赵平
元鹏
章富刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Lianwei Information Technology Co Ltd
Original Assignee
Shanghai Lianwei Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Lianwei Information Technology Co Ltd filed Critical Shanghai Lianwei Information Technology Co Ltd
Priority to CN201910884445.3A priority Critical patent/CN110704851A/zh
Publication of CN110704851A publication Critical patent/CN110704851A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请的目的是提供一种公有云数据处理方法和设备；用户终端基于用户的同一身份验证信息匹配对应的多个公有云账号识别信息，分别向多台网络设备发送多个观测参数请求，并接收所述多台网络设备分别基于所述观测参数请求而发送的时序上的多个观测参数；对所述观测参数建立ARIMA模型，并基于所述ARIMA模型确定所述多个公有云账号所对应的预测负载信息；基于所述预测负载信息确定预测资源需求信息；生成关于所述预测资源需求信息的公有云资源配置信息。本申请能够提高资源利用率、降低企业的公有云支出。

Description

公有云数据处理方法和设备
技术领域
本申请涉及计算机信息管理领域，尤其涉及一种公有云数据处理技术。
背景技术
云计算经历了多年的发展，目前正处于高速发展期，多云是云计算发展的必经阶段。由于企业的敏捷化和数字化，大量公有云被使用。由于每家公司的公有云都有自己的特色，大多数企业以多云的形式在使用。随着企业公有云的大规模使用，公有云资源的支出逐年递增。公有云具有即时使用、即时计费的特征，企业的信息管理人员可以在必要时根据实际需求执行相应的操作，来管控公有云的使用，从而控制成本。
发明内容
本申请的一个目的是提供一种公有云数据处理方法和设备。
根据本申请的一个方面，本申请提供了一种公有云数据处理方法，应用于一用户终端。所述方法包括以下步骤：
基于用户的同一身份验证信息匹配对应的多个公有云账号识别信息；
分别向多台网络设备发送多个观测参数请求，并接收所述多台网络设备分别基于所述观测参数请求而发送的时序上的多个观测参数，其中每个观测参数请求包括一公有云账号识别信息，每个观测参数包括相应的历史负载信息，所述公有云账号识别信息用于确定用户对相应公有云账号的访问权限；
对所述观测参数建立ARIMA模型，并基于所述ARIMA模型确定所述多个公有云账号所对应的预测负载信息；
基于所述预测负载信息确定预测资源需求信息；以及
生成关于所述预测资源需求信息的公有云资源配置信息。
根据本申请的另一个方面，本申请提供了一种用于对目标数据执行目标操作的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述方法的操作。
根据本申请的另一方面，本申请提供了一种存储指令的计算机可读介质，所述指令在被计算机执行时使得所述计算机执行上述方法的操作。
与现有技术相比，本申请基于公有云账号的相关观测参数以及相应的ARIMA模型确定预测负载，并根据预测负载提供对资源需求的预测，以生成相应的公有云资源配置信息，从而便于企业相关人员及时有效地对所用资源进行调整，以提高资源利用率、降低企业的公有云支出。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出本申请一个实施例的一种系统架构；
图2示出本申请一个实施例的一种公有云数据处理方法的流程；
图3是本申请一个实施例中任务队列的示意；
图4是图3中任务队列中当前任务的示意；
图5是本申请一个实施例的任务执行状态的转换示意图；
图6是本申请一个实施例中队列任务执行的流程示意图；
图7是本申请一个实施例中监控公有云资源的流程示意图；
图8示出一种公有云资源配置信息提示界面；
图9示出可用于本申请各实施例的一种示例性系统的功能模块。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如，中央处理器(Central Processing Unit,CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccess Memory,RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory,ROM)或闪存(Flash Memory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change Memory,PCM)、可编程随机存取存储器(Programmable Random Access Memory,PRAM)、静态随机存取存储器(Static Random-Access Memory,SRAM)、动态随机存取存储器(Dynamic Random AccessMemory,DRAM)、其他类型的随机存取存储器(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、电可擦除可编程只读存储器(Electrically-ErasableProgrammable Read-Only Memory,EEPROM)、快闪记忆体(Flash Memory)或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如Android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit,ASIC)、可编程逻辑器件(Programmable Logic Device,PLD)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、数字信号处理器(Digital Signal Processor,DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc Network)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
本申请首先提供了一种用于对公有云数据执行目标操作的系统架构。如图1，该系统采用B/S模式和微服务架构，总体分为用户层、中间层、数据层和云层。其中：
-用户层：用户通过PC电脑或第三方系统访问本系统。
-中间层：考虑系统的可扩展性进行前后端分离设计，可快速进行分布式部署，前端页面进行单独部署到Web服务器，后端应用进行单独部署到应用服务器；应用服务可构建集群提供服务，包括统一安全认证、统计分析服务、查询服务、可视化服务、数据库访问服务、配置服务、定时任务服务等，接口服务器为第三方提供单独的服务，设计为了防止第三方交互时对业务系统的影响，用户层通过Webservices或者Restful与中间层进行数据请求交互。
-数据层：数据库服务器能进行双机热备、主从等运行，增加单独的缓存服务器，对页面和常用数据进行缓存，用以减轻数据库的压力，解决数据库读写瓶颈，保证数据库的正常运行。
-云层：自定义定时任务，定时从云(阿里云、Azure、AWS、腾讯云)中同步资源数据，从云中同步元数据，通过数据清洗服务，根据定义的规则完成数据的清洗存储。
基于上述架构，具体而言，本申请提供了一种用于对公有云数据执行目标操作的方法。该方法应用于一用户终端，并由相应的网络设备(例如云端服务器)提供支撑。参考图2，该方法包括步骤S100、步骤S200、步骤S300、步骤S400和步骤S500。以下以一用户终端为例描述本申请的具体实施方式。
具体地，在步骤S100中，用户终端基于用户的同一身份验证信息匹配对应的多个公有云账号识别信息。随后在步骤S200中，用户终端分别向多台网络设备发送多个观测参数请求，并接收所述多台网络设备分别基于所述观测参数请求而发送的时序上的多个观测参数，其中每个观测参数请求包括一公有云账号识别信息，每个观测参数包括相应的历史负载信息，所述公有云账号识别信息用于确定用户对相应公有云账号的访问权限。上述历史负载信息包括但不限于网络设备或云端设备的各项处理器负载信息、带宽负载信息、存储负载信息，在一些实施例中基于用户终端或云端定期获取的当前负载信息而得到更新，从而保证预测结果的实时性。
其中在一些实施例中，用户终端先获取用户的身份验证信息，再基于所述身份验证信息匹配对应的多个公有云账号识别信息。例如，用户(例如管理员)在用户终端输入自己的用户标识(例如系统账号名称)及认证信息(例如账号密码)。管理员所登录的用户账号对应于其所管理的若干个公有云账号；在一些情形下，对于同一套系统而言，不同的管理员可能管理不同的公有云账号。
管理员将多云账号录入到系统中，设置定时同步频率，自动创建同步任务，任务达到执行条件时，自动从对应的云中同步资源数据及监控数据到本地，配置资源优化规则，系统根据规则自动计算判断资源优化信息，最后对生成的优化节约数据进行自定义统计展示。
为实现上述资源优化信息的获取，在上述步骤S200之后，在步骤S300中，用户终端对所述观测参数建立ARIMA模型，并基于所述ARIMA模型确定所述多个公有云账号所对应的预测负载信息；随后，用户终端在步骤S400中基于所述预测负载信息确定预测资源需求信息，并在步骤S500中生成关于所述预测资源需求信息的公有云资源配置信息。
在此，在一些实施例中，用户终端还基于上述公有云账号信息而分别向多台网络设备发送多个元数据请求，以使用公有云资源；其中每个元数据请求包括一公有云账号识别信息，所述公有云账号识别信息用于确定用户的相应的访问权限。例如，多台网络设备分别对应于多个不同的云平台。用户对某个云账号的访问权限，在一些实施例中由用户提供的相关账号信息确定，例如阿里云需要获取录入accessKeyId、accessSecret字段，而Azure(亚马逊所提供的云服务平台)需要获取录入subscriptionId、clientSecret字段。录入成功以后验证录入账号是否可用。随后，用户终端接收所述多台网络设备基于所述元数据请求而发送的多条元数据。其中，元数据主要是描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。用户终端对所述元数据执行清洗操作以获得相应的多条目标数据，并确定每条目标数据的组别信息。其中，在一些实施例中，根据各云平台不同的数据清洗规则，将元数据的内容清洗至相应的数据结构中，包括检查数据一致性，处理无效值和缺失值等。随后用户终端响应于用户在所述用户终端的单一界面输入的操作指令，基于至少一项组别信息对相应的目标数据执行对应的目标操作，其中所述操作指令包括所述至少一项组别信息。在一些实施例中，相应的操作结果亦在前述单一界面中整合呈现。从而，用户仅在一个单一的用户界面中，即可实现对多个云账号的管理，无需分别处理各个云账号。
其中在一些实施例中，在上述步骤S200中，用户终端基于预设的时间间隔分别向多台网络设备发送多个观测参数请求。例如，在获取用户的身份验证信息后，系统自行地每隔一定时间执行前述操作，以减轻用户的操作负担和提高本地数据的实时性。具体而言，在一些实施例中，上述步骤S200包括子步骤S210、子步骤S220、子步骤S230和子步骤S240(均未示出)。在子步骤S210中，用户终端创建任务队列，所述任务队列包括对应于所述多个公有云账号识别信息的多个观测参数请求任务；在子步骤S220中，用户终端获取所述任务队列中的当前任务，并确定所述当前任务的可执行状态；在子步骤S230中，用户终端若所述当前任务的可执行状态为不可执行，将所述当前任务移至所述任务队列的队尾；在子步骤S240中，若所述当前任务的可执行状态为可以执行，用户终端执行所述当前任务以向相应的网络设备发送相应的观测参数请求，并在所述当前任务执行完毕后移除所述当前任务。其中，为自动执行某些任务而减轻管理员负担，一些任务设置有循环状态，该循环状态用于表征该任务是否在本次执行后仍需再次自动执行。
其中，一个账号任务的示意请参见图4，其属性主要包括账号信息、循环标志、下次执行时间、任务状态标志、子任务信息；子任务主要包括ECS、RDS、OSS等子任务，ECS监控项主要包括CPU百分比(CPU Utilization)、系统磁盘总读BPS(Disk Read BPS)、系统磁盘总写BPS(Disk Write BPS)、公网流出带宽(Internet Out Rate)，而RDS监控项主要包括CPU使用率(Cpu Usage)、磁盘使用率(Disk Usage)、连接数使用率(Connection Usage)、内存使用率(MemoryUsage)。当然，本领域技术人员应能理解，这些账号任务的属性，及子任务的种类，在此仅为举例而非对本申请的任何限定；其他现有的或者今后可能出现的账号任务的属性，及子任务的种类，如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。
图5示出了各个状态之间的转换过程。相应地在一些实施例中，在子步骤S240中，若所述当前任务的可执行状态为可以执行，用户终端执行所述当前任务以向相应的网络设备发送相应的元数据请求；若所述当前任务的循环状态为真，在所述当前任务执行完毕后将所述当前任务移至所述任务队列的队尾；否则在所述当前任务执行完毕后移除所述当前任务。
例如，系统对各个云账号资源(基础资源、资源监控等)信息同步的管理；同步任务创建成功以后，会保存到待执行的任务队列中，如图3所示。任务队列中一个账号任务包含多个资源信息的子任务，而每个账号任务有且只有一个状态，任务状态分为(可执行、待执行、执行中、执行完成、执行错误)，并且任务记录下次执行时间，标记是否循环任务(例如，0-否，1-是)。参考图6示出的任务执行流程，系统首先获取队列中的第一个任务(即“当前任务”)，判断其是否可执行；若当前不可执行，将该当前任务移至队尾，否则将其状态置为执行中(以便在并行处理时避免发生冲突)，将任务放入执行线程池，并通过子任务并发协程执行。在当前任务执行完毕后，将该当前任务的完成状态标记为“已完成”；检查循环标识，若该当前任务为循环任务，仍将该任务移至队尾，否则从队列中移除该任务。
在一些实施例中，上述步骤S300包括子步骤S310、子步骤S320、子步骤S330(均未示出)。其中在子步骤S310中，用户终端对所述观测参数建立ARIMA模型，并检测所述时序上的多个观测参数所对应的参数序列是否满足平稳序列条件；在子步骤S320中，若所述参数序列满足所述平稳序列条件，用户终端基于所述ARIMA模型确定所述参数序列所对应的预测序列；在子步骤S330中，用户终端基于所述预测序列确定所述多个公有云账号所对应的预测负载信息。其中在一些实施例中步骤S300还包括子步骤S340(未示出)；在该子步骤S340中，若所述参数序列未满足所述平稳序列条件，用户终端对所述参数序列执行差分操作以获取对应的平稳序列，基于所述ARIMA模型确定所述平稳序列所对应的预测序列。
例如，事先将多云账号同步的资源数据和监控数据做持久化，作为优化节约分析计算的基础数据。ARIMA模型提供了一种对时间序列数据做预测的方法，模型记做ARIMA(p,d,q)。ARIMA模型是AR模型、MA模型和ARMA模型的组合。在本申请的各个实施例中，ARIMA(p,d,q)模型的表达式为
E(εt)＝0,
Figure BDA0002206023760000082
E(εtεs)＝0,s≠t,
Figure BDA0002206023760000083
上述表达式中，εt为零均值随机干扰序列；χt为负载序列；表示时间序列的d阶差分；
Figure BDA0002206023760000085
表示ARMA(p,q)模型的自回归系数多项式；Θ(B)＝1-θ1B-…-θqBq表示平稳可逆ARMA(p,q)模型的移动平滑系数多项式。在本申请的各个实施例中，ARIMA模型建立的流程如下：通过云监控系统获取性能指标的时间序列值，记作Y1,Y2,…,Yt。利用单位根检验法检验该序列是否为平稳序列，若为非平稳序列，利用差分的方法，对原始序列进行平稳化预处理，得到平稳时间序列X1,X2,…,Xt-d；从差分处理后的平稳时间序列中取前N个数据作为观测数据，进行零均值化处理，得到序列{X′t}。
在一些实施例中，按照图7示出的流程，首先读取未计算资源的历史监控数据，根据计算取得预测负载，根据预测副总计算取得增加或减少资源，将计算结果持久化，并判断是否有未计算的监控数据。图8示出了一个实施例中关于预测资源需求信息的公有云资源配置信息，该信息包括相应的资源使用情况，以及接下来的操作建议。
其中，若执行过差分操作，在子步骤S330中，用户终端对所述预测序列执行差分恢复操作，以确定所述多个公有云账号所对应的预测负载信息，以便于获得直观的预测数据。
在多云环境中的云资源负载，各个服务有显著的时域波动特征。为适应这种特征以获得更准确及时的预测信息，所述ARIMA模型包括季节性ARIMA模型，以预测负载。
在一些实施例中，所述参数序列基于负载周期及样本周期数而确定；在子步骤S330中，用户终端基于所述预测序列确定所述多个公有云账号所对应的、下一预设时间片内的预测负载信息。例如，本申请提供一种算法。在该算法中：C为负载周期，可取24h；n为用于预测的样本周期数；T为预测的时间片；Lmax为资源的最大负载量；α为额外分配的资源比例。
算法主要流程如下：
1)从历史监控数据中取出最近的C·n个数据作为输入样本序列W；
2)使用季节性的ARIMA模型预测序列W下一个时间片T+1时的负载Lw；对W进行差分运算，得到W'；对W'采用季节性的ARIMA模型得到预测值Pw'；对Pw'进行差分恢复运算，得到预测负载Pw；
3)根据预测负载进行资源分配：计算下一个时间片T+1时的预估资源需求S(T+1)＝(1+α)Lw/Lmax；若S(T+1)>S(T)，则需增加ΔS个资源；若S(T+1)<S(T)，则能减少ΔS资源；
4)通过云监控信息获取当前实际的监控资源数据并存入历史数据中，转至流程1)。
基于上述增加或减少的资源数量，在一些实施例中，前述预测资源需求信息包括以下至少任一项，以便用户及时作出调整，以适应实际需求并尽可能节约成本：
-资源增加数量信息；
-资源减少数量信息。
如前所述，历史负载信息亦可基于定时观测的当前负载信息而更新，从而提升系统的实时性。相应地在一些实施例中，上述方法还包括步骤S600(未示出)。在该步骤S600中，用户终端向所述多台网络设备请求相应的当前负载信息，并基于所述当前负载信息更新相应的观测参数。其中，上述当前负载信息包括以下至少一项：
-处理器负载信息，例如CPU百分比、当前内核空间占用CPU百分比、当前用户空间占用CPU百分比、当前等待IO操作的CPU百分比等；
-带宽负载信息，例如公网流入/流出带宽、私网流入/流出带宽、各流出带宽使用率等；
-存储负载信息，例如磁盘总读BPS、系统磁盘总写BPS、系统磁盘读IOPS、系统磁盘写IOPS等。
其中在一些实施例中，上述方法还包括步骤S700(未示出)。在步骤S700中，用户终端基于所述预测负载信息执行关于相应公有云账号所对应的资源调整操作，以增加系统负载调整过程的实时性，并进一步提高效率并降低管理人员的工作量。
为直观起见，在此以同步阿里云ECS监控数据为例，基础监控项列表如下表1，操作系统级别监控项如下表2。
表1
Figure BDA0002206023760000101
Figure BDA0002206023760000111
Figure BDA0002206023760000121
表2
Figure BDA0002206023760000122
Figure BDA0002206023760000131
Figure BDA0002206023760000141
Figure BDA0002206023760000151
Figure BDA0002206023760000161
Figure BDA0002206023760000171
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
图9示出了可被用于实施本申请中所述的各个实施例的示例性系统。
如图9所示，在一些实施例中，系统1000能够作为各所述实施例中的任意一个用户终端设备。在一些实施例中，系统1000可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备1020)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器1005)。
对于一个实施例，系统控制模块1010可包括任意适当的接口控制器，以向(一个或多个)处理器1005中的至少一个和/或与系统控制模块1010通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块1010可包括存储器控制器模块1030，以向系统存储器1015提供接口。存储器控制器模块1030可以是硬件模块、软件模块和/或固件模块。
系统存储器1015可被用于例如为系统1000加载和存储数据和/或指令。对于一个实施例，系统存储器1015可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器1015可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，系统控制模块1010可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备1020及(一个或多个)通信接口1025提供接口。
例如，NVM/存储设备1020可被用于存储数据和/或指令。NVM/存储设备1020可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(Hard Disk,HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备1020可包括在物理上作为系统1000被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备1020可通过网络经由(一个或多个)通信接口1025进行访问。
(一个或多个)通信接口1025可为系统1000提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统1000可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器(例如，存储器控制器模块1030)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，系统1000可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统1000可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统1000包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (13)

1.一种公有云数据处理方法，应用于一用户终端，其中，所述方法包括：
基于用户的同一身份验证信息匹配对应的多个公有云账号识别信息；
分别向多台网络设备发送多个观测参数请求，并接收所述多台网络设备分别基于所述观测参数请求而发送的时序上的多个观测参数，其中每个观测参数请求包括一公有云账号识别信息，每个观测参数包括相应的历史负载信息，所述公有云账号识别信息用于确定用户对相应公有云账号的访问权限；
对所述观测参数建立ARIMA模型，并基于所述ARIMA模型确定所述多个公有云账号所对应的预测负载信息；
基于所述预测负载信息确定预测资源需求信息；
生成关于所述预测资源需求信息的公有云资源配置信息。
2.根据权利要求1所述的方法，其中，所述分别向多台网络设备发送多个观测参数请求的步骤，包括：
基于预设的时间间隔分别向多台网络设备发送多个观测参数请求。
3.根据权利要求1所述的方法，其中，所述对所述观测参数建立ARIMA模型，并基于所述ARIMA模型确定所述多个公有云账号所对应的预测负载信息的步骤，包括：
对所述观测参数建立ARIMA模型，并检测所述时序上的多个观测参数所对应的参数序列是否满足平稳序列条件；
若所述参数序列满足所述平稳序列条件，基于所述ARIMA模型确定所述参数序列所对应的预测序列；
基于所述预测序列确定所述多个公有云账号所对应的预测负载信息。
4.根据权利要求3所述的方法，其中，所述方法还包括：
若所述参数序列未满足所述平稳序列条件，对所述参数序列执行差分操作以获取对应的平稳序列，基于所述ARIMA模型确定所述平稳序列所对应的预测序列。
5.根据权利要求4所述的方法，其中，所述基于所述预测序列确定所述多个公有云账号所对应的预测负载信息的步骤，包括：
对所述预测序列执行差分恢复操作，以确定所述多个公有云账号所对应的预测负载信息。
6.根据权利要求4或5所述的方法，其中，所述ARIMA模型包括季节性ARIMA模型。
7.根据权利要求3所述的方法，其中，所述参数序列基于负载周期及样本周期数而确定；
所述基于所述预测序列确定所述多个公有云账号所对应的预测负载信息的步骤，包括：
基于所述预测序列确定所述多个公有云账号所对应的、下一预设时间片内的预测负载信息。
8.根据权利要求7所述的方法，其中，所述预测资源需求信息包括以下至少任一项：
资源增加数量信息；
资源减少数量信息。
9.根据权利要求1所述的方法，其中，所述方法还包括：
向所述多台网络设备请求相应的当前负载信息，并基于所述当前负载信息更新相应的观测参数。
10.根据权利要求9所述的方法，其中，所述当前负载信息包括以下至少任一项：
处理器负载信息；
带宽负载信息；
存储负载信息。
11.根据权利要求1所述的方法，其中，所述方法还包括：
基于所述预测负载信息执行关于相应公有云账号所对应的资源调整操作。
12.一种用于对目标数据执行目标操作的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1至11中任一项所述方法的操作。
13.一种存储指令的计算机可读介质，所述指令在被执行时使得系统执行根据权利要求1至11中任一项所述方法的操作。
CN201910884445.3A 2019-09-18 2019-09-18 公有云数据处理方法和设备 Pending CN110704851A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910884445.3A CN110704851A (zh) 2019-09-18 2019-09-18 公有云数据处理方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910884445.3A CN110704851A (zh) 2019-09-18 2019-09-18 公有云数据处理方法和设备

Publications (1)

Publication Number Publication Date
CN110704851A true CN110704851A (zh) 2020-01-17

Family

ID=69195599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910884445.3A Pending CN110704851A (zh) 2019-09-18 2019-09-18 公有云数据处理方法和设备

Country Status (1)

Country Link
CN (1) CN110704851A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112769782A (zh) * 2020-12-29 2021-05-07 上海联蔚盘云科技有限公司 多云安全基线管理的方法与设备
CN114661838A (zh) * 2022-04-01 2022-06-24 江苏邦宁科技有限公司 新一代通讯系统数据存储的云端管理方法
CN116156449A (zh) * 2023-04-17 2023-05-23 北京昆仑海岸科技股份有限公司 一种用于传输数据信息的方法、设备、介质及程序产品

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104639626A (zh) * 2015-01-28 2015-05-20 华侨大学 一种多级负载预测与云资源弹性配置方法与监控配置系统
CN104850450A (zh) * 2015-05-14 2015-08-19 华中科技大学 一种面向混合云应用的负载均衡方法及系统
CN107241384A (zh) * 2017-05-03 2017-10-10 复旦大学 一种基于多云架构的内容分发服务资源优化调度方法
CN107370625A (zh) * 2017-07-24 2017-11-21 北京哈工大计算机网络与信息安全技术研究中心 一种云平台运行状态监控方法及监控平台
CN107493310A (zh) * 2016-06-13 2017-12-19 腾讯科技（深圳）有限公司 一种云资源处理方法及云管理平台
CN107959588A (zh) * 2017-12-07 2018-04-24 郑州云海信息技术有限公司 数据中心的云资源管理方法、云资源管理平台和管理系统
CN108011764A (zh) * 2017-12-07 2018-05-08 国云科技股份有限公司 一种预测多云平台存储资源增长量的方法
CN108092806A (zh) * 2017-12-11 2018-05-29 国云科技股份有限公司 一种基于多云平台的多角色管理方法
CN108200022A (zh) * 2017-12-22 2018-06-22 新华三云计算技术有限公司 一种云平台接入方法、装置及多云平台管理系统
CN108521407A (zh) * 2018-03-21 2018-09-11 国云科技股份有限公司 一种基于多云平台的二次安全访问控制方法
CN108701182A (zh) * 2016-08-31 2018-10-23 甲骨文国际公司 多租户身份云服务的数据管理
CN109067756A (zh) * 2018-08-20 2018-12-21 国云科技股份有限公司 一种适用于多云管理的用户同步及权限控制方法
CN109120444A (zh) * 2018-08-21 2019-01-01 陆明 云资源管理方法、处理器以及存储介质
CN109525605A (zh) * 2019-01-03 2019-03-26 杭州数梦工场科技有限公司 一种账号管理方法、装置、系统及计算机可读存储介质
CN109710401A (zh) * 2018-12-17 2019-05-03 国云科技股份有限公司 一种云计算资源成本优化方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104639626A (zh) * 2015-01-28 2015-05-20 华侨大学 一种多级负载预测与云资源弹性配置方法与监控配置系统
CN104850450A (zh) * 2015-05-14 2015-08-19 华中科技大学 一种面向混合云应用的负载均衡方法及系统
CN107493310A (zh) * 2016-06-13 2017-12-19 腾讯科技（深圳）有限公司 一种云资源处理方法及云管理平台
CN108701182A (zh) * 2016-08-31 2018-10-23 甲骨文国际公司 多租户身份云服务的数据管理
CN107241384A (zh) * 2017-05-03 2017-10-10 复旦大学 一种基于多云架构的内容分发服务资源优化调度方法
CN107370625A (zh) * 2017-07-24 2017-11-21 北京哈工大计算机网络与信息安全技术研究中心 一种云平台运行状态监控方法及监控平台
CN108011764A (zh) * 2017-12-07 2018-05-08 国云科技股份有限公司 一种预测多云平台存储资源增长量的方法
CN107959588A (zh) * 2017-12-07 2018-04-24 郑州云海信息技术有限公司 数据中心的云资源管理方法、云资源管理平台和管理系统
CN108092806A (zh) * 2017-12-11 2018-05-29 国云科技股份有限公司 一种基于多云平台的多角色管理方法
CN108200022A (zh) * 2017-12-22 2018-06-22 新华三云计算技术有限公司 一种云平台接入方法、装置及多云平台管理系统
CN108521407A (zh) * 2018-03-21 2018-09-11 国云科技股份有限公司 一种基于多云平台的二次安全访问控制方法
CN109067756A (zh) * 2018-08-20 2018-12-21 国云科技股份有限公司 一种适用于多云管理的用户同步及权限控制方法
CN109120444A (zh) * 2018-08-21 2019-01-01 陆明 云资源管理方法、处理器以及存储介质
CN109710401A (zh) * 2018-12-17 2019-05-03 国云科技股份有限公司 一种云计算资源成本优化方法
CN109525605A (zh) * 2019-01-03 2019-03-26 杭州数梦工场科技有限公司 一种账号管理方法、装置、系统及计算机可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112769782A (zh) * 2020-12-29 2021-05-07 上海联蔚盘云科技有限公司 多云安全基线管理的方法与设备
CN114661838A (zh) * 2022-04-01 2022-06-24 江苏邦宁科技有限公司 新一代通讯系统数据存储的云端管理方法
CN116156449A (zh) * 2023-04-17 2023-05-23 北京昆仑海岸科技股份有限公司 一种用于传输数据信息的方法、设备、介质及程序产品
CN116156449B (zh) * 2023-04-17 2023-07-21 北京昆仑海岸科技股份有限公司 一种用于传输数据信息的方法、设备、介质及程序产品

Similar Documents

Publication Publication Date Title
US11392843B2 (en) Utilizing a machine learning model to predict a quantity of cloud resources to allocate to a customer
CN110719320B (zh) 公有云配置调整信息的生成方法和设备
US10447806B1 (en) Workload scheduling across heterogeneous resource environments
CN106776005B (zh) 一种面向容器化应用的资源管理系统及方法
RU2646323C2 (ru) Технологии для выделения конфигурируемых вычислительных ресурсов
CN112583882A (zh) 用于管理边缘环境中的遥测数据的方法、系统、制品和装置
JP6031196B2 (ja) 分散データストレージ・処理システムのためのチューニング
US10997113B1 (en) Method and system for a resource reallocation of computing resources in a resource pool using a ledger service
CN110704851A (zh) 公有云数据处理方法和设备
Saxena et al. OFP-TM: an online VM failure prediction and tolerance model towards high availability of cloud computing environments
US9910881B1 (en) Maintaining versions of control plane data for a network-based service control plane
US10243819B1 (en) Template generation based on analysis
US10977153B1 (en) Method and system for generating digital twins of resource pools and resource pool devices
US12086645B2 (en) System and method for capacity management in distributed system
US12045661B2 (en) System and method for usage based system management
US20150032893A1 (en) Visualization of workload distribution on server resources
CN111049904A (zh) 多公有云资源监控的方法与设备
CN103077070A (zh) 云计算管理系统以及云计算系统的管理方法
US10884845B2 (en) Increasing processing capacity of processor cores during initial program load processing
US11875190B2 (en) Methods and systems for AI-based load balancing of processing resources in distributed environments
WO2023089350A1 (en) An architecture for a self-adaptive computation management in edge cloud
US11663504B2 (en) Method and system for predicting resource reallocation in a resource pool
US20220147380A1 (en) Optimizing Hybrid Cloud Usage
US9772877B2 (en) Managing I/O operations in a shared file system
US11381468B1 (en) Identifying correlated resource behaviors for resource allocation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 200231 5th floor, building 2, 188 Pingfu Road, Xuhui District, Shanghai

Applicant after: Shanghai Lianwei Digital Technology Group Co.,Ltd.

Address before: 200231 5th floor, building 2, 188 Pingfu Road, Xuhui District, Shanghai

Applicant before: Shanghai Lianwei Information Technology Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20200117

RJ01 Rejection of invention patent application after publication