CN112085563A - 一种基于cnn的云硬盘资源管理方法 - Google Patents

一种基于cnn的云硬盘资源管理方法 Download PDF

Info

Publication number
CN112085563A
CN112085563A CN202010919178.1A CN202010919178A CN112085563A CN 112085563 A CN112085563 A CN 112085563A CN 202010919178 A CN202010919178 A CN 202010919178A CN 112085563 A CN112085563 A CN 112085563A
Authority
CN
China
Prior art keywords
cnn
user
cloud hard
hard disk
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010919178.1A
Other languages
English (en)
Inventor
冯建奎
李凯
李超
于昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN202010919178.1A priority Critical patent/CN112085563A/zh
Publication of CN112085563A publication Critical patent/CN112085563A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0605—Supply or demand aggregation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于CNN的云硬盘资源管理方法，属于云计算技术领域，本发明利用用户设置的阈值和业务数据，预测出未来某一段时间内，用户所需要的各种类型的云硬盘的数量，并通过云平台为用户自动购买或退订云硬盘。本发明根据用户的业务特点，利用CNN算法在处理庞大数据上的优势，通过云计算平台，能够自动为用户在未来某一段时间内购买最合理的云硬盘资源。

Description

一种基于CNN的云硬盘资源管理方法
技术领域
本发明涉及云计算技术，尤其涉及一种基于CNN的云硬盘资源管理方法。
背景技术
目前，云计算技术通过资源云化为云计算用户提供各种云计算资源。云硬盘技术属于云计算技术中的一个不可分割的部分，它通过云平台技术为用户提供弹性存储资源。随着大数据时代的到来，许多应用于复杂场景的模型算法出现于人们的视野中。人工神经网络通过对连续或断续的输入作状态响应而进行信息处理，是一种旨在模仿人脑结构及其功能的信息处理系统。它在处理复杂场景数据上有着独特的优势。卷积神经网络(CNN)是人工神经网络发展的产物，它利用独特的局部感受野、池化技术和权值共享，能挖掘出数据的深层次信息。目前，CNN已经成功应用到了多种领域中，如人脸识别、车牌识别、自然语言处理等。云计算技术应用场景的复杂性，决定了其与神经网络技术相结合的趋势。随着用户需求的变化，目前已经出现了各种类型的云硬盘，如SATA、SSD等。这些云硬盘类型采用了不同的存储介质，因此会在性能上存在不同程度上的差异，给云计算用户提供了多种满足业务需求的方案。然而，用户如何根据自己的业务需要以一种最合理的方案购买云硬盘资源是目前云计算技术面临的问题。
目前，用户根据自己的业务特点粗略估计所需要的存储资源。这将导致购买的存储资源类型搭配不合理，无法充分利用或者无法满足业务的需要。
发明内容
为了解决以上技术问题，本发明提供了一种基于CNN的云硬盘资源管理方法，利用CNN分析用户的业务数据，根据分析结果，通过云计算平台为用户提供一种合理的云硬盘资源采购方案。
本发明提出了一种云硬盘资源管理方法，本发明能够实现在满足用户业务需求的前提下，自动创建合理的云硬盘资源。本发明通过分析用户在实际业务中，云硬盘资源的实际使用情况，结合CNN算法和云计算平台，能够较为准确的为用户实时创建在实际业务中所需的各类云硬盘资源。
本发明的技术方案是：
一种基于CNN的云硬盘资源管理方法，
利用用户设置的阈值和业务数据，预测出未来设定的时间内，用户所需要的各种类型的云硬盘的数量，并通过云平台为用户自动购买或退订云硬盘。
进一步的，
采用CNN模型分析用户的业务数据，根据分析结果进行采购。
进一步的，
分为模型训练和模型预测两个阶段；通过输入数据进行模型训练以达到精准效果；再通过模型训练的结果进行预测资源采购。
在模型训练阶段，收集相关的业务数据和各类云硬盘资源使用情况，将业务数据作为卷积神经网络模型(CNN)的输入，实际使用的各类云硬盘容量和数量作为CNN的输出。
CNN的每个神经元都接收输入，并做点积计算，输出是每个分类的分数，通过比较各类获得的分数，输出最终的分类结果。
CNN的全链接层使用Softmax激活函数作为网络的输出。
训练过程中，利用历史数据训练CNN模型，并将该模型用来预测用户在下一个时间粒度内需要的各类云硬盘资源，并根据预测出的资源使用情况通过调用云计算平台的资源购买接口获取需要的云硬盘资源。
历史数据即在时间粒度内，SATA、SAS、SSD的实际使用数量和容量。
本发明的有益效果是
本发明利用CNN处理庞大数据的优势，针对用户在实际业务场景中对各种类型的云硬盘数量和容量的使用情况，预测出用户未来某一时间粒度内对各类云硬盘资源的需求情况，并借助云计算平台实现自动为用户购买云硬盘资源。相对于用户粗略估计和手动购买所需的云硬盘资源，不仅能够自动为用户管理(购买、退订等)云硬盘资源，而且能够在保证业务正常运行的情况下，充分利用云硬盘资源。
附图说明
图1是采用的卷积神经网络模型；
图2是本发明的工作流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出了一种基于卷积神经网络算法(CNN，Convolutional NeuralNetworks)的云硬盘资源管理方法。本发明利用用户设置的阈值和业务数据，预测出未来某一段时间内，用户所需要的各种类型的云硬盘的数量，并通过云平台为用户自动购买或退订云硬盘。
本发明分为模型训练和模型预测两个阶段。在模型训练阶段，我们需要收集相关的业务数据和各类云硬盘资源使用情况，将业务数据作为卷积神经网络模型(CNN)的输入，实际使用的各类云硬盘容量和数量作为CNN的输出。
CNN由具有可学习的权重和偏置常量(biases)的神经元组成。每个神经元都接收一些输入，并做一些点积计算，输出是每个分类的分数，通过比较各类获得的分数，输出最终的分类结果。
CNN包括卷积层、池化层、全链接层。其中，卷积层和池化层的组合可以在神经网络中出现多次，能够深层次挖掘出数据更多的信息。全链接层使用Softmax激活函数作为网络的输出，降低了模型的训练难度，使模型更容易收敛。图1为采用的卷积神经网络模型。
本发明采用的CNN模型结构由实际业务需求决定。
例如，某电商平台正常运营需要购买云硬盘资源，该平台的业务数据包括访问量、视频播放量等m条数据。我们以1小时为时间粒度，在该时间粒度内采集的数据维度为m×n,我们将此数据作为CNN的输入；如果当前云计算平台支持SATA、SAS、SSD三种类型的云硬盘，则CNN的输出数据的维度将为(3×2)×1。我们将过去的业务数据组成庞大的训练样本，训练CNN模型，并将该模型用于预测未来对云硬盘资源的使用情况，最后通过云计算平台实现自动购买云硬盘资源。
基于openstack开发的云计算平台具有各类云硬盘资源的购买、退订的功能，可以通过封装云计算平台的相关接口实现对其资源的调度。
如图2所示，训练过程中，利用历史数据(即在时间粒度内，SATA、SAS、SSD等资源的实际使用数量和容量)，训练CNN模型，并将该模型用来预测用户在下一个时间粒度内需要的各类云硬盘资源，并根据预测出的资源使用情况通过调用云计算平台的资源购买接口获取需要的云硬盘资源。
本发明利用CNN模型在庞大数据分析上的优势，相较其他神经网络模型能够获得更高的准确率；将CNN神经网络模型与云计算平台相结合，实现云硬盘资源自动创建的功能。
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种基于CNN的云硬盘资源管理方法，其特征在于，
利用用户设置的阈值和业务数据，预测出未来设定的时间内，用户所需要的各种类型的云硬盘的数量，并通过云平台为用户自动购买或退订云硬盘。
2.根据权利要求1所述的方法，其特征在于，
采用CNN模型分析用户的业务数据，根据分析结果进行采购。
3.根据权利要求2所述的方法，其特征在于，
分为模型训练和模型预测两个阶段；通过输入数据进行模型训练以达到精准效果；再通过模型训练的结果进行预测资源采购。
4.根据权利要求3所述的方法，其特征在于，
在模型训练阶段，收集相关的业务数据和各类云硬盘资源使用情况，将业务数据作为CNN的输入，实际使用的各类云硬盘容量和数量作为CNN的输出。
5.根据权利要求4所述的方法，其特征在于，
CNN的每个神经元都接收输入，并做点积计算，输出是每个分类的分数，通过比较各类获得的分数，输出最终的分类结果。
6.根据权利要求5所述的方法，其特征在于，
CNN的全链接层使用Softmax激活函数作为网络的输出。
7.根据权利要求5所述的方法，其特征在于，
训练过程中，利用历史数据训练CNN模型，并将该模型用来预测用户在下一个时间粒度内需要的各类云硬盘资源，并根据预测出的资源使用情况通过调用云计算平台的资源购买接口获取需要的云硬盘资源。
8.根据权利要求5所述的方法，其特征在于，
历史数据即在时间粒度内，SATA、SAS、SSD的实际使用数量和容量。
CN202010919178.1A 2020-09-04 2020-09-04 一种基于cnn的云硬盘资源管理方法 Pending CN112085563A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010919178.1A CN112085563A (zh) 2020-09-04 2020-09-04 一种基于cnn的云硬盘资源管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010919178.1A CN112085563A (zh) 2020-09-04 2020-09-04 一种基于cnn的云硬盘资源管理方法

Publications (1)

Publication Number Publication Date
CN112085563A true CN112085563A (zh) 2020-12-15

Family

ID=73732801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010919178.1A Pending CN112085563A (zh) 2020-09-04 2020-09-04 一种基于cnn的云硬盘资源管理方法

Country Status (1)

Country Link
CN (1) CN112085563A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024045744A1 (zh) * 2022-09-02 2024-03-07 华为云计算技术有限公司 一种资源规划的方法、装置及相关设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103092699A (zh) * 2013-01-10 2013-05-08 中国南方电网有限责任公司超高压输电公司 一种云计算资源预分配实现方法
CN108037993A (zh) * 2017-11-07 2018-05-15 大国创新智能科技(东莞)有限公司 基于大数据和深度学习神经网络的云计算调度方法及系统
CN109412829A (zh) * 2018-08-30 2019-03-01 华为技术有限公司 一种资源配置的预测方法及设备
CN109635918A (zh) * 2018-10-30 2019-04-16 银河水滴科技（北京）有限公司 基于云平台和预设模型的神经网络自动训练方法和装置
US10311342B1 (en) * 2016-04-14 2019-06-04 XNOR.ai, Inc. System and methods for efficiently implementing a convolutional neural network incorporating binarized filter and convolution operation for performing image classification
US20190228268A1 (en) * 2016-09-14 2019-07-25 Konica Minolta Laboratory U.S.A., Inc. Method and system for cell image segmentation using multi-stage convolutional neural networks
CN110850711A (zh) * 2019-12-06 2020-02-28 中国科学院自动化研究所 基于云端的辅助驾驶控制系统及方法
CN111327456A (zh) * 2020-01-21 2020-06-23 山东汇贸电子口岸有限公司 一种基于lstm的云计算资源管理方法和系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103092699A (zh) * 2013-01-10 2013-05-08 中国南方电网有限责任公司超高压输电公司 一种云计算资源预分配实现方法
US10311342B1 (en) * 2016-04-14 2019-06-04 XNOR.ai, Inc. System and methods for efficiently implementing a convolutional neural network incorporating binarized filter and convolution operation for performing image classification
US20190228268A1 (en) * 2016-09-14 2019-07-25 Konica Minolta Laboratory U.S.A., Inc. Method and system for cell image segmentation using multi-stage convolutional neural networks
CN108037993A (zh) * 2017-11-07 2018-05-15 大国创新智能科技(东莞)有限公司 基于大数据和深度学习神经网络的云计算调度方法及系统
CN109412829A (zh) * 2018-08-30 2019-03-01 华为技术有限公司 一种资源配置的预测方法及设备
CN109635918A (zh) * 2018-10-30 2019-04-16 银河水滴科技（北京）有限公司 基于云平台和预设模型的神经网络自动训练方法和装置
CN110850711A (zh) * 2019-12-06 2020-02-28 中国科学院自动化研究所 基于云端的辅助驾驶控制系统及方法
CN111327456A (zh) * 2020-01-21 2020-06-23 山东汇贸电子口岸有限公司 一种基于lstm的云计算资源管理方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KARTHIEK REDDY BOKKA，等: "《智能系统与技术丛书 基于深度学习的自然语言处理》", 31 May 2020 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024045744A1 (zh) * 2022-09-02 2024-03-07 华为云计算技术有限公司 一种资源规划的方法、装置及相关设备

Similar Documents

Publication Publication Date Title
CN107609147B (zh) 一种从日志流中自动提取特征的方法和系统
CN107766929B (zh) 模型分析方法及装置
CN111177575A (zh) 一种内容推荐方法、装置、电子设备和存储介质
CN110389820B (zh) 一种基于v-TGRU模型进行资源预测的私有云任务调度方法
WO2021164317A1 (zh) 序列挖掘模型的训练方法、序列数据的处理方法及设备
CN111401433A (zh) 用户信息获取方法、装置、电子设备及存储介质
CN112800053B (zh) 数据模型的生成方法、调用方法、装置、设备及存储介质
CN112221159B (zh) 一种虚拟道具推荐方法、装置及计算机可读存储介质
CN113283948B (zh) 预测模型的生成方法、装置、设备和可读介质
CN112165639A (zh) 内容分发方法、装置、电子设备以及存储介质
CN113672797A (zh) 一种内容推荐方法及装置
US11811708B2 (en) Systems and methods for generating dynamic conversational responses using cluster-level collaborative filtering matrices
CN110335160A (zh) 一种基于分组和注意力改进Bi-GRU的就医迁移行为预测方法及系统
CN112085563A (zh) 一种基于cnn的云硬盘资源管理方法
Urgun et al. Composite power system reliability evaluation using importance sampling and convolutional neural networks
Liu et al. Fuzzy neural networks for machine maintenance in mass transit railway system
CN115905293A (zh) 作业执行引擎的切换方法及装置
CN111209105A (zh) 扩容处理方法、装置、设备及可读存储介质
Matos et al. Using deep learning for ordinal classification of mobile marketing user conversion
Izadi et al. Performance analysis of classification methods and alternative linear programming integrated with fuzzy delphi feature selection
CN113762972A (zh) 数据存储控制方法及装置、电子设备、存储介质
US20210133597A1 (en) Weather trigger mapping engine
Panimalar et al. A review of churn prediction models using different machine learning and deep learning approaches in cloud environment
CN112116441B (zh) 金融风险分类模型的训练方法、分类方法、装置及设备
CN113159840B (zh) 一种对象类型预测方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201215

RJ01 Rejection of invention patent application after publication