CN109951509A - 一种云存储调度方法、装置、电子设备和存储介质 - Google Patents
一种云存储调度方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN109951509A CN109951509A CN201711396436.7A CN201711396436A CN109951509A CN 109951509 A CN109951509 A CN 109951509A CN 201711396436 A CN201711396436 A CN 201711396436A CN 109951509 A CN109951509 A CN 109951509A
- Authority
- CN
- China
- Prior art keywords
- file
- storage location
- storage
- parameters
- parameter value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种云存储调度方法、装置、电子设备和存储介质，用以解决现有技术中在进行云存储时，确定的存储位置不准确的问题。所述方法包括：当接收到携带待存储的第一文件的存储请求时，根据预先设定的至少两个文件参数的信息，获取所述第一文件的至少两个文件参数对应的第一参数值；根据获取到的至少两个第一参数值，以及预先训练完成的存储位置预测模型，预测所述第一文件对应的第一存储位置，将所述第一文件存储到预测的第一存储位置中。由于在本发明实施例中，在确定第一文件的存储位置时，考虑到了至少两个文件参数，通过预先训练完成的存储位置预测模型，预测该第一文件的存储位置，从而更准确地为该第一文件确定出存储位置。
Description
技术领域
本发明涉及云存储技术领域，特别涉及一种云存储调度方法、装置、电子设备和存储介质。
背景技术
随着云计算的发展，云存储的存储模式也更多的被利用。云存储对于用户来说，不再是使用某种存储设备进行存储，而是通过网络来提供存储服务。云存储的核心是应用软件与存储设备相结合，通过应用软件管理存储设备，使存储脱离硬件而以服务的方式呈现在用户面前。云存储是由网络存储设备、云存储软件、访问接口、和客户端等多种软硬件组成的复杂的存储系统。通过软件接口来对外提供与存储相关的各种服务。
随着云存储在互联网行业的推广，云存储调度作为云存储服务的瓶颈，越来越受到相关企业和科研机构的重视。云存储调度是影响云存储中请求分配、数据迁移和访问速度等的核心问题。云存储的性能、服务质量和存储效率都取决于云存储调度方法。
目前，主要采用的存储调度方法包括离散选择法、模糊综合评价法、启发式算法等，这些方法主要针对单个调度参数进行调度研究。
在混合云存储模式中，可进行数据存储的存储位置包括一个私有云和多个公有云。在混合云存储模式下，需要将混合云存储中各云端存储服务的差异性、数据敏感性、各类存储数据的性能需求及服务质量都考虑在内，仅考虑单个调度参数进行云存储的方法不准确。
发明内容
本发明实施例公开了一种云存储调度方法、装置、电子设备和存储介质，用以解决现有技术中在进行云存储时，确定的存储位置不准确的问题。
为达到上述目的，本发明实施例公开了一种云存储调度方法，所述方法包括：
当接收到携带待存储的第一文件的存储请求时，根据预先设定的至少两个文件参数的信息，获取所述第一文件的至少两个文件参数对应的第一参数值；
根据获取到的至少两个第一参数值，以及预先训练完成的存储位置预测模型，预测所述第一文件对应的第一存储位置，将所述第一文件存储到预测的第一存储位置中。
进一步地，所述方法还包括：
针对所述第一文件，将所述第一文件的至少两个文件参数对应的第一参数值存储到预测的第一存储位置中。
进一步地，预先训练存储位置预测模型的过程包括：
针对预先设定的每个第二存储位置，在该第二存储位置中确定样本文件；
根据预先设定的所述至少两个文件参数的信息，在该样本文件被存储的第二存储位置中，获取样本文件的所述至少两个文件参数对应的第二参数值；
根据样本文件被存储的第二存储位置以及每个第二参数值，基于确定的误差反向传播BP神经网络对存储位置预测模型进行训练。
进一步地，文件参数包括：
文件的类型、文件占用的磁盘大小、文件下载时的网络负载百分比、文件的来源标识、文件传输加密方式。
进一步地，预先确定BP神经网络的过程包括：
将预先设定的第二存储位置的第一数量，确定为输出层包含的第一神经元的数量，并确定每个第一神经元代表的第二存储位置；
将所述至少两个文件参数的第二数量，确定为输入层包含的第二神经元的数量，并确定每个第二神经元代表的文件参数；
预设隐层的第三数量；
针对每个隐层，根据所述第一数量和所述第二数量，确定该隐层包含的第三神经元的第四数量。
本发明实施例公开了一种云存储调度装置，所述装置包括：
获取模块，用于当接收到携带待存储的第一文件的存储请求时，根据预先设定的至少两个文件参数的信息，获取所述第一文件的至少两个文件参数对应的第一参数值；
预测模块，用于根据获取到的至少两个第一参数值，以及预先训练完成的存储位置预测模型，预测所述第一文件对应的第一存储位置；
存储模块，用于将所述第一文件存储到预测的第一存储位置中。
进一步地，所述存储模块，还用于针对所述第一文件，将所述第一文件的至少两个文件参数对应的第一参数值存储到预测的第一存储位置中。
进一步地，所述装置还包括：
训练模块，用于针对预先设定的每个第二存储位置，在该第二存储位置中确定样本文件；根据预先设定的所述至少两个文件参数的信息，在该样本文件被存储的第二存储位置中，获取样本文件的所述至少两个文件参数对应的第二参数值；根据样本文件被存储的第二存储位置以及每个第二参数值，基于确定的误差反向传播BP神经网络对存储位置预测模型进行训练。
进一步地，所述装置还包括：
确定模块，用于将预先设定的第二存储位置的第一数量，确定为输出层包含的第一神经元的数量，并确定每个第一神经元代表的第二存储位置；将所述至少两个文件参数的第二数量，确定为输入层包含的第二神经元的数量，并确定每个第二神经元代表的文件参数；预设隐层的第三数量；针对每个隐层，根据所述第一数量和所述第二数量，确定该隐层包含的第三神经元的第四数量。
本发明实施例公开了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行上述任一项所述方法的步骤。
本发明实施例公开了一种计算机可读存储介质，其存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行上述任一项所述方法的步骤。
本发明实施例公开了一种云存储调度方法、装置、电子设备和存储介质，所述方法包括：当接收到携带待存储的第一文件的存储请求时，根据预先设定的至少两个文件参数的信息，获取所述第一文件的至少两个文件参数对应的第一参数值；根据获取到的至少两个第一参数值，以及预先训练完成的存储位置预测模型，预测所述第一文件对应的第一存储位置，将所述第一文件存储到预测的第一存储位置中。由于在本发明实施例中，在确定第一文件的存储位置时，考虑到了至少两个文件参数，通过预先训练完成的存储位置预测模型，预测该第一文件的存储位置，从而更准确地为该第一文件确定出存储位置。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种云存储调度过程示意图；
图2为本发明实施例提供的一种神经元模型示意图；
图3为本发明实施例提供的一种BP神经网络示意图；
图4为本发明实施例提供的一种对存储位置预测模型进行训练的过程示意图；
图5为本发明实施例提供的一种云存储调度装置结构图；
图6为本发明实施例提供的一种电子设备。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
图1为本发明实施例1提供的一种云存储调度过程示意图，该过程包括以下步骤：
S101：当接收到携带待存储的第一文件的存储请求时，根据预先设定的至少两个文件参数的信息，获取所述第一文件的至少两个文件参数对应的第一参数值。
S102：根据获取到的至少两个第一参数值，以及预先训练完成的存储位置预测模型，预测所述第一文件对应的第一存储位置，将所述第一文件存储到预测的第一存储位置中。
本发明实施例提供的云存储调度方法应用于电子设备。
电子设备可以对待存储的文件，确定其对应的存储位置，并将该待存储的文件存储到该存储位置中。
电子设备中预先保存有存储位置预测模型，以及保存有至少两个文件参数，该至少两个文件参数为训练存储位置预测模型时考虑到的文件参数。
电子设备可以接收携带待存储的文件的存储请求，将该待存储的文件称为待存储的第一文件。
电子设备根据至少两个文件参数，以及预先保存的存储位置预测模型，预测该第一文件的存储位置。
首先，根据预先设定的至少两个文件参数，获取第一文件中每个文件参数对应的参数值，将该第一文件对应的参数值称为第一参数值。
然后，根据获取到的该第一文件对应的至少两个第一参数值，以及预先训练完成的存储位置预测模型，预测该第一文件的存储位置，将预测的该第一文件的存储位置称为第一存储位置，也就是将该至少两个第一参数值输入到预先训练完成的存储位置预测模型中，将该存储位置预测模型的输出结果，作为预测的第一存储位置。
最后，将该第一文件存储到预测的第一存储位置中。
由于在本发明实施例中，在确定第一文件的存储位置时，考虑到了至少两个文件参数，通过预先训练完成的存储位置预测模型，预测该第一文件的存储位置，从而更准确地为该第一文件确定出存储位置。
实施例2：
为了后续方便查找文件的文件参数对应的参数值，在上述实施例的基础上，在本发明实施例中，所述方法还包括：
针对所述第一文件，将所述第一文件的至少两个文件参数对应的第一参数值存储到预测的第一存储位置中。
在本发明实施例中，电子设备除了可以将第一文件存储到第一存储位置中，为了后续方便使用，还可以将该第一文件的至少两个文件参数对应的第一参数值存储到该第一存储位置中，具体可以是存储第一文件的标识信息-文件参数-参数值的对应关系。
文件参数可以包括：文件的类型、文件占用的磁盘大小、文件下载时的网络负载、文件的来源标识、文件传输加密方式。
文件的类型例如可以是图片、文本等；文件下载时的网络负载可以是网络负载百分比；文件的来源标识可以是网站A、网站B、微信、QQ等；文件传输加密方式可以是：未加密、加密方式1、加密方式2等。
每个文件有其对应的文件类型，电子设备在接收到携带待存储的第一文件的存储请求时，可以解析出该文件，识别该文件的文件类型是什么，即获取了第一文件的文件类型。
电子设备在解析出第一文件后，可以识别该第一文件占用的磁盘的大小，即获取了文件占用的磁盘大小。
电子设备在接收携带待存储的第一文件的存储请求时，有该接收存储请求的时刻对应的网络负载，电子设备记录接收存储请求时的网络负载，将该网络负载作为文件下载时的网络负载。
电子设备接收存储请求，该存储请求可能是某个网站发来的，也可能是微信发来的，将发送存储请求的IP地址作为文件的来源标识。
文件可能会先加密，然后携带在存储请求中发送给电子设备，电子设备在接收到携带第一文件的存储请求时，需要对第一文件进行解密，将对第一文件的解密方式对应的加密方式，作为文件的文件传输加密方式。
在确定文件参数对应的参数值时，例如，如果至少两个文件参数中包括文件的类型，该文件参数对应的参数值可以是图片；
如果至少两个文件参数中包括的文件下载时的网络负载，该文件参数对应的参数值可以是20％。
实施例3：
在上述各实施例的基础上，在本发明实施例中，预先训练存储位置预测模型的过程包括：
针对预先设定的每个第二存储位置，在该第二存储位置中确定样本文件；
根据预先设定的所述至少两个文件参数的信息，在样本文件被存储的第二存储位置中，获取样本文件的所述至少两个文件参数对应的第二参数值；
根据样本文件被存储的第二存储位置以及每个第二参数值，基于确定的误差反向传播(Back Propagation，BP)神经网络对存储位置预测模型进行训练。
在本发明实施例中，电子设备可以对存储位置预测模型进行训练。电子设备中预先保存有设定的每个存储位置，称为第二存储位置，每个第二存储位置中存储有文件，以及每个文件对的文件参数的参数值，电子设备可以根据每个第二存储位置中存储的文件中文件参数对应的参数值，对存储位置预测模型进行训练。
首先，电子设备针对每个第二存储位置，在该第二存储位置中确定样本文件，样本文件的数量越多，训练的存储位置预测模型越准确。
电子设备中预先保存有设定的至少两个文件参数，针对每个样本文件，电子设备在该样本文件被存储的第二存储位置中获取该样本文件中至少两个文件参数的参数值，称为第二参数值。
电子设备还可以预先确定误差反向传播BP神经网络，电子设备在确定出样本文件被存储的第二存储位置以及至少两个第二参数值后，可以根据样本文件被存储的第二存储位置以及每个第二参数值，基于确定的误差反向传播BP神经网络对存储位置预测模型进行训练。
电子设备中预先保存有偏差阈值，进行训练的过程主要为调整BP神经网元的输入层与隐层的连接权重，隐层与输出层的连接权重的过程，通过调整权重值，使输出结果小于该偏差阈值，则训练结束，具体的训练过程属于现有技术，在本发明实施例中不进行赘述。
基于BP神经网络进行模型训练，结构灵活，可以充分逼近任意复杂的非线性关系，可以同时处理定性和定量信息，具有极强的信息综合能力。
BP神经网络的神经元结构如图2所示，其中X1，X2，X3……是神经元的输入，W1、W2、W3……分别是神经元的权值，Y是神经元的输出，f[*]是激励函数，它决定神经元受到激励f[*]时，以何种方式输出。
实施例4：
在上述各实施例的基础上，在本发明实施例中，预先确定BP神经网络的过程包括：
将预先设定的第二存储位置的第一数量，确定为输出层包含的第一神经元的数量，并确定每个第一神经元代表的第二存储位置；
将所述至少两个文件参数的第二数量，确定为输入层包含的第二神经元的数量，并确定每个第二神经元代表的文件参数；
预设隐层的第三数量；
针对每个隐层，根据所述第一数量和所述第二数量，确定该隐层包含的第三神经元的第四数量。
在本发明实施例中，在确定BP神经网络时，可以先确定BP神经网络的输入层的神经元的数量和输入层的神经元的数量，然后再确定隐层的数量，以及每个隐层的神经元的数量。
将输入层的神经元称为第一神经云，输入层的第一神经元的数量等于样本文件的文件参数，即将在进行模型训练时，预先设定的至少两个文件参数的第二数量，确定为输入层包含的第二神经元的数量，并确定每个第二神经元代表的文件参数。
为了保证混合云存储的服务质量、安全性的同时，发挥出多云端中各云服务的特点，设置合理的调度指标是关键。混合云存储是建立在多云端环境之上，这使得对其进行调度不仅需要考虑单个云端内部的调度指标，同时还要考虑到混合云特有的属性，具体为：由于文件中的数据需要在公网中传输，与私有云的局域网环境相比数据安全性变得更低；存储敏感数据到公有云中有数据泄密的风险存在；更加复杂的网络环境增加了响应时间。访问请求的来源不再局限于单云或者单集群，在混合云中显然来自内网的请求IP相对于外网IP对私有云来说具有更高的安全性，在调度时倾向于将内网IP的请求分配给混合云中的私有云存储提供服务。
根据可信云计算认证的研究显示，混合云存储调度中的影响因素主要为5方面：文件的类型、文件占用的磁盘大小、文件下载时的网络负载、文件的来源标识、文件传输加密方式。将这五个影响因素中的至少两个作为输入层的第一神经云的输入，较优地，将这五个影响因素均作为输入层的第一神经元的输入，也就是至少两个文件参数的第二数量为5。
在确定BP神经网络时，需要确定输出层的神经元的数量，将输出层的神经元称为第二神经元，神经网络的输出为混合云存储的调度结果。将预先设定的第二存储位置的第一数量，确定为输出层包含的第一神经元的数量，并确定每个第一神经元代表的第二存储位置。
在混合云存储中涉及到一个私有云和多个公有云，由于是存储调度，此处设置一个公有云提供固态硬盘(Solid State Disk或Solid State Drive，SSD)存储，虽然价格较为昂贵，但是存储速度快。另一个公有云提供大容量的低速存储空间，虽然廉价但存取性能有限。
如图3所示，将文件的类型、文件占用的磁盘大小、文件下载时的网络负载、文件的来源标识、文件传输加密方式作为输入层的第一神经元的输入，将私有云100，提供快速访问的公有云010，提供大容量低速存储的公有云001作为输出层的神经元，也就是电子设备中预先设定的第二存储位置的第一数量为3，包括：私有云，提供快速访问的公有云，提供大容量低速存储的公有云。
BP神经网络根据隐层的层数，可分为单隐层神经网络和多隐层神经网络。对于神经网络，输入层和输出层是固定的，唯一影响网络层数的因数是隐层的数量，将隐层的数量称为第三数量，隐层的第三数量在BP神经网络的泛化性能和训练速度上起着主要作用。
由于单隐层网络在理论上可以达到和多隐层网络一样的目的，同时为了保证模型训练的速度，本发明采用单隐层的神经网络进行模型训练，即隐层的第三数量为1。
对于一个单隐层的神经网络，隐层的神经元数量太少可能造成模型不收敛，网络的识别能力降低同时泛化能力也偏低；隐层的神经元数量过多又会造成网络容错能力的下降。将隐层的神经元称为第三神经元，将第三神经元的数量称为第四数量。
一般来说，隐层设置多少个神经元与样本文件的复杂程度以及样本噪声的大小有紧密的关系。对于波动较大，同时较复杂的非线性函数会需要较多的隐层神经元来提高映射能力。
根据神经网络隐层的第三神经元的第四数量的经验公式：对其进行取整，确定隐层的第三神经元的第四数量，其中m为输入层的第二神经元的第二数量，n为输出层的第一神经元的第一数量，α为[1，10]之间的整数。
如图3所示，隐层的第三神经元的第四数量为4，在隐层设置4个第三神经元，BP神经网络的误差最小，对样本的逼近效果最好。
图4为本发明实施例提供的一种对存储位置预测模型进行训练的过程示意图，该过程包括以下步骤：
S401：确定每个文件参数，以及确定每个第二存储位置。
S402：根据文件参数的第一数量，和存储位置的第二数量，确定BP神经网络。
具体为，将第二存储位置的第一数量，确定为输出层包含的第一神经元的数量；将文件参数的第二数量，确定为输入层包含的第二神经元的数量；以及根据第一数量和所述第二数量，确定隐层包含的第三神经元的第四数量。
S403：确定训练样本，将该训练样本被存储的第二存储位置以及每个第二参数值输入到确定的BP神经网络中。
S404：确定输入层与隐层的连接权重，以及确定隐层与输出层的连接权重。
S405：确定输出层的偏差。
S406：判断输出层的偏差是否小于预设的偏差阈值，如果是，则训练完成，结束，如果否，则进行S407。
S407：调整隐层与输出层的连接权重。
S408：调整输入层与隐层的连接权重，并进行S405。
BP神经网络的本质是根据偏差进行权值的校正，采用最速下降的方法在偏差的负梯度方向上修改权值。
偏差计算函数为：
设BP神经网络中第p层的一个神经元为i，前一层网络对该神经元的总的输入为i的输出为系数为wij则正向传播的过程可以表示为：
正向传播在BP神经网络中一层一层的传播下去，直到输出层时，将输出值与理想输出进行比较，如果不满足偏差要求则进入方向传播过程。在反向传播中每一层都向其前一层反馈误差，收到反馈的神经元对其权值进行修改。这个过程反复进行直到输出满足要求为止。
实施例5：
图5为本发明实施例提供的一种云存储调度装置结构图，所述装置包括：
获取模块51，用于当接收到携带待存储的第一文件的存储请求时，根据预先设定的至少两个文件参数的信息，获取所述第一文件的至少两个文件参数对应的第一参数值；
预测模块52，用于根据获取到的至少两个第一参数值，以及预先训练完成的存储位置预测模型，预测所述第一文件对应的第一存储位置；
存储模块53，用于将所述第一文件存储到预测的第一存储位置中。
所述存储模块53，还用于针对所述第一文件，将所述第一文件的至少两个文件参数对应的第一参数值存储到预测的第一存储位置中。
所述装置还包括：
训练模块55，用于针对预先设定的每个第二存储位置，在该第二存储位置中确定样本文件；根据预先设定的所述至少两个文件参数的信息，在该样本文件被存储的第二存储位置中，获取样本文件的所述至少两个文件参数对应的第二参数值；根据样本文件被存储的第二存储位置以及每个第二参数值，基于确定的误差反向传播BP神经网络对存储位置预测模型进行训练。
所述装置还包括：
确定模块55，用于将预先设定的第二存储位置的第一数量，确定为输出层包含的第一神经元的数量，并确定每个第一神经元代表的第二存储位置；将所述至少两个文件参数的第二数量，确定为输入层包含的第二神经元的数量，并确定每个第二神经元代表的文件参数；预设隐层的第三数量；针对每个隐层，根据所述第一数量和所述第二数量，确定该隐层包含的第三神经元的第四数量。
实施例6：
图6为本发明实施例提供的一种电子设备，包括：处理器61、通信接口62、存储器63和通信总线64，其中，处理器61，通信接口62，存储器63通过通信总线64完成相互间的通信；
所述存储器63中存储有计算机程序，当所述程序被所述处理器61执行时，使得所述处理器61执行以下步骤：
当接收到携带待存储的第一文件的存储请求时，根据预先设定的至少两个文件参数的信息，获取所述第一文件的至少两个文件参数对应的第一参数值；
根据获取到的至少两个第一参数值，以及预先训练完成的存储位置预测模型，预测所述第一文件对应的第一存储位置，将所述第一文件存储到预测的第一存储位置中。
进一步地，针对所述第一文件，将所述第一文件的至少两个文件参数对应的第一参数值存储到预测的第一存储位置中。
进一步地，针对预先设定的每个第二存储位置，在该第二存储位置中确定样本文件；
根据预先设定的所述至少两个文件参数的信息，在该样本文件被存储的第二存储位置中，获取样本文件的所述至少两个文件参数对应的第二参数值；
根据样本文件被存储的第二存储位置以及每个第二参数值，基于确定的误差反向传播BP神经网络对存储位置预测模型进行训练。
进一步地，将预先设定的第二存储位置的第一数量，确定为输出层包含的第一神经元的数量，并确定每个第一神经元代表的第二存储位置；
将所述至少两个文件参数的第二数量，确定为输入层包含的第二神经元的数量，并确定每个第二神经元代表的文件参数；
预设隐层的第三数量；
针对每个隐层，根据所述第一数量和所述第二数量，确定该隐层包含的第三神经元的第四数量。
上述的电子设备提到的通信总线可以是外设部件互连标准(PeripheralComponent Interconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口，用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
实施例7：
本发明实施例提供了一种计算机可读存储介质，其存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行以下步骤：
当接收到携带待存储的第一文件的存储请求时，根据预先设定的至少两个文件参数的信息，获取所述第一文件的至少两个文件参数对应的第一参数值；
根据获取到的至少两个第一参数值，以及预先训练完成的存储位置预测模型，预测所述第一文件对应的第一存储位置，将所述第一文件存储到预测的第一存储位置中。
进一步地，针对所述第一文件，将所述第一文件的至少两个文件参数对应的第一参数值存储到预测的第一存储位置中。
进一步地，针对预先设定的每个第二存储位置，在该第二存储位置中确定样本文件；
根据预先设定的所述至少两个文件参数的信息，在该样本文件被存储的第二存储位置中，获取样本文件的所述至少两个文件参数对应的第二参数值；
根据样本文件被存储的第二存储位置以及每个第二参数值，基于确定的误差反向传播BP神经网络对存储位置预测模型进行训练。
进一步地，将预先设定的第二存储位置的第一数量，确定为输出层包含的第一神经元的数量，并确定每个第一神经元代表的第二存储位置；
将所述至少两个文件参数的第二数量，确定为输入层包含的第二神经元的数量，并确定每个第二神经元代表的文件参数；
预设隐层的第三数量；
针对每个隐层，根据所述第一数量和所述第二数量，确定该隐层包含的第三神经元的第四数量。
上述实施例中的计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD)等。
本发明实施例公开了一种云存储调度方法、装置、电子设备和存储介质，所述方法包括：当接收到携带待存储的第一文件的存储请求时，根据预先设定的至少两个文件参数的信息，获取所述第一文件的至少两个文件参数对应的第一参数值；根据获取到的至少两个第一参数值，以及预先训练完成的存储位置预测模型，预测所述第一文件对应的第一存储位置，将所述第一文件存储到预测的第一存储位置中。由于在本发明实施例中，在确定第一文件的存储位置时，考虑到了至少两个文件参数，通过预先训练完成的存储位置预测模型，预测该第一文件的存储位置，从而更准确地为该第一文件确定出存储位置。
对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者一个操作与另一个实体或者另一个操作区分开来，而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全应用实施例、或结合应用和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (11)
1.一种云存储调度方法，其特征在于，所述方法包括：
当接收到携带待存储的第一文件的存储请求时，根据预先设定的至少两个文件参数的信息，获取所述第一文件的至少两个文件参数对应的第一参数值；
根据获取到的至少两个第一参数值，以及预先训练完成的存储位置预测模型，预测所述第一文件对应的第一存储位置，将所述第一文件存储到预测的第一存储位置中。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
针对所述第一文件，将所述第一文件的至少两个文件参数对应的第一参数值存储到预测的第一存储位置中。
3.如权利要求1所述的方法，其特征在于，预先训练存储位置预测模型的过程包括：
针对预先设定的每个第二存储位置，在该第二存储位置中确定样本文件；
根据预先设定的所述至少两个文件参数的信息，在该样本文件被存储的第二存储位置中，获取样本文件的所述至少两个文件参数对应的第二参数值；
根据样本文件被存储的第二存储位置以及每个第二参数值，基于确定的误差反向传播BP神经网络对存储位置预测模型进行训练。
4.如权利要求1-3任一项所述的方法，其特征在于，文件参数包括：
文件的类型、文件占用的磁盘大小、文件下载时的网络负载百分比、文件的来源标识、文件传输加密方式。
5.如权利要求3所述的方法，其特征在于，预先确定BP神经网络的过程包括：
将预先设定的第二存储位置的第一数量，确定为输出层包含的第一神经元的数量，并确定每个第一神经元代表的第二存储位置；
将所述至少两个文件参数的第二数量，确定为输入层包含的第二神经元的数量，并确定每个第二神经元代表的文件参数；
预设隐层的第三数量；
针对每个隐层，根据所述第一数量和所述第二数量，确定该隐层包含的第三神经元的第四数量。
6.一种云存储调度装置，其特征在于，所述装置包括：
获取模块，用于当接收到携带待存储的第一文件的存储请求时，根据预先设定的至少两个文件参数的信息，获取所述第一文件的至少两个文件参数对应的第一参数值；
预测模块，用于根据获取到的至少两个第一参数值，以及预先训练完成的存储位置预测模型，预测所述第一文件对应的第一存储位置；
存储模块，用于将所述第一文件存储到预测的第一存储位置中。
7.如权利要求6所述的装置，其特征在于，所述存储模块，还用于针对所述第一文件，将所述第一文件的至少两个文件参数对应的第一参数值存储到预测的第一存储位置中。
8.如权利要求6所述的装置，其特征在于，所述装置还包括：
训练模块，用于针对预先设定的每个第二存储位置，在该第二存储位置中确定样本文件；根据预先设定的所述至少两个文件参数的信息，在该样本文件被存储的第二存储位置中，获取样本文件的所述至少两个文件参数对应的第二参数值；根据样本文件被存储的第二存储位置以及每个第二参数值，基于确定的误差反向传播BP神经网络对存储位置预测模型进行训练。
9.如权利要求8所述的装置，其特征在于，所述装置还包括：
确定模块，用于将预先设定的第二存储位置的第一数量，确定为输出层包含的第一神经元的数量，并确定每个第一神经元代表的第二存储位置；将所述至少两个文件参数的第二数量，确定为输入层包含的第二神经元的数量，并确定每个第二神经元代表的文件参数；预设隐层的第三数量；针对每个隐层，根据所述第一数量和所述第二数量，确定该隐层包含的第三神经元的第四数量。
10.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1-5任一项所述方法的步骤。
11.一种计算机可读存储介质，其特征在于，其存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行权利要求1-5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711396436.7A CN109951509A (zh) | 2017-12-21 | 2017-12-21 | 一种云存储调度方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711396436.7A CN109951509A (zh) | 2017-12-21 | 2017-12-21 | 一种云存储调度方法、装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109951509A true CN109951509A (zh) | 2019-06-28 |
Family
ID=67005753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711396436.7A Pending CN109951509A (zh) | 2017-12-21 | 2017-12-21 | 一种云存储调度方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109951509A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021143477A1 (zh) * | 2020-01-16 | 2021-07-22 | 支付宝(杭州)信息技术有限公司 | 融合公域数据和私有数据的联盟学习方法、装置和系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102263825A (zh) * | 2011-08-08 | 2011-11-30 | 浪潮电子信息产业股份有限公司 | 一种基于云位置的混合云存储系统数据传输方法 |
| CN104113595A (zh) * | 2014-07-09 | 2014-10-22 | 武汉邮电科学研究院 | 一种基于安全等级划分的混合云存储系统及方法 |
| CN106649890A (zh) * | 2017-02-07 | 2017-05-10 | 税云网络科技服务有限公司 | 数据存储方法和装置 |
-
2017
- 2017-12-21 CN CN201711396436.7A patent/CN109951509A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102263825A (zh) * | 2011-08-08 | 2011-11-30 | 浪潮电子信息产业股份有限公司 | 一种基于云位置的混合云存储系统数据传输方法 |
| CN104113595A (zh) * | 2014-07-09 | 2014-10-22 | 武汉邮电科学研究院 | 一种基于安全等级划分的混合云存储系统及方法 |
| CN106649890A (zh) * | 2017-02-07 | 2017-05-10 | 税云网络科技服务有限公司 | 数据存储方法和装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021143477A1 (zh) * | 2020-01-16 | 2021-07-22 | 支付宝(杭州)信息技术有限公司 | 融合公域数据和私有数据的联盟学习方法、装置和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Qiao et al. | Trustworthy edge storage orchestration in intelligent transportation systems using reinforcement learning | |
| CN103369022B (zh) | 与存储设备通信的方法和系统 | |
| CN107807951A (zh) | 一种区块链生成方法、数据验证方法、节点及系统 | |
| CN103368867B (zh) | 高速缓存经网络与辅助站点通信的对象的方法和系统 | |
| AU2018365181B2 (en) | Building segment-specific executable program code for modeling outputs | |
| JP2019511059A (ja) | リスク情報を出力し、リスク情報を構築するための方法及びデバイス | |
| CN105912500A (zh) | 机器学习模型生成方法和装置 | |
| US20210150037A1 (en) | Secure Federation of Distributed Stochastic Gradient Descent | |
| CN114846481A (zh) | 哈密尔顿算子的期望能量值的估计 | |
| CN109726664A (zh) | 一种智能表盘推荐方法、系统、设备及存储介质 | |
| WO2020253038A1 (zh) | 一种模型构建方法及装置 | |
| CN113221163B (zh) | 一种训练模型的方法及系统 | |
| US9246688B1 (en) | Dataset licensing | |
| CN110457629A (zh) | 权限处理、权限控制方法及装置 | |
| US11830065B2 (en) | Multi-lender loan application management system | |
| DE102021209043A1 (de) | Methods and apparatus to select a location of execution of a computation | |
| Thoma et al. | Automated operator placement in distributed data stream management systems subject to user constraints | |
| CN108985067A (zh) | 基于自动化回溯的内容处理方法和装置 | |
| US20220343218A1 (en) | Input-Encoding with Federated Learning | |
| JP7445685B2 (ja) | オープンインタフェースの管理方法、電子機器、及び記憶媒体 | |
| CN109951509A (zh) | 一种云存储调度方法、装置、电子设备和存储介质 | |
| CN107861751A (zh) | 配置文件的修改方法及装置 | |
| US20210271978A1 (en) | Sim-to-real learning of 2d multiple sound source localization | |
| US11093619B2 (en) | Automated fixups based on partial goal satisfaction | |
| CN109196484A (zh) | 在具有多个存储器的系统中灵活的优化数据处理 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190628 |
|
| RJ01 | Rejection of invention patent application after publication |