CN114253481A - 数据储存方法、装置、计算机设备、存储介质 - Google Patents

数据储存方法、装置、计算机设备、存储介质 Download PDF

Info

Publication number
CN114253481A
CN114253481A CN202111588816.7A CN202111588816A CN114253481A CN 114253481 A CN114253481 A CN 114253481A CN 202111588816 A CN202111588816 A CN 202111588816A CN 114253481 A CN114253481 A CN 114253481A
Authority
CN
China
Prior art keywords
determining
associated process
strategy group
placement strategy
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111588816.7A
Other languages
English (en)
Inventor
陈志辉
王亚波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mingzhu Technology Co ltd
Original Assignee
Shenzhen Mingzhu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mingzhu Technology Co ltd filed Critical Shenzhen Mingzhu Technology Co ltd
Priority to CN202111588816.7A priority Critical patent/CN114253481A/zh
Publication of CN114253481A publication Critical patent/CN114253481A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种数据储存方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取文件被切分成的多个对象；确定每个所述对象所在的放置策略组；针对每个放置策略组，确定所述放置策略组映射的关联进程；统计各个所述关联进程的业务访问请求量，根据各个所述关联进程的业务访问请求量确定各个所述关联进程的热度值；获取各个所述关联进程的权重值，根据各个所述关联进程的权重值和热度值确定所述放置策略组映射的目标进程。采用本方法能够避免数据储存是造成进程对应节点阻塞。

Description

数据储存方法、装置、计算机设备、存储介质
技术领域
本申请涉及分布式存储技术领域，特别是涉及一种数据储存方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着云计算的不断发展，全球的数据量出现爆炸式增长，在分布式系统的储存方面，寻址算法以节点剩余容量为约束条件，容易造成该进程的负载过大大，使进程对应的节点阻塞的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够让数据储存均匀化的数据储存方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种数据储存方法。所述方法包括：
获取文件被切分成的多个对象；
确定每个所述对象所在的放置策略组；
针对每个放置策略组，确定所述放置策略组映射的关联进程；
统计各个所述关联进程的业务访问请求量，根据各个所述关联进程的业务访问请求量确定各个所述关联进程的热度值；
获取各个所述关联进程的权重值，根据各个所述关联进程的权重值和热度值确定所述放置策略组映射的目标进程。
在其中一个实施例中，所述确定每个所述对象所在的放置策略组，包括：
获取每个所述对象的对象标识；
根据所述每个对象的对象标识的哈希值，确定每个对象所在的放置策略组。
在其中一个实施例中，所述针对每个放置策略组，确定所述放置策略组映射的关联进程，包括：
针对每个放置策略组，将所述放置策略组的组标识代入寻址算法，得到所述放置策略组映射的关联进程。
在其中一个实施例中，所述根据各个所述关联进程的业务访问请求量确定各个所述关联进程的热度值，包括：
获取进程的访问周期；
根据所述访问周期和各个所述关联进程上的业务访问请求量确定各个所述关联进程的指数移动平均值；
根据所述指数移动平均值，确定各个所述关联进程的热度值。
在其中一个实施例中，所述获取各个所述关联进程的权重值，包括：
获取各个所述关联进程对应的剩余容量；
针对每个关联进程，根据所述关联进程的剩余容量确定所述关联进程的权重值，所述权重值与所述剩余容量正相关。
在其中一个实施例中，所述根据各个所述关联进程的权重值和热度值确定所述放置策略组映射的目标进程，包括：
以各个所述关联进程的权重值和热度值作为约束条件，代入寻址算法，确定所述放置策略组映射的目标进程。
第二方面，本申请还提供了一种数据储存装置。所述装置包括：
对象获取模块，用于获取文件被切分成的多个对象；
对象放置模块，用于确定每个所述对象所在的放置策略组；
进程确定模块，用于针对每个放置策略组，确定所述放置策略组映射的关联进程；
统计模块，用于统计各个所述关联进程的业务访问请求量，根据各个所述关联进程的业务访问请求量确定各个所述关联进程的热度值；
计算模块，用于获取各个所述关联进程的权重值，根据各个所述关联进程的权重值和热度值确定所述放置策略组映射的目标进程。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取文件被切分成的多个对象；
确定每个所述对象所在的放置策略组；
针对每个放置策略组，确定所述放置策略组映射的关联进程；
统计各个所述关联进程的业务访问请求量，根据各个所述关联进程的业务访问请求量确定各个所述关联进程的热度值；
获取各个所述关联进程的权重值，根据各个所述关联进程的权重值和热度值确定所述放置策略组映射的目标进程。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取文件被切分成的多个对象；
确定每个所述对象所在的放置策略组；
针对每个放置策略组，确定所述放置策略组映射的关联进程；
统计各个所述关联进程的业务访问请求量，根据各个所述关联进程的业务访问请求量确定各个所述关联进程的热度值；
获取各个所述关联进程的权重值，根据各个所述关联进程的权重值和热度值确定所述放置策略组映射的目标进程。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取文件被切分成的多个对象；
确定每个所述对象所在的放置策略组；
针对每个放置策略组，确定所述放置策略组映射的关联进程；
统计各个所述关联进程的业务访问请求量，根据各个所述关联进程的业务访问请求量确定各个所述关联进程的热度值；
获取各个所述关联进程的权重值，根据各个所述关联进程的权重值和热度值确定所述放置策略组映射的目标进程。
上述数据储存方法、装置、计算机设备、存储介质和计算机程序产品，通过获取文件被切分成的多个对象；确定每个所述对象所在的放置策略组；针对每个放置策略组，确定放置策略组映射的关联进程；统计各个关联进程的业务访问请求量，根据各个关联进程的业务访问请求量确定各个关联进程的热度值；获取各个关联进程的权重值，根据各个关联进程的权重值和热度值确定放置策略组映射的目标进程。通过能将文件切分成多个对象，再确定每个对象所在的放置策略组中，根据放置策略组确定放置策略组对应的进程，再统计关联进程的业务访问请求量，计算每个进程上的热度值，再利用每个进程的热度值和权重计算，从而确定放置策略组的最终对应的进程，实现数据存储的预测存储效果，避免相关进程对应节点的阻塞。
附图说明
图1为一个实施例中数据储存方法的应用环境图；
图2为一个实施例中数据储存方法的流程示意图；
图3为另一个实施例中数据储存方法的流程示意图；
图4为一个实施例中未经过指数经过指数移动平均值优化的相关联进程的业务访问请求量统计图；
图5为一个实施例中经过指数移动平均值过滤后的相关联进程的业务请求访问请求量统计图；
图6为一个实施例中数据储存装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的数据储存方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。服务器104获取终端102上文件被切分成的多个对象；确定每个所述对象所在的放置策略组；针对每个放置策略组，确定所述放置策略组映射的关联进程；统计各个所述关联进程的业务访问请求量，根据各个所述关联进程的业务访问请求量确定各个所述关联进程的热度值；获取各个所述关联进程的权重值，根据各个所述关联进程的权重值和热度值确定所述放置策略组映射的目标进程。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种数据储存方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
步骤202，获取文件被切分成的多个对象。
文件可以是待存储的任何文件，例如可以是多媒体文件、文本文件、图片文件等。将文件按照大小切分成多个对象(objects)。将文件可以按照相同大小切分成多个对象，也可以按照不同大小切分成多个对象。
具体地，以文件按照大小切分为例。处理器获取文件，根据节点预设配置，将文件切分成大小相同的多个对象。
步骤204，确定每个对象所在的放置策略组。
其中，放置策略组(Placement Group，简称PG)是指对象的集合，集合里的所有对象具有相同的放置策略；对象的副本都分布在相同的进程列表上。一个对象只能属于一个PG，一个PG对应于放置在进程列表。一个进程上可以分布多个PG。
具体地，处理器获取对象，根据获取的对象的对象标识的哈希值，确定每个对象对应的放置策略组。
步骤206，针对每个放置策略组，确定放置策略组映射的关联进程。
其中，进程(Object Storage Device，简称OSD)是负责响应客户端请求返回具体数据。一个集群中可以有很多OSD。
具体地，处理器针对每个放置策略组，确定放置策略组映射的关联进程。
步骤208，统计各个关联进程的业务访问请求量，根据各个关联进程的业务访问请求量确定各个关联进程的热度值。
其中，业务访问请求量是指一定时间内，同一个进程的业务请求总量。热度值是用于体现业务请求访问量高的进程。
具体地，处理器获取在一定时间内的，各个相关进程上的业务访问请求量，再根据各个相关进程上的业务访问请求量确定各个相关进程上的热度值。
步骤210，获取各个关联进程的权重值，根据各个关联进程的权重值和热度值确定放置策略组映射的目标进程。
其中，权重值是根据进程的剩余容量大小来确定的。
具体地，处理获取各个关联进程的剩余容量大小和热度值，根据各个进程的剩余容量大小和热度值确定放置策略组的目标进程。
上述数据储储存方法中，通过获取文件被切分成的多个对象；确定每个对象所在的放置策略组；针对每个放置策略组，确定放置策略组映射的关联进程；统计各个关联进程的业务访问请求量，根据各个关联进程的业务访问请求量确定各个关联进程的热度值；获取各个关联进程的权重值，根据各个关联进程的权重值和热度值确定放置策略组映射的目标进程，实现数据存储的预测存储效果。
在一个实施例中，确定每个所述对象所在的放置策略组，包括：获取每个对象的对象标识；根据每个对象的对象标识的哈希值，确定每个对象所在的放置策略组。
其中，对象标识是指对象的序号(Identity document，简称ID)。
具体地，处理器获取每个对象的ID和PG的总数量，通过哈希计算确定每个对象的ID对应的哈希值，基于每个对象的ID对应的哈希值确定每个对象所在的放置策略组。具体映射过程：
hash(对象的ID)&mask->PG的ID
本实施例中，通过哈希计算确定每个对象所在的放置策略组中，能够让多个对象从所有的放置策略组中近似均匀映射
在一个实施例中，针对每个放置策略组，确定放置策略组映射的关联进程，包括：针对每个放置策略组，将放置策略组的组标识代入寻址算法，得到放置策略组映射的关联进程。
其中，寻址算法(Controlled Scalable Decentralized Placement ofReplicated Data，简称CRUSH算法)是指可控的、可扩展的、分布式的副本数据放置的算法。放置策略组的组标识是指能够区别每个放置策略组的标识，例如放置策略组的ID。
具体地，理器获取每个放置策略组的ID，根据每个放置策略组的ID，利用CRUSH算法计算每个放置策略组相对应的进程，得到每个放置策略组的关联进程。具体映射过程：
CRUSH(PG的ID)->(osd.n1,osd.n2,osd.n3)
其中，n是进程的ID。以每个放置策略组的ID为例，获取每个PG，根据每个PG获取每个PG的ID，根据每个PG的ID代入crush算法能够得到一组共n个OSD，n是数据副本个数，这n个OSD共同负责存储和维护一个PG。例如通过寻址算法计算PG.ID1映射到OSD.1、OSD.2、OSD.3，即CRUSH(PG.ID1)->(OSD.1,OSD.2,OSD.3)，同理，通过寻址算法计算PG.ID2映射到OSD.4、OSD.5、OSD.6，即CRUSH(PG.ID.2)->(OSD.4,OSD.5,OSD.6)，通过寻址算法计算PG.ID3映射到OSD.7、OSD.8、OSD.9，即CRUSH PG.ID.3)->(OSD.7,OSD.8,OSD.9)等。
本实施例中，本实施例中，通过放置策略组的ID确定放置策略组的相关进程，能够让相关进程共同管理放置策略组。
在一个实施例中，根据各个关联进程的业务访问请求量确定各个关联进程的热度值，包括：获取进程的访问周期；根据访问周期和各个关联进程上的业务访问请求量确定各个关联进程的指数移动平均值；根据指数移动平均值，确定各个关联进程的热度值。
其中，指数移动平均值是指价值图表上基于数学公式的值，用来平滑价值行为。
具体地，处理器获取进程的访问周期，根据访问周期和各个关联进程上的业务访问请求量确定各个关联进程的指数移动平均值，具体计算公式：
α＝2/(N+1)
St＝α×Yt+(1-α)St-1
其中，α是指加权的程度，数值介于0至1区间；N是指预设周期；Yt是值相关联进程的上的业务访问请求量；St是指t时刻进程的指数移动平均值；St-1是指t时刻上-时刻的指数移动平均值；再将得到的指数移动平均值带入方程有y＝1/(x+1)确定各个关联进程的热度值。
本实施例中，通过计算各个相关进程的热度值，便于统计每个OSD上的数据负载情况。
在一个实施例中，获取各个关联进程的权重值，包括：获取各个关联进程对应的剩余容量；针对每个关联进程，根据关联进程的剩余容量确定关联进程的权重值，权重值与剩余容量正相关。
其中，权重值与剩余容量正相关是指剩余容量越大权重值也就越大。
具体地，处理器获取各个关联进程对应的剩余容量，根据各个关联进程对应的剩余容量越权重值越大，确定各个关联进程的权重值。
本实施例中，通过各个关联进程的剩余容量作为权重值，能够便于提高数据的分布均匀分布的条件。
在一个实施例中，根据各个所述关联进程的权重值和热度值确定所述放置策略组映射的目标进程，包括：以各个关联进程的权重值和热度值作为约束条件，代入寻址算法，确定所述放置策略组映射的目标进程。
具体地，以各个关联进程的权重值和热度值作为约束条件，代入寻址算法，确定放置策略组映射的目标进程包括：获取各个关联进程的权重值和对应的热度值，代入寻址算法，计算每个关联进程的权重值和对应的热度值的乘积，选取乘积最大的关联进程作为放置策略组映射的目标进程。
处理器获取各个关联进程的权重值和热度值以及放置策略组的组标识和对象的对象标识，基于各个关联进程的权重值和热度值以及放置策略组的组标识和对象的对象标识，代入寻址算法，选择存储的设备类型，确定放置策略组映射的目标进程。具体过程：
crushlh(b，x)÷(Wosd.i×热度值)
其中，其中，b是指bucket类型，作为选择存储的设备类型：机房->机架->主机->磁盘，x是指放置策略组的ID和对象的ID，Wosd.i是第i个OSD对应节点的剩余容量。
本实施例中，以各个关联进程的权重值和热度值为约束条件，确定放置策略组映射的目标进程，更有利于数据的储存。
随着云计算的不断发展，全球的数据量出现爆炸式增长，大数据存储需求发生了巨大变化；在存储方面，分布式文件系统(Ceph)是目前公认的优秀的开源解决方案之一，Ceph通过将多台机器的资源组织起来，对外提供统一的、容量、高性能、高可靠的文件服务，满足了大规模应用的需求。在Ceph集群中，通过CRUSH算法计算出数据对象的存储位置，而Ceph中的CRUSH算法以节点剩余容量为权重weight作为选择节点的条件，如果某段时间内对同-OSD的数据并发请求量增多，针对小文件存储的应用场景，OSD的剩余容量变化较不明显，对后续请求的数据又会选择存储到该权重值概率较大的OSD上，造成该OSD的I/O负载较大，使该OSD节点I/O阻塞的问题。本申请提供的数据储存方法，根据统计放置策略组映射的关联进程上的业务访问请求量以及进程的剩余容量大小，确定放置策略组映射的目标进程，以解决数据储存时，OSD节点I/O阻塞的问题。下面结合一个详细的实施例如图4所示，描述数据储存方法的具体步骤：
(1)处理器获取文件，将文件切分一个个相同大小的objects，其中，objects的大小为4MB(兆比特)；
(2)处理器获取每个objects的ID和PG的总数量，对每个objects的ID使用静态哈希计算，确定每个objects实际映射到的放置策略组；具体公式是：
hash(oid)＆mask-＞pgid
其中，oid是指objects的ID，pgid是指放置策略组的ID；
(3)处理器利用CRUSH算法计算PG映射到各个OSD上的位置；具体公式：
CRUSH(pgid)-＞(osdn1，osdn2，osdn3)
其中，pgid是指放置策略组的ID，n是OSD的ID；
(4)处理器获取进程的访问周期；
(5)处理器根据访问周期以及各个关联进程上的业务访问请求量确定各个关联进程的指数移动平均值；其中图5是没有经过指数移动平均值优化的相关联进程的业务访问请求量，图6是经过指数移动平均值过滤后的相关联进程的业务请求访问请求量；具体计算公式：
St＝α×Yt+(1-α)St-1
其中，α是指加权的程度，数值介于0至1区间；N是指预设周期；α＝2/(N+1)，即N取19天，α＝0.1；Yt是值相关联进程的上的业务访问请求量；St是指t时刻进程的指数移动平均值；St-1是指t时刻上-时刻的指数移动平均值；
(6)处理器再将得到的指数移动平均值带入方程y＝1/(x+1)确定各个关联进程的热度值；
(7)处理器获取每个OSD的剩余容量大小，根据每个OSD的剩余容量越大权重值越大，确定每个OSD的权重值；
(8)处理器获取每个OSD的权重值和热度值，将每个OSD的权重值和热度值作为约束条件，极端放置策略组对应的OSD。具体过程：
crushlh(b，x)÷(Wosd.i×热度值)
其中，b是指bucket类型，作为选择存储的设备类型：机房->机架->主机->磁盘，，x是指放置策略组的ID和对象的ID，Wosd.i是指第i个OSD对应节点的剩余容量。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据储存方法的数据储存装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个XXX装置实施例中的具体限定可以参见上文中对于数据储存方法的限定，在此不再赘述。
在一个实施例中，如图6所示，提供了一种数据储存装置，包括：对象获取模块610、对象放置模块620、进程确定模块630、统计模块640和计算模块650，其中：
对象获取模块610，用于获取文件被切分成的多个对象；
对象放置模块620，用于确定每个所述对象所在的放置策略组；
进程确定模块630，用于针对每个放置策略组，确定所述放置策略组映射的关联进程；
统计模块640，用于统计各个所述关联进程的业务访问请求量，根据各个所述关联进程的业务访问请求量确定各个所述关联进程的热度值；
计算模块650，用于获取各个所述关联进程的权重值，根据各个所述关联进程的权重值和热度值确定所述放置策略组映射的目标进程。
在一个实施例中，对象获取模块610用户获取每个对象的对象标识；对象放置模块620用于根据每个对象的对象标识的哈希值，确定每个对象所在的放置策略组。
在一个实施例中，进程确定模块630用于针对每个放置策略组，将放置策略组的组标识代入寻址算法，得到放置策略组映射的关联进程。
在一个实施例中，上述数据储存装置还包括：访问周期获取模块。访问周期获取模块用于获取进程的访问周期；计算模块650用于根据访问周期和各个关联进程上的业务访问请求量确定各个关联进程的指数移动平均值；根据指数移动平均值，确定各个关联进程的热度值。
在一个实施例中，计算模块650用于获取各个关联进程对应的剩余容量；针对每个关联进程，根据关联进程的剩余容量确定关联进程的权重值，权重值与剩余容量正相关。
在一个实施例中，进程确定模块630用于以各个关联进程的权重值和热度值作为约束条件，代入寻址算法，确定放置策略组映射的目标进程。
上述数据储存装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种数据储存方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取文件被切分成的多个对象；
确定每个对象所在的放置策略组；
针对每个放置策略组，确定放置策略组映射的关联进程；
统计各个关联进程的业务访问请求量，根据各个关联进程的业务访问请求量确定各个关联进程的热度值；
获取各个关联进程的权重值，根据各个关联进程的权重值和热度值确定放置策略组映射的目标进程。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取每个对象的对象标识；
根据每个对象的对象标识的哈希值，确定每个对象所在的放置策略组。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
针对每个放置策略组，将放置策略组的组标识代入寻址算法，得到放置策略组映射的关联进程。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取进程的访问周期；
根据访问周期和各个关联进程上的业务访问请求量确定各个关联进程的指数移动平均值；
根据指数移动平均值，确定各个关联进程的热度值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取各个关联进程对应的剩余容量；
针对每个关联进程，根据关联进程的剩余容量确定关联进程的权重值，权重值与剩余容量正相关。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
以各个关联进程的权重值和热度值作为约束条件，代入寻址算法，确定放置策略组映射的目标进程。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取文件被切分成的多个对象；
确定每个对象所在的放置策略组；
针对每个放置策略组，确定放置策略组映射的关联进程；
统计各个关联进程的业务访问请求量，根据各个关联进程的业务访问请求量确定各个关联进程的热度值；
获取各个关联进程的权重值，根据各个关联进程的权重值和热度值确定放置策略组映射的目标进程。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取每个对象的对象标识；
根据每个对象的对象标识的哈希值，确定每个对象所在的放置策略组。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
针对每个放置策略组，将放置策略组的组标识代入寻址算法，得到放置策略组映射的关联进程。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取进程的访问周期；
根据访问周期和各个关联进程上的业务访问请求量确定各个关联进程的指数移动平均值；
根据指数移动平均值，确定各个关联进程的热度值。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取各个关联进程对应的剩余容量；
针对每个关联进程，根据关联进程的剩余容量确定关联进程的权重值，权重值与剩余容量正相关。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
以各个关联进程的权重值和热度值作为约束条件，代入寻址算法，确定放置策略组映射的目标进程。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取文件被切分成的多个对象；
确定每个对象所在的放置策略组；
针对每个放置策略组，确定放置策略组映射的关联进程；
统计各个关联进程的业务访问请求量，根据各个关联进程的业务访问请求量确定各个关联进程的热度值；
获取各个关联进程的权重值，根据各个关联进程的权重值和热度值确定放置策略组映射的目标进程。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取每个对象的对象标识；
根据每个对象的对象标识的哈希值，确定每个对象所在的放置策略组。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
针对每个放置策略组，将放置策略组的组标识代入寻址算法，得到放置策略组映射的关联进程。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取进程的访问周期；
根据访问周期和各个关联进程上的业务访问请求量确定各个关联进程的指数移动平均值；
根据指数移动平均值，确定各个关联进程的热度值。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取各个关联进程对应的剩余容量；
针对每个关联进程，根据关联进程的剩余容量确定关联进程的权重值，权重值与剩余容量正相关。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
以各个关联进程的权重值和热度值作为约束条件，代入寻址算法，确定放置策略组映射的目标进程。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据储存方法，其特征在于，所述方法包括：
获取文件被切分成的多个对象；
确定每个所述对象所在的放置策略组；
针对每个放置策略组，确定所述放置策略组映射的关联进程；
统计各个所述关联进程的业务访问请求量，根据各个所述关联进程的业务访问请求量确定各个所述关联进程的热度值；
获取各个所述关联进程的权重值，根据各个所述关联进程的权重值和热度值确定所述放置策略组映射的目标进程。
2.根据权利要求1所述的方法，其特征在于，所述确定每个所述对象所在的放置策略组，包括：
获取每个所述对象的对象标识；
根据所述每个对象的对象标识的哈希值，确定每个对象所在的放置策略组。
3.根据权利要求2所述的方法，其特征在于，所述针对每个放置策略组，确定所述放置策略组映射的关联进程，包括：
针对每个放置策略组，将所述放置策略组的组标识代入寻址算法，得到所述放置策略组映射的关联进程。
4.根据权利要求1所述的方法，其特征在于，所述根据各个所述关联进程的业务访问请求量确定各个所述关联进程的热度值，包括：
获取进程的访问周期；
根据所述访问周期和各个所述关联进程上的业务访问请求量确定各个所述关联进程的指数移动平均值；
根据所述指数移动平均值，确定各个所述关联进程的热度值。
5.根据权利要求1所述的方法，其特征在于，所述获取各个所述关联进程的权重值，包括：
获取各个所述关联进程对应的剩余容量；
针对每个关联进程，根据所述关联进程的剩余容量确定所述关联进程的权重值，所述权重值与所述剩余容量正相关。
6.根据权利要求1所述的方法，其特征在于，所述根据各个所述关联进程的权重值和热度值确定所述放置策略组映射的目标进程，包括：
以各个所述关联进程的权重值和热度值作为约束条件，代入寻址算法，确定所述放置策略组映射的目标进程。
7.一种数据储存装置，其特征在于，所述装置包括：
对象获取模块，用于获取文件被切分成的多个对象；
对象放置模块，用于确定每个所述对象所在的放置策略组；
进程确定模块，用于针对每个放置策略组，确定所述放置策略组映射的关联进程；
统计模块，用于统计各个所述关联进程的业务访问请求量，根据各个所述关联进程的业务访问请求量确定各个所述关联进程的热度值；
计算模块，用于获取各个所述关联进程的权重值，根据各个所述关联进程的权重值和热度值确定所述放置策略组映射的目标进程。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202111588816.7A 2021-12-23 2021-12-23 数据储存方法、装置、计算机设备、存储介质 Pending CN114253481A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111588816.7A CN114253481A (zh) 2021-12-23 2021-12-23 数据储存方法、装置、计算机设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111588816.7A CN114253481A (zh) 2021-12-23 2021-12-23 数据储存方法、装置、计算机设备、存储介质

Publications (1)

Publication Number Publication Date
CN114253481A true CN114253481A (zh) 2022-03-29

Family

ID=80794595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111588816.7A Pending CN114253481A (zh) 2021-12-23 2021-12-23 数据储存方法、装置、计算机设备、存储介质

Country Status (1)

Country Link
CN (1) CN114253481A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115408396A (zh) * 2022-09-02 2022-11-29 金蝶征信有限公司 业务数据的存储方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160349993A1 (en) * 2015-05-29 2016-12-01 Cisco Technology, Inc. Data-driven ceph performance optimizations
CN108287660A (zh) * 2017-01-09 2018-07-17 中国移动通信集团河北有限公司 数据存储方法和设备
US20180253506A1 (en) * 2015-11-03 2018-09-06 Alibaba Group Holding Limited Data write-in method and apparatus in a distributed file system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160349993A1 (en) * 2015-05-29 2016-12-01 Cisco Technology, Inc. Data-driven ceph performance optimizations
US20180253506A1 (en) * 2015-11-03 2018-09-06 Alibaba Group Holding Limited Data write-in method and apparatus in a distributed file system
CN108287660A (zh) * 2017-01-09 2018-07-17 中国移动通信集团河北有限公司 数据存储方法和设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115408396A (zh) * 2022-09-02 2022-11-29 金蝶征信有限公司 业务数据的存储方法、装置、计算机设备和存储介质
CN115408396B (zh) * 2022-09-02 2024-04-05 金蝶征信有限公司 业务数据的存储方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN114697683A (zh) 流媒体文件的智能调度方法、设备和计算机程序产品
CN114253481A (zh) 数据储存方法、装置、计算机设备、存储介质
CN117435129A (zh) 存储集群扩容方法、装置、计算机设备和存储介质
CN116991800A (zh) 文件获取系统、方法、装置、计算机设备和存储介质
CN116708245A (zh) 一种接口控制方法、装置、计算机设备
CN116418985A (zh) 录像文件存储方法、装置、计算机设备和存储介质
CN115168668A (zh) 信息推荐方法、装置、计算机设备和存储介质
CN114253482A (zh) 数据储存方法、装置、计算机设备、存储介质
CN116385156B (zh) 资源分配方法、装置、计算机设备和计算机可读存储介质
CN117376079A (zh) 消息推送方法、装置、计算机设备和存储介质
CN115904713A (zh) 资源转移方法、装置及计算机设备
CN116860435A (zh) 核函数优先级确定方法、装置、计算机设备和存储介质
CN117648484A (zh) 内容推荐方法、装置、计算机设备和存储介质
CN116546097A (zh) 一种资源传输控制方法、装置、计算机设备
CN116756148A (zh) 增量数据的获取方法、装置、设备、存储介质和程序产品
CN116126490A (zh) 资源调度方法、装置、计算机设备和存储介质
CN117314036A (zh) 工单分配方法、装置、设备、存储介质和程序产品
CN116910115A (zh) 客群查询方法、装置、计算机设备和存储介质
CN118568350A (zh) 金融产品推荐内容的存储方法、装置、设备、介质和产品
CN116204296A (zh) 监控系统的算法执行方法、装置、计算机设备和存储介质
CN116541145A (zh) 数据调用方法、装置、计算机设备和计算机存储介质
CN115169311A (zh) 单据配置方法、装置、计算机设备和计算机程序产品
CN117667865A (zh) 数据分布式存储方法、装置、设备及介质
CN116781373A (zh) 风险评估方法、装置、设备、存储介质和程序产品
CN115756750A (zh) 资源伸缩方法、装置、计算机设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination