CN112511578B - 数据存储方法及装置 - Google Patents

数据存储方法及装置 Download PDF

Info

Publication number
CN112511578B
CN112511578B CN201910871396.XA CN201910871396A CN112511578B CN 112511578 B CN112511578 B CN 112511578B CN 201910871396 A CN201910871396 A CN 201910871396A CN 112511578 B CN112511578 B CN 112511578B
Authority
CN
China
Prior art keywords
target
osd
copy
master
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910871396.XA
Other languages
English (en)
Other versions
CN112511578A (zh
Inventor
廖磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Datang Mobile Communications Equipment Co Ltd
Original Assignee
Datang Mobile Communications Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Datang Mobile Communications Equipment Co Ltd filed Critical Datang Mobile Communications Equipment Co Ltd
Priority to CN201910871396.XA priority Critical patent/CN112511578B/zh
Publication of CN112511578A publication Critical patent/CN112511578A/zh
Application granted granted Critical
Publication of CN112511578B publication Critical patent/CN112511578B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种数据存储方法及装置。本发明数据存储方法，接收UDM网元发送的数据写入消息，根据数据写入消息中包括的每个终端设备的签约数据，生成签约文件的正本，根据正本，生成至少一个签约文件的第一副本，将正本和每个第一副本映射到不同的磁盘上，从而可以将包含有相同签约数据的签约文件存储在Ceph服务器的不同磁盘上，从而在其中一个磁盘或部分磁盘故障的情况下，可以从其他未生故障的磁盘中获取签约文件，因此在一定程度上提高了签约数据的安全性和可靠性。

Description

数据存储方法及装置
技术领域
本发明涉及通信领域，特别是涉及一种数据存储方法及装置。
背景技术
长期演进(LTE，Long Term Evolution)是由第三代合作伙伴计划(3GPP，The 3rdGeneration Partnership Project)组织制定的通用移动通信系统(UMTS，UniversalMobile Telecommunications System)技术标准的长期演进，随着无线通信技术的快速发展，目前已经由LTE(4G)向第五代移动通信技术(5th Generation Mobile Networks)演进。
统一数据管理(UDM，Unified Data Management)网元需要对5G网络中用户签约数据及终端设备的状态等信息进行存储和维护、以及负责与核心网中的其他网元例如移动性管理功能(AMF，Access and Mobility Management Function)、网络存储功能(NRF，Network Repository Function)网元之间的信令交互。用户签约数据包括聚合最大比特速率(AMBR，Aggregate Maximum Bit Rate)、公众陆地移动电话网(PLMN，Public LandMobile Network)、用户永久标识(SUPI，Subscriber Permanent Identifier)等。
由于目前的用户签约数据存储在UDM网元的本地磁盘中，一旦UDM网元的本地磁盘或UDM网元发生故障，大量或者全部用户签约数据可能无法恢复，因此提供一种安全可靠的用户签约数据存储方案亟待解决。
发明内容
本发明实施例提供一种数据存储方法及装置，以解决目前签约数据存储在UDM网元中，频繁的对UDM网元中的签约数据进行操作影响UDM整体处理能力的问题。
本发明实施例的第一方面，提供了一种数据存储方法，应用于包括多个磁盘的Ceph服务器；包括：
接收统一数据管理UDM网元发送的数据写入消息，所述数据写入消息包括至少一个终端设备的签约数据；
根据所述数据写入消息中包括的每个所述终端设备的签约数据，生成签约文件的正本；
根据所述正本，生成至少一个所述签约文件的第一副本；
将所述正本和每个所述第一副本映射到不同的所述磁盘上。
本发明实施例的第二方面，提供了一种数据存储装置，设置于包括多个磁盘的Ceph服务器；包括：
接收模块，用于接收统一数据管理UDM网元发送的数据写入消息，所述数据写入消息包括至少一个终端设备的签约数据；
第一生成模块，用于根据所述数据写入消息中包括的每个所述终端设备的签约数据，生成签约文件的正本；
第二生成模块，用于根据所述正本，生成至少一个所述签约文件的第一副本；
映射模块，用于将所述正本和每个所述第一副本映射到不同的所述磁盘上。
针对在先技术，本发明具备如下优点：
接收UDM网元发送的数据写入消息，根据数据写入消息中包括的每个终端设备的签约数据，生成签约文件的正本，根据正本，生成至少一个签约文件的第一副本，将正本和每个第一副本映射到不同的磁盘上，从而可以将包含有相同签约数据的签约文件存储在Ceph服务器的不同磁盘上，从而在其中一个磁盘或部分磁盘故障的情况下，可以从其他未生故障的磁盘中获取签约文件，因此在一定程度上提高了签约数据的安全性和可靠性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为现有技术提供的一种核心网系统框图；
图2为现有技术提供的一种数据存储方法的系统框图；
图3A为本发明实施例提供的一种实现数据存储方法的步骤流程图；
图3B为本发明实施例提供的一种数据存储方法的系统架构图；
图4为本发明实施例提供的另一种数据存储方法的步骤流程图；
图5为本发明实施例提供的一种分片正本映射示意图；
图6为本发明实施例提供的一种数据存储装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
应当理解，此处所描述的具体实施例仅用以解释本发明，仅仅是本发明一部分实施例，而不是全部的实施例，并不用于限定本发明。
参照图1，图1为现有技术提供的一种核心网系统框图。在5G核心网中，UDM网元处于控制平面，全部采用服务化接口进行通信。UDM网元上线之后首先在NRF网元中进行服务注册，注册完成后当有终端设备接入时，AMF网元会向NRF网元发送服务发现请求，服务发现请求SUPI，当NRF网元收到服务发现请求时就会在响应消息中将UDM网元的IP地址发给AMF网元，AMF网元会向UDM网元发起超文本传输协议(HTTP，HyperText Transfer Protocol)链接建立，之后与UDM网元之间经过信令交互获取签约数据或者UDM网元写入签约数据。
参照图2，图2为现有技术提供的一种数据存储方法的系统框图，包括应用(APP，Application)模块、数据库(DB，Database)模块、操作系统的应用程序接口(API，Application Programming Interface)、以及硬件(包括磁盘)。APP模块主要功能包括：负责HTTP链路的维护以及处理与AMF、NRF之间的信令消息交互；调用DB模块的函数接口进行数据的读写操作。DB模块负责在本地磁盘上具体执行数据的读、写、增、删、改等操作，同时维护数据的完整性和安全性。
基于图2，由于签约数据直接存储在UDM网元的磁盘上，缺少必要的数据安全性、可靠性保护，一旦本地磁盘或UDM网元发生故障，将会造成系统数据的丢失，从而带来不可恢复的严重后果。
为了解决上述技术问题，本发明实施例提供一种数据存储方法。参照图3A，图3A为本发明实施例提供的一种实现数据存储方法的步骤流程图，应用于包括多个Ceph服务器的系统，每个Ceph服务器包括多个磁盘。Ceph是一个可靠地、自动均衡、自动恢复的分布式存储系统。该方法包括如下步骤：
步骤301、接收UDM网元发送的数据写入消息，数据写入消息包括至少一个终端设备的签约数据。
和图2所示的方案相比，本实施例中提供的分布式存储方案中UDM网元不将签约数据存储在本地磁盘上，而是通过如图3B所示的块存储(RBD，Rados Block Device)接口将签约数据写到了分布式存储系统(Ceph服务器)中，参照图3B，图3B为本发明实施例提供的一种数据存储方法的系统架构图。本实施例提供的数据存储方法基于图3B实现。Ceph服务器包括Librbd、Librados、OSDs、磁盘。Librbd是Ceph的块存储库，librados是Ceph的基础接口。UDM网元的软件模块中增加了一个Ceph客户端，用于处理RBD接口的消息交互。现有技术中DB模块读写数据的操作直接通过调用操作系统的API进行本地磁盘的操作，而本实施例中通过UDM网元中的Ceph客户端模块与Ceph服务器之间交互的数据写入消息实现将签约数据存储在Ceph服务器的磁盘中。
为了实现UDM网元中的DB模块将签约数据发送给Ceph客户端，以通过Ceph客户端将签约数据发送给Ceph服务器，由Ceph服务器存储签约数据，需要定义DB模块和Ceph客户端之间的消息格式，消息格式如下表1所示，消息包括消息ID、消息长度、若干个消息参数：
消息参数n … 消息参数1 消息长度 消息ID
表1
消息ID由8个16进制位组成，用于唯一标识接口间的一条消息。第一个16进制位是初始发起的软件模块的模块编号，第二个16进制位是消息接收的软件模块编号。后面的6个16进制位表示接口间定义的唯一消息ID。DB模块的编码为1，Ceph客户端的编码为2。例如消息ID为：0x12000001，其中，0x表示16进制位，第一个16进制位是1，表示DB模块的编码，第二个16进制位为2，表示Ceph客户端的编码，即该消息表示DB模块是发送端，Ceph客户端是接收端。需要说明的是，当DB模块接收到签约数据后，将签约数据作为消息参数生成数据写入消息。例如，如果签约数据只包括SUPI，则可以将SUPI作为消息参数1，根据SUPI、消息ID和SUPI的长度(参数长度)生成数据写入消息，并将数据写入消息发送给Ceph客户端，UDM网元通过Ceph客户端将数据写入消息发送给Ceph服务器，相应的，Ceph服务器接收UDM网元发送的数据写入消息。
其中，消息长度用来标识消息内容的长度，从紧跟着消息长度后的第一个bit位开始计算，到消息中的最后参数的有效bit位结束。消息长度总是由4个bit位组成的整数表示。
消息参数中包括必选参数和可选参数，必选参数只需按接口规定的顺序在相应的位置填写该必选参数的值。对于每一个可选参数，都有一个字节的Presence标志字节，Presence值为1时，表示该可选参数有效，Presence后紧跟着该可选参数的编码；Presence值为0时，表示该消息不含该可选参数，Presence后紧跟着接口消息定义的下一个参数的编码。
步骤302、根据数据写入消息中包括的每个终端设备的签约数据，生成签约文件的正本。
一个签约文件中可以包括多个终端设备的签约数据，将签约数据生成签约文件，生成的签约文件即为该签约文件的正本。
步骤303、根据正本，生成至少一个签约文件的第一副本。
生成第一副本的个数可以根据预设个数确定，也可以随机生成一个和多个副本。例如如果预设个数为2，则可以生成1个第一副本，正本的个数为1个，正本的个数与第一副本的个数之和等于2。需要说明的是，第一副本包含的签约数据与正本中包括的签约数据相同。
步骤304、将正本和每个第一副本映射到不同的磁盘上。
如果Cep服务器包括15个磁盘，正本和第一副本之和等于3，则可以从15个磁盘中随机选择3个磁盘，也可以根据每个磁盘的负载大小，按照负载从小到大进行排序，获得排序结果，从排序结果中的第一个磁盘开始，选择3个磁盘。将正本映射到三个磁盘中磁盘1，将其中一个副本映射到3个磁盘中磁盘2，将另一个副本映射到3个磁盘中的磁盘3，从而将正本和每个第一副本映射到不同的磁盘上。即在不同的磁盘上都保存了相同的签约文件，从而在其中一个磁盘损坏的情况下，还可以从其他存储有该签约文件的磁盘中获取签约文件，从而在一定程度上提高了签约数据的安全性和可靠性。
本实施例提供的数据存储方法，通过接收UDM网元发送的数据写入消息，根据数据写入消息中包括的每个终端设备的签约数据，生成签约文件的正本，根据正本，生成至少一个签约文件的第一副本，将正本和每个第一副本映射到不同的磁盘上，从而可以将包含有相同签约数据的签约文件存储在Ceph服务器的不同磁盘上，从而在其中一个磁盘或部分磁盘故障的情况下，可以从其他未生故障的磁盘中获取签约文件，因此在一定程度上提高了签约数据的安全性和可靠性。
并且，由于现有技术中UDM网元如果发生故障，则可能不可恢复。而本实施中每个Ceph服务器包括多个磁盘，含有相同签约数据的签约文件可以存储在不同Ceph服务器的磁盘中，即使一台Ceph服务器发生故障，也可以从其他Ceph服务器的磁盘中获取签约数据，从而在一定程度上提高了签约数据的安全性和可靠性。
参照图4，图4为本发明实施例提供的另一种数据存储方法的步骤流程图，该方法包括如下步骤：
步骤401、接收UDM网元发送的数据写入消息。
步骤402、根据数据写入消息中包括的每个终端设备的签约数据，生成签约文件的正本。
步骤403、根据服务器包括的多个归属组PG各自的第一负载大小，从多个PG中确定目标PG，并将正本映射到目标PG中。
可以根据服务器包括的多个归属组(PG，Placement Group)各自的第一负载大小，从多个PG中选择第一负载最小的PG，将第一负载最小的PG作为目标PG，通过选择第一负载最小的PG作为目标PG，可以保证将正本映射到目标PG的成功率，以及提高映射到目标PG的速率。
需要说明的是，在每个PG的第一负载大小相同的情况下，根据每个PG的PG编号的大小，从多个PG中确定目标PG。也即PG编号越小的目标PG的权重越大，也可以为PG编号越大的目标PG的权重越大。例如，如果多个PG包括PG1、PG2、PG3、PG4，每个PG的第一负载大小相同，则可以将PG1(PG1的PG编号的大小为1)作为目标PG，也可以将PG4(PG4的PG编号的大小为4)作为目标PG。
需要说明的是，在根据服务器包括的多个归属组PG各自的第一负载大小，从多个PG中确定目标PG之前，可以包括如下步骤：
在正本的大小大于预设文件阈值的情况下，以预设文件阈值为切分单元，将正本切分为多个分片正本。
相应的，如果将正本切分为多个分片正本，则步骤403、根据服务器包括的多个归属组PG各自的第一负载大小，从多个PG中确定目标PG，并将正本映射到目标PG中可以通过如下步骤实现：
根据服务器包括的多个归属组PG各自的第一负载大小和分片正本的分片个数，从多个PG中确定目标PG；其中，目标PG的个数等于分片个数；
将每个分片正本映射到不同的目标PG中。
例如，参照图5，图5为本发明实施例提供的一种分片正本映射示意图。如果预设文件阈值为2M，正本的大小等于5M，则以2M为单位进行第一次切分，第一次切分后的剩余3M，对3M以2M为切分单元进行第二次切分，第二次切分后剩余3M，共进行次切分后获得3个分片正本，也即分片个数等于3。需要说明的是，第2次切分后剩余1M，该1M小于预设文件阈值，则不再进行切分。由于分片个数等于3，因此从多个PG中确定3个目标PG，即目标PG的个数等于分片个数。如图5所示，3个分片正本包括分片正本1、分片正本2和分片正本3，3个目标PG包括目标PG1、目标PG2和目标PG3，如图5所示，将分片正本1映射到目标PG3，将分片正本2映射到目标PG1，将分片正本3映射到目标PG2。也可以将分片正本1映射到目标PG2，将分片正本2映射到目标PG3，将分片正本3映射到目标PG1。需要说明的是，可以在将分片正本1映射到目标PG之前，可以采用随机函数从3个目标PG中随机确定一个目标PG(例如为目标PG3)，之后将分片正本1的映射到该目标PG3中，再从剩余的两个目标PG中随机选择一个目标PG(例如为目标PG2),将分片正本2映射到目标PG2，将分片正本3映射到目标PG1。通过随机映射方案可以使得分片正本在目标PG上分布的相对均衡。
并且，在正本的大小大于预设文件阈值的情况下，以预设文件阈值为切分单元，将正本切分为多个分片正本，并确定与分片个数相同个数的目标PG，将每个分片正本分别映射到不同的目标PG中，分片正本与目标PG是一对一映射。从而可以避免正本过大，映射速度慢或者目标PG的负载可能较大，导致映射不成功的问题。切分后可以在一定程度上提高映射到目标PG的速率，提高映射成功率。
步骤404、根据目标PG中的正本，在目标PG中生成至少一个签约文件的第一副本；其中，正本的个数与第一副本的个数之和等于预设个数。
相应的，如果在本步骤之前，将每个分片正本映射到不同的目标PG中，则步骤404、根据目标PG中的正本，在目标PG中生成至少一个签约文件的第一副本可以通过如下步骤实现：
根据每个目标PG中的分片正本，在每个目标PG中生成至少一个分片正本的第二副本；其中，分片正本的个数与第二副本的个数之和等于预设个数。
例如，结合上述举例介绍，由于分片正本1映射在目标PG3，则在目标PG3中生成至少一个分片正本1的第二副本；分片正本2映射在目标PG1，则在目标PG1中生成至少一个分片正本2的第二副本；分片正本3映射在目标PG2，则在目标PG2中生成至少一个分片正本3的第二副本。以目标PG3为例，由于预设个数等于2，分片正本1的第二副本个数为1个，以分片正本1的第二副本包括第二副本1为例对下述步骤进行示例说明。
步骤405、根据服务器包括的多个对象存储设备OSD各自的第二负载大小，从多个OSD中确定与目标PG对应的目标OSD，目标OSD的个数等于预设个数。
由于预设个数等于2，则从多个对象存储设备(OSD，Object-based Storage)中确定2个目标OSD。具体的，可以根据服务器包括的多个对象存储设备OSD各自的第二负载大小，从多个OSD中确定2个目标OSD。例如对每个OSD按照各自的第二负载大小从小到大进行排序，获得排序结果，从排序结果中的第一个OSD开始，选择2个OSD，选择的2个OSD即为目标OSD。以如图5所示为例，与目标PG1对应的目标OSD包括目标OSD1、目标OSD2，与目标PG2对应的目标OSD包括目标OSD1、目标OSD3，与目标PG3对应的目标OSD包括目标OSD2、目标OSD3。
需要说明的是，在每个OSD的第二负载大小相同的情况下，根据每个OSD的OSD编号的大小，从多个OSD中确定与目标PG对应的目标OSD。如果预设个数等于2，多个OSD包括OSD1、OSD2、OSD3、OSD4和OSD5，OSD1、OSD2、OSD3和OSD4各自的第二负载大小相同，则可以将OSD1和OSD2作为与目标PG对应的OSD，也可以将OSD4和OSD5作为与目标PG对应的OSD。
步骤406、将目标PG中的正本和每个第一副本分别映射到与目标PG对应的不同目标OSD中。
如果正本未被切分，目标PG只有一个，以目标PG为目标PG1，与目标PG1对应的目标OSD为目标OSD1和目标OSD2，目标PG1中包括一个正本和一个第一副本，则可以将该正本映射到目标OSD1，将该第一副本映射到目标OSD2。
相应的，如果在上述步骤中对正本进行了切分，则本步骤可通过如下步骤实现：
将每个目标PG中的分片正本和每个第二副本分别映射到不同的目标OSD。
例如如图5所示，目标PG1中包括分片正本2和分片正本2的第二副本，与目标PG1对应的目标OSD包括目标OSD1和目标OSD2，则可以将分片正本2映射到目标OSD1，将分片正本2的第二副本映射到目标OSD2。也可以将分片正本2映射到目标OSD2，将分片正本2的第二副本映射到目标OSD1。同理，可以将目标PG2中的与分片正本3对应的第二副本映射到目标OSD1，将分片正本3映射到目标OSD3；将目标PG3中的与分片正本1对应的第二副本映射到目标OSD2，将分片正本1映射到目标OSD3。也即在映射目标PG中的分片正本或分片正本的第二副本时，如果当前映射目标PG中的分片正本，则可以从与目标PG对应的目标OSD中随机选择一个目标OSD，然后将分片正本映射到选择的目标OSD中。同样，在映射目标PG中的分片正本的第二副本时，也可以从剩余的目标OSD中随机选择一个目标OSD，将分片正本的第二副本映射到选择的目标OSD中。
例如，以预设个数为3个为例，与目标PG1对应的目标OSD包括目标OSD1、目标OSD2和目标OSD3，对目标PG1中的分片正本2、分片正本2的第二副本1和第二副本2进行映射时，如果第一次映射分片正本2，则可以将分片正本2的编号带入随机数函数RAND(1,3)进行随机码的生成，生成的这个随机码为一个第一随机数(第一随机数为整数，第一随机数假设为t)，生成的第一随机数t大于等于1且小于等于3，由这个第一随机数t加分片正本2的编号(假设为i)再次进行随机数运算，即RAND(i+t-1,i+t,i+t+1)运算出一个第二随机数(第二随机数为k)。若k为i+t-1，则在临时资源池(目标OSD1、目标OSD2和目标OSD3组成临时资源池)中选择第一个目标OSD，并将分片正本2映射到第一个目标OSD；若k为i+t，则在临时资源池中选择第二个目标OSD，并将分片正本2映射到第二个目标OSD；若k为i+t+1，则在临时资源池中选择第三个目标OSD，并将分片正本2映射到第三个目标OSD。之后需要从除分片正本2映射的目标OSD(如果分片正本2映射的目标OSD为目标OSD3)之外的两个目标OSD中随机选择一个目标OSD，将第二副本1和第二副本2中的一个映射到选择的目标OSD(如果选择的目标OSD为目标OSD1)中，如果将第二副本1映射目标OSD1，则将第二副本2映射到目标OSD2。
步骤407、将每个目标OSD中的正本或第一副本映射到与目标OSD对应的磁盘上。
相应的，在将正本进行切分的情况下，本步骤可通过如下步骤实现：
将每个目标OSD中的分片正本和/或第二副本映射到与目标OSD对应的磁盘上。
如图5所示，将目标OSD1中的分片正本2和与分片正本3对应的第二副本映射到磁盘1，将目标OSD2中的分片正本2的第二副本和与分片正本1对应的第二副本映射到磁盘2，将目标OSD3中的分片正本3和分片正本1映射到磁盘3。从而在对正本进行切分的情况下，可以将分片正本和分片正本的第二副本保存在不同的磁盘上，从而在一个磁盘或部分磁盘故障的情况下，可以从其他磁盘获取签约文件，在一定程度上提高了签约数据的存储安全性和可靠性。
通过步骤407，将正本和每个第一副本映射到不同的磁盘上，从而可以将包含有相同签约数据的签约文件存储在Ceph服务器的不同磁盘上，从而在其中一个磁盘或部分磁盘故障的情况下，可以从其他未生故障的磁盘中获取签约文件，因此在一定程度上提高了签约数据的安全性和可靠性。需要说明的是，由于现有技术中UDM网元上存储了数万数量级的签约数据，就存在频繁的对UDM网元上存储的数万量级的签约数据频繁读写操作的情况，频繁读写操作会直接影响到UDM网元的整体处理能力。而本实施例中签约数据不存储在UDM网元中，而是存储在Ceph服务器的不同磁盘中，因此不但避免了频繁的对UDM进行读写操作，而且利用Ceph提供的分布式存储技术提高了对签约数据进行读写操作效率。
参照图6，图6为本发明实施例提供的一种数据存储装置的结构示意图，该装置600设置于包括多个磁盘的Ceph服务器；包括：
接收模块610，用于接收UDM网元发送的数据写入消息，所述数据写入消息包括至少一个终端设备的签约数据；
第一生成模块620，用于根据所述数据写入消息中包括的每个所述终端设备的签约数据，生成签约文件的正本；
第二生成模块630，用于根据所述正本，生成至少一个所述签约文件的第一副本；
映射模块640，用于将所述正本和每个所述第一副本映射到不同的所述磁盘上。
本实施例提供的数据存储装置，通过接收UDM网元发送的数据写入消息，根据数据写入消息中包括的每个终端设备的签约数据，生成签约文件的正本，根据正本，生成至少一个签约文件的第一副本，将正本和每个第一副本映射到不同的磁盘上，从而可以将包含有相同签约数据的签约文件存储在Ceph服务器的不同磁盘上，从而在其中一个磁盘或部分磁盘故障的情况下，可以从其他未生故障的磁盘中获取签约文件，因此在一定程度上提高了签约数据的安全性和可靠性。
可选的，所述第二生成模块，包括：
第一确定单元，用于根据所述服务器包括的多个归属组PG各自的第一负载大小，从所述多个PG中确定目标PG，并将所述正本映射到所述目标PG中；
生成单元，用于根据所述目标PG中的所述正本，在所述目标PG中生成至少一个所述签约文件的第一副本；其中，所述正本的个数与所述第一副本的个数之和等于预设个数。
可选的，所述映射模块，包括：
第二确定单元，用于根据所述服务器包括的多个对象存储设备OSD各自的第二负载大小，从所述多个OSD中确定与所述目标PG对应的目标OSD，所述目标OSD的个数等于所述预设个数；
第一映射单元，用于将所述目标PG中的所述正本和每个所述第一副本分别映射到与所述目标PG对应的不同所述目标OSD中；
第二映射单元，用于将每个所述目标OSD中的所述正本或所述第一副本映射到与所述目标OSD对应的所述磁盘上。
可选的，在所述根据所述服务器包括的多个归属组PG各自的第一负载大小，从所述多个PG中确定目标PG之前，还包括：
切分模块，用于在所述正本的大小大于预设文件阈值的情况下，以所述预设文件阈值为切分单元，将所述正本切分为多个分片正本；
所述第一确定单元，具体用于根据所述服务器包括的多个归属组PG各自的第一负载大小和所述分片正本的分片个数，从所述多个PG中确定所述目标PG；其中，所述目标PG的个数等于所述分片个数；
将每个所述分片正本映射到不同的所述目标PG中。
可选的，所述第一生成单元，具体用于根据每个所述目标PG中的所述分片正本，在每个所述目标PG中生成至少一个所述分片正本的第二副本；其中，所述分片正本的个数与所述第二副本的个数之和等于所述预设个数；
所述第一映射单元，具体用于将所述目标PG中的所述分片正本和每个所述第二副本分别映射到与所述目标PG对应的不同所述目标OSD中；
所述第二映射单元，具体用于将每个所述目标OSD中的所述分片正本和/或所述第二副本映射到与所述目标OSD对应的所述磁盘上。
可选的，
所述第一确定单元，具体用于在每个所述PG的第一负载大小相同的情况下，根据每个所述PG的PG编号的大小，从所述多个PG中确定目标PG；
所述第二确定单元，具体用于在每个所述OSD的第二负载大小相同的情况下，根据每个所述OSD的OSD编号的大小，从所述多个OSD中确定与所述目标PG对应的目标OSD。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述的数据存储方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，的计算机可读存储介质，可以为只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
本发明实施例还提供了一种计算机程序，该计算机程序可以存储在云端或本地的存储介质上。在该计算机程序被计算机或处理器运行时用于执行本发明实施例的数据存储方法的相应步骤，并且用于实现根据本发明实施例的数据存储装置中的相应模块。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。
在此提供的数据存储方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据存储方法中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种数据存储方法，其特征在于，应用于包括多个Ceph服务器的系统，每个所述Ceph服务器包括多个磁盘；包括：
接收统一数据管理UDM网元发送的数据写入消息，所述数据写入消息包括至少一个终端设备的签约数据；
根据所述数据写入消息中包括的每个所述终端设备的签约数据，生成签约文件的正本；
其中，所述数据写入消息由UDM网元中的DB模块生成后，被Ceph客户端发送给Ceph服务器；
根据所述正本，生成至少一个所述签约文件的第一副本；
将所述正本和每个所述第一副本映射到不同的所述磁盘上；
所述根据所述正本，生成至少一个所述签约文件的第一副本，包括：
根据所述服务器包括的多个归属组PG各自的第一负载大小，从所述多个PG中确定目标PG，并将所述正本映射到所述目标PG中；
根据所述目标PG中的所述正本，在所述目标PG中生成至少一个所述签约文件的第一副本；其中，所述正本的个数与所述第一副本的个数之和等于预设个数。
2.根据权利要求1所述的方法，其特征在于，所述将所述正本和每个所述第一副本映射到不同的所述磁盘上，包括：
根据所述服务器包括的多个对象存储设备OSD各自的第二负载大小，从所述多个OSD中确定与所述目标PG对应的目标OSD，所述目标OSD的个数等于所述预设个数；
将所述目标PG中的所述正本和每个所述第一副本分别映射到与所述目标PG对应的不同所述目标OSD中；
将每个所述目标OSD中的所述正本或所述第一副本映射到与所述目标OSD对应的所述磁盘上。
3.根据权利要求1或2所述的方法，其特征在于，在所述根据所述服务器包括的多个归属组PG各自的第一负载大小，从所述多个PG中确定目标PG之前，还包括：
在所述正本的大小大于预设文件阈值的情况下，以所述预设文件阈值为切分单元，将所述正本切分为多个分片正本；
所述根据所述服务器包括的多个归属组PG各自的第一负载大小，从所述多个PG中确定目标PG，并将所述正本映射到所述目标PG中，包括：
根据所述服务器包括的多个归属组PG各自的第一负载大小和所述分片正本的分片个数，从所述多个PG中确定所述目标PG；其中，所述目标PG的个数等于所述分片个数；
将每个所述分片正本映射到不同的所述目标PG中。
4.根据权利要求3所述的方法，其特征在于，所述根据所述目标PG中的所述正本，在所述目标PG中生成至少一个所述签约文件的副本，包括：
根据每个所述目标PG中的所述分片正本，在每个所述目标PG中生成至少一个所述分片正本的第二副本；其中，所述分片正本的个数与所述第二副本的个数之和等于所述预设个数；
所述将所述目标PG中的所述正本和每个所述第一副本分别映射到与所述目标PG对应的不同所述目标OSD中，包括：
将所述目标PG中的所述分片正本和每个所述第二副本分别映射到与所述目标PG对应的不同所述目标OSD中；
所述将每个所述目标OSD中的所述正本或所述第一副本映射到与所述目标OSD对应的所述磁盘上，包括：
将每个所述目标OSD中的所述分片正本和/或所述第二副本映射到与所述目标OSD对应的所述磁盘上。
5.根据权利要求2所述的方法，其特征在于，所述根据所述服务器包括的多个归属组PG各自的第一负载大小，从所述多个PG中确定目标PG，包括：
在每个所述PG的第一负载大小相同的情况下，根据每个所述PG的PG编号的大小，从所述多个PG中确定目标PG；
所述根据所述服务器包括的多个对象存储设备OSD各自的第二负载大小，从所述多个OSD中确定与所述目标PG对应的目标OSD，包括：
在每个所述OSD的第二负载大小相同的情况下，根据每个所述OSD的OSD编号的大小，从所述多个OSD中确定与所述目标PG对应的目标OSD。
6.一种数据存储装置，其特征在于，设置于包括多个磁盘的Ceph服务器；包括：
接收模块，用于接收统一数据管理UDM网元发送的数据写入消息，所述数据写入消息包括至少一个终端设备的签约数据；
其中，所述数据写入消息由UDM网元中的DB模块生成后，被Ceph客户端发送给Ceph服务器；
第一生成模块，用于根据所述数据写入消息中包括的每个所述终端设备的签约数据，生成签约文件的正本；
第二生成模块，用于根据所述正本，生成至少一个所述签约文件的第一副本；
映射模块，用于将所述正本和每个所述第一副本映射到不同的所述磁盘上；
所述第二生成模块，包括：
第一确定单元，用于根据所述服务器包括的多个归属组PG各自的第一负载大小，从所述多个PG中确定目标PG，并将所述正本映射到所述目标PG中；
生成单元，用于根据所述目标PG中的所述正本，在所述目标PG中生成至少一个所述签约文件的第一副本；其中，所述正本的个数与所述第一副本的个数之和等于预设个数。
7.根据权利要求6所述的装置，其特征在于，所述映射模块，包括：
第二确定单元，用于根据所述服务器包括的多个对象存储设备OSD各自的第二负载大小，从所述多个OSD中确定与所述目标PG对应的目标OSD，所述目标OSD的个数等于所述预设个数；
第一映射单元，用于将所述目标PG中的所述正本和每个所述第一副本分别映射到与所述目标PG对应的不同所述目标OSD中；
第二映射单元，用于将每个所述目标OSD中的所述正本或所述第一副本映射到与所述目标OSD对应的所述磁盘上。
8.根据权利要求7所述的装置，其特征在于，所述第二生成模块还包括：
切分模块，用于在所述正本的大小大于预设文件阈值的情况下，以所述预设文件阈值为切分单元，将所述正本切分为多个分片正本；
所述第一确定单元，具体用于根据所述服务器包括的多个归属组PG各自的第一负载大小和所述分片正本的分片个数，从所述多个PG中确定所述目标PG；其中，所述目标PG的个数等于所述分片个数；
将每个所述分片正本映射到不同的所述目标PG中。
9.根据权利要求8所述的装置，其特征在于，所述生成单元，具体用于根据每个所述目标PG中的所述分片正本，在每个所述目标PG中生成至少一个所述分片正本的第二副本；其中，所述分片正本的个数与所述第二副本的个数之和等于所述预设个数；
所述第一映射单元，具体用于将所述目标PG中的所述分片正本和每个所述第二副本分别映射到与所述目标PG对应的不同所述目标OSD中；
所述第二映射单元，具体用于将每个所述目标OSD中的所述分片正本和/或所述第二副本映射到与所述目标OSD对应的所述磁盘上。
10.根据权利要求7所述的装置，其特征在于，所述第一确定单元，具体用于在每个所述PG的第一负载大小相同的情况下，根据每个所述PG的PG编号的大小，从所述多个PG中确定目标PG；
所述第二确定单元，具体用于在每个所述OSD的第二负载大小相同的情况下，根据每个所述OSD的OSD编号的大小，从所述多个OSD中确定与所述目标PG对应的目标OSD。
CN201910871396.XA 2019-09-16 2019-09-16 数据存储方法及装置 Active CN112511578B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910871396.XA CN112511578B (zh) 2019-09-16 2019-09-16 数据存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910871396.XA CN112511578B (zh) 2019-09-16 2019-09-16 数据存储方法及装置

Publications (2)

Publication Number Publication Date
CN112511578A CN112511578A (zh) 2021-03-16
CN112511578B true CN112511578B (zh) 2022-06-24

Family

ID=74923786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910871396.XA Active CN112511578B (zh) 2019-09-16 2019-09-16 数据存储方法及装置

Country Status (1)

Country Link
CN (1) CN112511578B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230136274A1 (en) * 2021-11-04 2023-05-04 Softiron Limited Ceph Media Failure and Remediation
CN114253482A (zh) * 2021-12-23 2022-03-29 深圳市名竹科技有限公司 数据储存方法、装置、计算机设备、存储介质
CN114647539B (zh) * 2022-03-17 2022-10-18 北京涵鑫盛科技有限公司 一种分布式存储系统的数据自动恢复方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101005441A (zh) * 2006-01-21 2007-07-25 华为技术有限公司 在无线网络中实现QoS控制的方法及装置
CN104579703A (zh) * 2013-10-12 2015-04-29 普天信息技术有限公司 一种使集群用户退出组呼的方法和用户终端
CN104754547A (zh) * 2013-12-30 2015-07-01 成都鼎桥通信技术有限公司 在全业务平台对终端用户实现统一管理的方法和设备
CN105471989A (zh) * 2015-11-23 2016-04-06 上海爱数信息技术股份有限公司 一种数据存储方法
CN108804568A (zh) * 2018-05-23 2018-11-13 北京奇艺世纪科技有限公司 一种Openstack中副本数据在ceph中存储方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103634401B (zh) * 2013-12-03 2015-11-25 北京京东尚科信息技术有限公司 一种存储数据副本的方法和终端装置以及服务器装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101005441A (zh) * 2006-01-21 2007-07-25 华为技术有限公司 在无线网络中实现QoS控制的方法及装置
CN104579703A (zh) * 2013-10-12 2015-04-29 普天信息技术有限公司 一种使集群用户退出组呼的方法和用户终端
CN104754547A (zh) * 2013-12-30 2015-07-01 成都鼎桥通信技术有限公司 在全业务平台对终端用户实现统一管理的方法和设备
CN105471989A (zh) * 2015-11-23 2016-04-06 上海爱数信息技术股份有限公司 一种数据存储方法
CN108804568A (zh) * 2018-05-23 2018-11-13 北京奇艺世纪科技有限公司 一种Openstack中副本数据在ceph中存储方法及装置

Also Published As

Publication number Publication date
CN112511578A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN112511578B (zh) 数据存储方法及装置
US9665428B2 (en) Distributing erasure-coded fragments in a geo-distributed storage system
US9756535B2 (en) Terminal for a content centric network and method of communication for a terminal and a hub in a content centric network
KR101914318B1 (ko) 수정된 호스트네임을 사용하는 글로벌 트래픽 관리 기법
CN109981595B (zh) 一种资源获取方法、资源返回方法及服务器、存储介质
CN110134889B (zh) 短链接生成方法、装置及服务器
EP3780438B1 (en) Data transmission method and related device
US20230008666A1 (en) Group Creation Method, Apparatus, and System
CN101741730A (zh) 文件下载方法及设备、提供文件下载服务的方法及系统
CN105357328A (zh) 域名解析方法、dns递归服务器及域名解析系统
CN110597824A (zh) 一种基于区块链网络的数据存储方法以及装置
CN110399096B (zh) 分布式文件系统元数据缓存重删的方法、装置以及设备
CN103516757A (zh) 内容处理方法、装置及系统
CN106294627A (zh) 数据管理方法及数据服务器
CN109788050B (zh) 一种获取源站ip地址方法、系统、电子设备和介质
CN108595574B (zh) 数据库集群的连接方法、装置、设备及存储介质
CN105224541A (zh) 数据的唯一性控制方法、信息存储方法及装置
CN108776665B (zh) 一种数据处理方法及装置
CN105704207A (zh) 一种生成唯一标识的方法、终端和网络侧
US10651975B2 (en) Forwarding data amongst cooperative DSTN processing units of a massive data ingestion system
CN115409507A (zh) 区块处理方法、区块处理装置、计算机设备及存储介质
CN111641925A (zh) 一种复制数据传输功能控制方法、终端和计算机存储介质
CN116955355A (zh) 一种区块数据处理方法、装置及电子设备
JP2022515637A (ja) データの再送復号方法、装置、システム及び通信装置
WO2019242279A1 (zh) 一种消息处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant