CN111949601A - 数据存储方法、装置及计算机存储介质 - Google Patents

数据存储方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN111949601A
CN111949601A CN201910405379.7A CN201910405379A CN111949601A CN 111949601 A CN111949601 A CN 111949601A CN 201910405379 A CN201910405379 A CN 201910405379A CN 111949601 A CN111949601 A CN 111949601A
Authority
CN
China
Prior art keywords
current operation
storage
data
compiling
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910405379.7A
Other languages
English (en)
Other versions
CN111949601B (zh
Inventor
许家桐
何敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Suzhou Software Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201910405379.7A priority Critical patent/CN111949601B/zh
Publication of CN111949601A publication Critical patent/CN111949601A/zh
Application granted granted Critical
Publication of CN111949601B publication Critical patent/CN111949601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/113—Details of archiving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施方式提供一种数据存储方法、装置及计算机存储介质，包括：获取后端存储引擎ObjectStore的当前操作，根据所述当前操作对应的操作标识确定所述当前操作的目标类别；根据所述目标类别对应的编译规则对所述当前操作进行编译，将编译后的所述当前操作对应的数据进行相应存储，其中，所述对应的编译规则是指匹配指定存储协议的格式要求。本发明实施方式为CEPH生态加入了新型的数据存储方法，也为对象存储设备和服务提供作为分布式统一存储的桥梁。

Description

数据存储方法、装置及计算机存储介质
技术领域
本发明涉及云计算技术领域，尤其涉及一种数据存储方法、装置及计算机存储介质。
背景技术
CEPH(一种分布式存储系统)存储生态伴随着统一存储的战略目标发展至今，越来越多地被运用于生产环境。作为当前最热门的几大分布式存储系统之一，CEPH具备了各类数据冗余保护策略，使得存储安全能够得到保证。CEPH系统具备高扩展性、高可用性与高性能，包括块存储、对象存储与文件系统，是当前分布式存储的首选解决方案。基于提供这些服务的统一存储战略，CEPH采用RADOS(Reliable Autonomic Distributed Object Store)结构。RADOS定义了CEPH内部将不同服务的不同数据都转换为对象数据并使用本地对象存储引擎ObjectStore进行存储。
ObjectStore作为CEPH后端存储引擎，封装了下层存储的所有IO操作，向上层OSD(Object Storage Device，对象存储设备)提供对象及事务语义的接口，基于各类不同的本地存储介质，目前ObjectStore分为以下几类：MemStore，KeyValueStore，FileStore，NewStore，BlueStore。然而，除MemStore写入内存外，其他后端均将对象数据写入基于HDD(Hard Disk Drive，机械硬盘)与SSD(Solid State Drive，固态硬盘)的本地文件系统或者裸盘，从而均无法离开将对象数据再转换为文件写入文件系统，或属性数据与对象数据分开存放，导致在应用上存在诸多限制。
发明内容
有鉴于此，本发明实施方式提供一种应用性更广的数据存储方法、装置及计算机存储介质。
本发明实施方式的技术方案是这样实现的：
第一方面，本发明实施方式提供一种数据存储方法，所述方法包括：获取后端存储引擎ObjectStore的当前操作，根据所述当前操作对应的操作标识确定所述当前操作的目标类别；根据所述目标类别对应的编译规则对所述当前操作进行编译，将编译后的所述当前操作对应的数据进行相应存储，其中，所述对应的编译规则是指匹配指定存储协议的格式要求。
可选地，所述将编译后的所述当前操作对应的数据进行相应存储，包括：将编译后的所述当前操作对应的数据通过如下至少一种方式存储：存储至本地对象存储设备、本地对象存储系统或网络对象存储服务。
可选地，所述目标类别为第一目标类别时，所述根据所述目标类别对应的编译规则对所述当前操作进行编译，包括：将所述当前操作对应的数据进行前缀形式转换，转换后的所述当前操作对应的数据匹配所述指定存储协议的数据格式要求。
可选地，所述目标类别为第二目标类别时，所述根据所述目标类别对应的编译规则对所述当前操作进行编译之前，还包括：对所述当前操作对应的数据进行高速缓存处理。
可选地，所述对所述当前操作对应的数据进行高速缓存处理，包括：顺序发出多个目标请求，异步处理所述多个目标请求的返回值，其中，所述多个目标请求与第二目标类别的操作相匹配。
可选地，所述目标类别为不符合设定要求的目标类别时，该方法还包括：将所述当前操作的数据写入基于固态硬盘与机械硬盘的本地文件系统或者裸盘。
可选地，所述将编译后的所述当前操作对应的数据进行相应存储，包括：根据所述当前操作所属的对象存储设备OSD，将编译后的所述当前操作对应的数据存储至与所述OSD对应的数据存储区域bucket。
第二方面，本发明实施方式还提供了一种数据存储装置，所述装置包括：引擎模块和连接模块，其中，引擎模块，用于获取后端存储引擎ObjectStore的当前操作，根据所述当前操作对应的操作标识确定所述当前操作的目标类别；连接模块，用于根据所述目标类别对应的编译规则对所述当前操作进行编译，将编译后的所述当前操作对应的数据进行相应存储，其中，所述对应的编译规则是指匹配指定存储协议的格式要求。
可选地，所述装置还包括：缓存模块，所述目标类别为第二目标类别时，所述缓存模块用于在所述根据所述目标类别对应的编译规则对所述当前操作进行编译之前，对所述当前操作对应的数据进行高速缓存处理。
第三方面，本发明实施方式还提供了一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现本发明任一实施方式所述的数据存储方法。
本发明上述实施方式所提供的数据存储方法、装置及计算机存储介质，通过获取后端存储引擎ObjectStore的当前操作，根据所述当前操作对应的操作标识确定所述当前操作的目标类别；如此，对获取ObjectStore的当前操作进行目标类别区分，当确定当前操作为目标类别操作时，根据所述目标类别对应的编译规则对所述当前操作进行编译，将编译后的所述当前操作对应的数据进行相应存储，其中，所述对应的编译规则是指匹配指定存储协议的格式要求。如此，通过将ObjectStore下的操作进行区分后，对目标类别的操作进行编译，使得编译后的操作对应的数据符合指定存储协议的格式要求，由此实现了不同目标类别的操作的数据的统一存储，形成新的CEPH对象存储后端，为CEPH生态加入了新型的数据存储方法，也为对象存储设备和服务提供作为分布式统一存储的桥梁。
附图说明
图1为本发明一实施方式提供的数据存储方法的流程示意图；
图2为本发明另一实施方式数据存储方法的流程示意图；
图3为本发明又一实施方式数据存储方法的流程示意图；
图4为本发明一实施方式提供的数据存储装置的结构示意图；
图5为本发明另一实施方式提供的数据存储装置的结构示意图；
图6为本发明再一实施方式数据存储方式的传递层级结构图。
具体实施方式
以下结合说明书附图及具体实施方式对本发明技术方案做进一步的详细阐述。除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
如图1所示，本发明一实施方式提供了一种数据存储方法，该方法包括如下步骤：
步骤101：获取后端存储引擎ObjectStore的当前操作，根据所述当前操作对应的操作标识确定所述当前操作的目标类别。
操作，可以是具备一定功能的程序关于对数据集合的一次运行活动，在分布式存储CEPH的生态下，存储引擎ObjectStore下的操作主要可以分为对象类操作和事务类操作，如对象类操作可以包括对象读取、对象写入、对象集合创建、对象信息条目增删改等，事务类操作可以包括线程管理类、日志类、同步锁和阀门锁类等。不同的操作具有不同的操作标识，操作标识主要可以为标志位，标志位是enum(数据类型)集合。根据标志位的不同，可以将ObjectStore下的当前操作进行类别区分。
步骤102：根据所述目标类别对应的编译规则对所述当前操作进行编译，将编译后的所述当前操作对应的数据进行相应存储，其中，所述对应的编译规则是指匹配指定存储协议的格式要求。
这里，当步骤101识别出目标类别操作后，将对当前操作进行编译处理，其中编译规则依据存储协议的格式要求。具体的，目标类别操作主要包含对象类操作和部分事务类操作。部分事务类操作包括：1、transaction线程管理类(如入队queue，执行do等)；2、操作op类(如finish op，日志完成回复jfinisher，写入完成回复afinisher等)；3、日志类(如open/dump_journal等)；4、同步锁和阀门锁类(如sync_lock/cond/stop/running，throttle_lock/cond/reserve/release等)。在一个可选的具体实施方式中，指定存储协议是指亚马逊S3协议(AZW S3)，编译的原则是将ObjectStore下的目标类别操作的代码重新编译为可以被S3协议识别的操作，也即，使得当前操作对应的数据匹配S3协议的格式要求。需要说明的是，这里的指定存储协议也可以是指其他适用于将不同目标类别操作对应的数据进行编译以实现不同目标类别的操作的数据的统一存储要求的指定存储协议。
上述实施例中，通过获取后端存储引擎ObjectStore的当前操作，根据所述当前操作对应的操作标识确定所述当前操作的目标类别；如此，对获取ObjectStore的当前操作进行目标类别区分，当确定当前操作为目标类别操作时，根据所述目标类别对应的编译规则对所述当前操作进行编译，将编译后的所述当前操作对应的数据进行相应存储，其中，所述对应的编译规则是指匹配指定存储协议的格式要求。如此，通过将ObjectStore下的操作进行区分后，对目标类别的操作进行编译，使得编译后的操作对应的数据符合指定存储协议的格式要求，由此实现了不同目标类别的操作的数据的统一存储，形成新的CEPH对象存储后端，为CEPH生态加入了新型的数据存储方法，也为对象存储设备和服务提供作为分布式统一存储的桥梁。
在一实施方式中，请结合参阅图2，将编译后的所述当前操作对应的数据进行相应存储，包括：将编译后的所述当前操作对应的数据通过如下至少一种方式存储：存储至本地对象存储设备、本地对象存储系统或网络对象存储服务。
从图2可以看出，本发明实施方式中，通过获取后端存储引擎ObjectStore的当前操作，对获取ObjectStore的当前操作进行目标类别区分，当确定当前操作为目标类别操作时，根据所述目标类别对应的编译规则对所述当前操作进行编译，将编译后的所述当前操作对应的数据相应存储至本地对象存储设备、本地对象存储系统或网络对象存储服务，这无需对CEPH本身的架构做变动，可以仍然采用RADOS的结构形式，通过该方式建立的OSD可与其它后端介质的OSD混合使用无影响。具体地，包含CEPH下的OSD进程21，编译完成后通过网络22，发送至对象存储设备、系统或网络对象存储服务23。在一可选的具体实施方式中，对象存储设备、系统或网络对象存储服务23可以为本地对象存储设备、本地对象存储系统或网络对象存储服务之中的任一种或者多种的结合。由此，OSD的创建可以不再限于使用本地磁盘作为数据盘，可以使用网络资源。
在一实施方式中，所述目标类别为第一目标类别时，所述根据所述目标类别对应的编译规则对所述当前操作进行编译，包括：将所述当前操作对应的数据进行前缀形式转换，转换后的所述当前操作对应的数据匹配所述指定存储协议的数据格式要求。
在这里，第一目标类别具体指的是需要经过编译才能被指定协议所接受的操作类别。第一目标类别的操作也为数据需要存储至本地对象存储设备、本地对象存储系统或网络对象存储服务的操作。以CEPH生态下存储引擎ObjectStore下的操作为例，该第一目标类别主要是指不涉及对数据进行增、删、改的对象类操作。以对象读操作为例，经由ObjectStore调用read(CID_OID2，uint64_t offset，size_t len，bufferlist&bl，uint32_t op_flags)，其中，CID_OID2为集合id和对象id，offset为偏移量，len为长度，bl为返回数据结构，op_flags为op操作结果状态。对文件系统cid_oid是目录和对象形式，但对amazons3 cid是prefix前缀形式，故经过变换：id2nm(cid，oid，NULL，&onm)；转换为onm。具体地，前缀形式转换，为将文件系统的操作转换为包含onm信息的过程。之后再将read读操作通过一系列编译转换为S3 request请求形式。对于其他需要编译的第一目标类别的操作，其前缀转换的方法也类似。
在一实施方式中，所述目标类别为第二目标类别时，所述根据所述目标类别对应的编译规则对所述当前操作进行编译之前，还包括：对所述当前操作对应的数据进行高速缓存处理。
在这里，第二目标类别操作主要为需要对同一对象多个操作或者密集型数据的操作类别。仍以CEPH生态下存储引擎ObjectStore下的操作为例，该第二目标类别主要是指涉及对数据进行增、删、改的对象类操作。如，具体可以包括：1、对象创建(touch)，对象写入(write)，对象置0(zero)，对象裁剪(truncate)，对象删除(remove)，对象属性设置(setattr)，对象多条属性设置(setattrs)，对象属性删除(rmattr)，对象多条属性删除(rmattrs)，整个对象克隆(clone)，对象部分克隆(clonerange)，对象部分克隆至目标对象部分(clonerange2)；2、读取类，对象状态(stat)对象读取(read)，访问扩展属性(fiemap)，获取属性(getattr)，获取多条属性(getattrs)等；3、创建对象集合(mkcoll)，删除对象集合(rmcoll)，对象放入集合(coll_add)，对象移出集合(coll_remove)，对象集合的属性设置(coll_setattr)，对象集合多条属性的设置(coll_setattrs)，对象集合的属性删除(coll_rmattr)，对象集合的多条属性删除(coll_rmattrs)，对象集合间移动(coll_move)，对象集合分裂(split_collection)，对象集合重命名(coll_rename)，对象集合clone并重命名(coll_move_rename)；4、对象map信息条目增删改(omap_setkeys/rmkeys/setheader/rmkeyrange)等。当操作为第二类别操作时，对操作的数据进行高速缓存，以便提高数据的响应速度和性能提优。
在一实施方式中，所述对所述当前操作对应的数据进行高速缓存处理，包括：顺序发出多个目标请求，异步处理所述多个目标请求的返回值，其中，所述多个目标请求与第二目标类别的操作相匹配。
在这里，针对第二目标类别的操作对应的数据进行高速缓存处理时提供网络异步操作管理，所述顺序发出多个目标请求，异步处理所述多个目标请求的返回值可以包括：在编译过程中加入一次记录多个请求的数据结构指针(requestContext)，使用此参数每个链接一次性顺序发送多个请求，异步处理回调(response)，聚合的请求可以是不同类型。通过此种方式，可以顺序发出多个目标请求并异步处理所述多个目标请求的返回值。由此，对同一对象多个写操作合并和密集型数据读取预读等性能进行提优。
在一实施方式中，所述目标类别为不符合设定要求的目标类别时，该方法还包括：将所述当前操作的数据写入基于固态硬盘与机械硬盘的本地文件系统或者裸盘。
在这里，当目标类别为不符合设定要求的目标类别时，可以无需对其进行编译而直接写入本地存储空间。不符合设定要求的操作可以包括日志写入与清理操作，如：1、日志journal*类(open、close、check_disk_cache、dump、open_file、start_writer、stop_writer、queue、multi_write、aio、discard等)；2、事务拆分、完成提交等。当当前操作属于不需要经过编译即可以完成的操作时，操作对应的数据可以沿用ObjectStore现有逻辑进行处理，写入基于本地机械硬盘或固态硬盘等的存储空间。
在一实施方式中，所述将编译后的所述当前操作对应的数据进行相应存储，包括：根据所述当前操作所属的对象存储设备OSD，将编译后的所述当前操作对应的数据存储至与所述OSD对应的数据存储区域bucket。
当前操作是指OSD下发至ObjectStore的对象类操作或事务类操作，当前操作所属的OSD是指将其下发至ObjectStore的对应OSD。如图3所示，本发明另一实施例所提供的数据存储方法包括如下步骤：S11，获取ObjectStore的当前操作；S12，判断所述当前操作是否为第一目标类别，若是，则执行步骤S13；若否，则执行步骤S17；步骤S13，判断所述当前操作是否为第二目标类别，若是，则执行步骤S14，若否，则执行步骤S15；步骤S14，对所述当前操作进行高速缓存处理；步骤S15，对所述当前操作对应的数据进行编译，使其匹配指定存储协议的格式要求；步骤S16，将编译后的所述当前操作对应的数据存储至与所述OSD对应的数据存储区域bucket；步骤S17，执行现有逻辑存储。在这里，一个OSD对应一个存储区域bucket，可以将对象存储中的一个bucket视作CEPH的一个OSD使用，通过该方式建立的OSD可与其他后端介质的OSD混合使用无影响。
本发明实施例另一方面，如图4所示，还提供了一种数据存储装置，所述装置包括：引擎模块31和连接模块32，其中，引擎模块31，用于获取后端存储引擎ObjectStore的当前操作，根据所述当前操作对应的操作标识确定所述当前操作的目标类别；连接模块32，用于根据所述目标类别对应的编译规则对所述当前操作进行编译，将编译后的所述当前操作对应的数据进行相应存储，其中，所述对应的编译规则是指匹配指定存储协议的格式要求。
这里，引擎模块31对存储引擎ObjectStore下的操作分为对象类操作和事务类操作，如对象类操作可以包括对象读取、对象写入、对象集合创建、对象信息条目增删改等，事务类操作可以包括线程管理类、日志类、同步锁和阀门锁类等。不同的操作具有不同的操作标识，操作标识主要为标志位，标志位是enum(数据类型)集合。根据标志位的不同，可以将ObjectStore下的当前操作进行类别区分。
识别出目标类别操作后，连接模块32将对当前操作进行编译处理，其中编译规则依据存储协议的格式要求。具体的，目标类别操作主要包含对象类操作和部分事务类操作，部分事务类操作包括：1、transaction线程管理类(如入队queue，执行do等)；2、操作op类(如finish op，日志完成回复jfinisher，写入完成回复afinisher等)；3、日志类(如open/dump_journal等)；4、同步锁和阀门锁类(如sync_lock/cond/stop/running，throttle_lock/cond/reserve/release等)。在本具体实施方式中，指定存储协议是亚马逊S3协议(AZW S3)，编译的原则是将ObjectStore下的目标类别操作的代码重新编译为可以被S3协议识别的操作。另一方面，在其他较佳实施方式中，也可以使用其他适用于本发明方法的指定存储协议。
其中，所述连接模块32，具体用于将编译后的所述当前操作对应的数据通过如下至少一种方式存储：存储至本地对象存储设备、本地对象存储系统或网络对象存储服务。
其中，当所述目标类别为第一目标类别时，所述根据所述目标类别对应的编译规则对所述当前操作进行编译，所述引擎模块31具体用于将所述当前操作对应的数据进行前缀形式转换，转换后的所述当前操作对应的数据匹配所述指定存储协议的数据格式要求。
在一实施方式中，如图5所示，还可以包括缓存模块33，所述目标类别为第二目标类别时，所述缓存模块用于在所述根据所述目标类别对应的编译规则对所述当前操作进行编译之前，对所述当前操作对应的数据进行高速缓存处理。
其中，缓存模块33对所述当前操作对应的数据进行高速缓存处理，包括：顺序发出多个目标请求，异步处理所述多个目标请求的返回值，其中，所述多个目标请求与第二目标类别的操作相匹配。通过此种方式，缓存模块33可以顺序发出多个目标请求并异步处理所述多个目标请求的返回值。由此，对同一对象多个写操作合并和密集型数据读取预读等性能进行提优。
其中，引擎模块31确定所述目标类别为不符合设定要求的目标类别时，将调用ObjectStore现有逻辑模块将所述当前操作的数据写入基于固态硬盘与机械硬盘的本地文件系统或者裸盘。
其中，连接模块32将编译后的所述当前操作对应的数据进行相应存储，对对应接口进行封装，根据所述当前操作所属的对象存储设备OSD，将编译后的所述当前操作对应的数据存储至与所述OSD对应的数据存储区域bucket。
请结合参阅图6，在另一实施方式中，本发明实施例所提供的数据存储装置中，引擎模块可以为S3Store模块42，连接模块可以为S3Conn模块44，缓存模块可以为S3Cache模块43。其中，
S3Store模块42从ObjectStore引擎41获取当前操作，分发目标类别操作，实现ObjectStore语义接口，另一方面，S3Store模块42还需对这些操作进行预处理；
S3Cache模块43缓存第二目标类别操作；
S3Conn模块44封装libs3接口45或RESTful接口46，以完成Cache层下发的flush、read或者list等任务，再发送至面向对象的数据存储区域47。
此外，对于ObjectStore引擎41下发的部分事务类操作，通过利用数据库48(RocksDB)来完成，并存储至硬盘49，以保障事务类操作的原子性。
其中，通过S3Store模块42和S3Conn模块44，可以对获取到的ObjectStore引擎41的当前操作的类别进行区分，并根据不同目标类别进行编译以匹配S3存储协议的格式要求。S3Cache模块43为基于对象存储整存零取概念可能产生的性能问题以及网络通信可能产生的性能问题而被设计为核心模块之一。S3Cache模块43可以完成整存时的对象填充读取，还将提供网络连接异步操作管理，对同一对象多个写操作合并和密集型数据读取预读等性能提优。
在本实施方式中，S3Store模块42可以作为ObjectStore引擎41的新型后端引擎，负责分发目标类别和非目标类别操作；S3Cache模块43负责缓存ObjectStore引擎41下发的第二目标类别操作执行；S3Conn模块44完成与libs3接口45的通信和S3Cache模块43的下刷与预读，由此实现了CEPH生态下不同目标类别的操作的数据的统一存储，形成新的CEPH对象存储后端，为CEPH生态加入了新型的数据存储方法，也为对象存储设备和服务提供作为分布式统一存储的桥梁。本发明实施例所提供的数据存储方法和装置，至少具备以下有益效果：
1)为分布式存储CEPH添加了新的后端存储介质，可以使用本地对象存储设备、系统或者网络对象存储服务。
2)使用后端对象存储来存储CEPH对象数据，避免了从对象到文件的再次转换，在接口转换上节省性能开销。
3)遵循CEPH本地对象存入对象存储的原则，避免了因为接口转换而造成的额外事务原子性保证的写放大。
4)为现有应用范围较狭窄的对象存储服务或对象存储系统提供块存储和文件存储的应用空间，拓展了仅提供对象接口的大容量单机设备或廉价的网络对象存储服务在应用上的出路。
5)为对象存储设备和服务提供了分布式统一存储的桥梁，为现有对象存储提供了一种升级为统一存储的途径。
本发明实施例另一方面，还提供了一种计算机存储介质，例如计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现以完成前述任一实施例所提供数据存储方法。计算机存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如智能手机、平板电脑、笔记本电脑等。
所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器运行时，执行如下步骤：
获取后端存储引擎ObjectStore的当前操作，根据所述当前操作对应的操作标识确定所述当前操作的目标类别；
根据所述目标类别对应的编译规则对所述当前操作进行编译，将编译后的所述当前操作对应的数据进行相应存储，其中，所述对应的编译规则是指匹配指定存储协议的格式要求。
其中，将编译后的所述当前操作对应的数据进行相应存储，执行步骤包括：将编译后的所述当前操作对应的数据通过如下至少一种方式存储：存储至本地对象存储设备、本地对象存储系统或网络对象存储服务。
其中，当所述目标类别为第一目标类别时，所述根据所述目标类别对应的编译规则对所述当前操作进行编译，执行步骤：将所述当前操作对应的数据进行前缀形式转换，转换后的所述当前操作对应的数据匹配所述指定存储协议的数据格式要求。
在一实施方式中，所述计算机程序被处理器运行时，还执行步骤：当所述目标类别为第二目标类别时，在所述根据所述目标类别对应的编译规则对所述当前操作进行编译之前，对所述当前操作对应的数据进行高速缓存处理。
其中，对所述当前操作对应的数据进行高速缓存处理，具体步骤包括：顺序发出多个目标请求，异步处理所述多个目标请求的返回值，其中，所述多个目标请求与第二目标类别的操作相匹配。
其中，确定所述目标类别为不符合设定要求的目标类别时，将调用ObjectStore现有逻辑模块将所述当前操作的数据写入基于固态硬盘与机械硬盘的本地文件系统或者裸盘。
其中，将编译后的所述当前操作对应的数据进行相应存储，对对应接口进行封装，根据所述当前操作所属的对象存储设备OSD，将编译后的所述当前操作对应的数据存储至与所述OSD对应的数据存储区域bucket。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种数据存储方法，其特征在于，所述方法包括：
获取后端存储引擎ObjectStore的当前操作，根据所述当前操作对应的操作标识确定所述当前操作的目标类别；
根据所述目标类别对应的编译规则对所述当前操作进行编译，将编译后的所述当前操作对应的数据进行相应存储，其中，所述对应的编译规则是指匹配指定存储协议的格式要求。
2.根据权利要求1所述的数据存储方法，其特征在于，所述将编译后的所述当前操作对应的数据进行相应存储，包括：
将编译后的所述当前操作对应的数据通过如下至少一种方式存储：存储至本地对象存储设备、本地对象存储系统或网络对象存储服务。
3.根据权利要求1所述的数据存储方法，其特征在于，所述目标类别为第一目标类别时，所述根据所述目标类别对应的编译规则对所述当前操作进行编译，包括：
将所述当前操作对应的数据进行前缀形式转换，转换后的所述当前操作对应的数据匹配所述指定存储协议的数据格式要求。
4.根据权利要求1所述的数据存储方法，其特征在于，所述目标类别为第二目标类别时，所述根据所述目标类别对应的编译规则对所述当前操作进行编译之前，还包括：
对所述当前操作对应的数据进行高速缓存处理。
5.根据权利要求4所述的数据存储方法，其特征在于，所述对所述当前操作对应的数据进行高速缓存处理，包括：
顺序发出多个目标请求，异步处理所述多个目标请求的返回值，其中，所述多个目标请求与第二目标类别的操作相匹配。
6.根据权利要求1所述的数据存储方法，其特征在于，所述目标类别为不符合设定要求的目标类别时，该方法还包括：
将所述当前操作的数据写入基于固态硬盘与机械硬盘的本地文件系统或者裸盘。
7.根据权利要求1所述的数据存储方法，其特征在于，所述将编译后的所述当前操作对应的数据进行相应存储，包括：
根据所述当前操作所属的对象存储设备OSD，将编译后的所述当前操作对应的数据存储至与所述OSD对应的数据存储区域bucket。
8.一种数据存储装置，其特征在于，所述装置包括：引擎模块和连接模块，其中，
引擎模块，用于获取后端存储引擎ObjectStore的当前操作，根据所述当前操作对应的操作标识确定所述当前操作的目标类别；
连接模块，用于根据所述目标类别对应的编译规则对所述当前操作进行编译，将编译后的所述当前操作对应的数据进行相应存储，其中，所述对应的编译规则是指匹配指定存储协议的格式要求。
9.根据权利要求8所述的数据存储装置，其特征在于，所述装置还包括：缓存模块，所述目标类别为第二目标类别时，所述缓存模块用于在所述根据所述目标类别对应的编译规则对所述当前操作进行编译之前，对所述当前操作对应的数据进行高速缓存处理。
10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的数据存储方法。
CN201910405379.7A 2019-05-16 2019-05-16 数据存储方法、装置及计算机存储介质 Active CN111949601B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910405379.7A CN111949601B (zh) 2019-05-16 2019-05-16 数据存储方法、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910405379.7A CN111949601B (zh) 2019-05-16 2019-05-16 数据存储方法、装置及计算机存储介质

Publications (2)

Publication Number Publication Date
CN111949601A true CN111949601A (zh) 2020-11-17
CN111949601B CN111949601B (zh) 2022-12-13

Family

ID=73335462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910405379.7A Active CN111949601B (zh) 2019-05-16 2019-05-16 数据存储方法、装置及计算机存储介质

Country Status (1)

Country Link
CN (1) CN111949601B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364278A (zh) * 2020-11-23 2021-02-12 浪潮云信息技术股份公司 一种基于CockroachDB底层键值数据分类优化方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574104A (zh) * 2015-12-11 2016-05-11 上海爱数信息技术股份有限公司 一种基于ObjectStore的LogStructure存储系统及其数据写入方法
CN107948334A (zh) * 2018-01-09 2018-04-20 无锡华云数据技术服务有限公司 基于分布式存储系统的数据处理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574104A (zh) * 2015-12-11 2016-05-11 上海爱数信息技术股份有限公司 一种基于ObjectStore的LogStructure存储系统及其数据写入方法
CN107948334A (zh) * 2018-01-09 2018-04-20 无锡华云数据技术服务有限公司 基于分布式存储系统的数据处理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364278A (zh) * 2020-11-23 2021-02-12 浪潮云信息技术股份公司 一种基于CockroachDB底层键值数据分类优化方法

Also Published As

Publication number Publication date
CN111949601B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
CN109254733B (zh) 用于存储数据的方法、装置和系统
CN107391653B (zh) 一种分布式NewSQL数据库系统及图片数据储存方法
KR100625595B1 (ko) 트랜잭션 처리 시스템의 병렬 로깅 방법 및 트랜잭션 로그 처리 시스템
CN106682139B (zh) 一种基于Solr实现HBase多条件查询的方法及系统
US20210360065A1 (en) Distributed Metadata Management Method for Distributed File System
JPH01126736A (ja) データ処理システム
CN112306645B (zh) 以太坊虚拟机的事务处理方法、装置、设备和介质
CN102272751A (zh) 在数据库环境通过背景同步的数据完整性
KR20200056526A (ko) 데이터베이스 관리 시스템에서의 변경 데이터 캡쳐 구현 기법
CN112612799A (zh) 一种数据同步方法及终端
CN114528255A (zh) 元数据管理方法、电子设备及计算机程序产品
CN115455058A (zh) 缓存数据的处理方法、装置、计算机设备及存储介质
CN115757492A (zh) 一种热点数据的处理方法、装置、计算机设备及存储介质
CN111949601B (zh) 数据存储方法、装置及计算机存储介质
CN113312386B (zh) 一种基于分布式消息的批量入库方法
CN112306957A (zh) 获取索引节点号的方法、装置、计算设备和存储介质
CN108280215B (zh) 一种基于Solr的电商索引文件的混合式更新方法
CN105677579A (zh) 缓存系统中的数据访问方法和系统
CN101853278A (zh) 数据存储系统应用方法
US20070203877A1 (en) Intermediate cache utility for file system access
CN113361236A (zh) 一种编辑文档的方法和装置
CN116226497A (zh) 检索方法、介质、装置和计算设备
CN113934691B (zh) 访问文件的方法、电子设备及可读存储介质
CN114896215A (zh) 元数据的存储方法及装置
CN112083914B (zh) 实现对象模型嵌入式操作系统软总线的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant