CN107608627B - 一种远端数据分级存储方法、电子设备及存储介质 - Google Patents

一种远端数据分级存储方法、电子设备及存储介质 Download PDF

Info

Publication number
CN107608627B
CN107608627B CN201710718173.0A CN201710718173A CN107608627B CN 107608627 B CN107608627 B CN 107608627B CN 201710718173 A CN201710718173 A CN 201710718173A CN 107608627 B CN107608627 B CN 107608627B
Authority
CN
China
Prior art keywords
data
data request
local cache
reading
server node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710718173.0A
Other languages
English (en)
Other versions
CN107608627A (zh
Inventor
张小东
邹理贤
赵参
张国强
张为杰
涂华奇
陈剑鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Aerospace Yunhong Technology Co ltd
Winhong Information Technology Co ltd
Original Assignee
Guangzhou Aerospace Yunhong Technology Co ltd
Winhong Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Aerospace Yunhong Technology Co ltd, Winhong Information Technology Co ltd filed Critical Guangzhou Aerospace Yunhong Technology Co ltd
Priority to CN201710718173.0A priority Critical patent/CN107608627B/zh
Publication of CN107608627A publication Critical patent/CN107608627A/zh
Application granted granted Critical
Publication of CN107608627B publication Critical patent/CN107608627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种远端数据分级存储方法，包括：接收数据请求，并解析出数据请求的地址信息和读写类型；若地址信息不是当前服务器节点，且数据请求为写操作，则将数据请求对应的数据写入本地缓存中；根据优先级算法读取写入本地缓存中的数据，并将从本地缓存中读取的数据写入相应的远端服务器节点；将写入相应远端服务器节点的数据从本地缓存中移除。本发明还公开了一种电子设备及存储介质，本发明提供的远端数据分级存储方法、电子设备及存储介质将远端数据的读写转换为对本地缓存的读写，提高了数据读写速度，降低了数据延时；直接在本地缓存中进行读写，系统中的网络变化不会对读写过程产生影响，提高系统稳定性。

Description

一种远端数据分级存储方法、电子设备及存储介质
技术领域
本发明涉及数据存储领域，尤其涉及一种远端数据分级存储方法、电子设备及存储介质。
背景技术
目前，在超融合系统中，虚拟化计算资源与存储资源位于同一套服务器设备中；为了保证系统的可靠性及易于扩展，系统内的存储资源采用分布式存储架构，用户数据是分散地存储在各个服务器节点上；上层业务数据在下发到存储系统后，会经过处理分别传输到系统中的各个服务器节点上进行存储。
根据分布式存储的特点，用户数据的存储位置如果不在当前运行的服务器节点上，则需要经过网络传输到其它服务器节点上进行存储；数据的远端存储过程，需要经过两端服务器的协调处理，利用网络传输来最终完成数据的传递，这样的存储过程会花费比本地存储更多的时长，导致时延很大，影响上层业务性能，形成系统性能瓶颈。且在超融合系统中，网络系统会因为上层业务变化而呈现波动，而远端数据的写入依赖于网络也会跟着波动，导致上层业务数据处理很不稳定；在网络繁忙时，上层业务数据甚至出现因没能及时写入而直接丢失，造成无法挽回的损失。降低数据时延，提高系统稳定性成为亟待解决的问题。
发明内容
为了克服现有技术的不足，本发明的目的之一在于提供一种远端数据分级存储方法，以降低数据时延，提高系统稳定性。
本发明的目的之二在于提供一种电子设备，以降低时延，提高系统稳定性。
本发明的目的之一采用如下技术方案实现：
一种远端数据分级存储方法，包括：
接收数据请求，并解析出所述数据请求的地址信息和读写类型；
若所述地址信息不是当前服务器节点，且所述数据请求为写操作，则将所述数据请求对应的待存储的数据写入本地缓存中；
根据优先级算法读取写入本地缓存中的数据，并将从本地缓存中读取的数据写入相应的远端服务器节点；
将写入相应远端服务器节点的数据从本地缓存中移除。
进一步地，所述将所述数据请求对应的待存储的数据写入本地缓存中包括：
将所述数据请求对应的待存储的数据写入本地缓存中，并生成与所述数据请求对应的记录信息；
将所述记录信息插入队列的队尾，并发送写入成功信息。
进一步地，所述根据优先级算法读取写入本地缓存中的数据包括：
根据优先级算法依次获取队列的记录信息，根据所述记录信息读取与所述记录信息对应的数据。
进一步地，所述接收数据请求，并解析出所述数据请求的地址信息和读写类型之后还包括：
若所述地址信息不是当前服务器节点，且所述数据请求为读操作，则查看所述队列中是否存在与所述数据请求对应的记录信息；
若所述队列中存在与所述数据请求对应的记录信息，则直接从本地缓存中读取所述数据请求对应的数据；
若所述队列中不存在与所述数据请求对应的记录信息，则从相应的远端服务器节点读取所述数据请求对应的数据。
进一步地，所述接收数据请求，并解析出所述数据请求的地址信息和读写类型之后还包括：
若所述地址信息是当前服务器节点，则直接访问本地缓存完成读写操作。
本发明的目的之二采用如下技术方案实现：
一种电子设备，包括：处理器；
存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行：
接收数据请求，并解析出所述数据请求的地址信息和读写类型；
若所述地址信息不是当前服务器节点，且所述数据请求为写操作，则将所述数据请求对应的待存储的数据写入本地缓存中；
根据优先级算法读取写入本地缓存中的数据，并将从本地缓存中读取的数据写入相应的远端服务器节点；
将写入相应远端服务器节点的数据从本地缓存中移除。
进一步地，所述程序还用于执行：
将所述数据请求对应的待存储的数据写入本地缓存中，并生成与所述数据请求对应的记录信息；
将所述记录信息插入队列的队尾，并发送写入成功信息。
进一步地，所述程序还用于执行：
根据优先级算法依次获取队列的记录信息，根据所述记录信息读取与所述记录信息对应的数据。
进一步地，所述程序还用于执行：
若所述地址信息不是当前服务器节点，且所述数据请求为读操作，则查看所述队列中是否存在与所述数据请求对应的记录信息；
若所述队列中存在与所述数据请求对应的记录信息，则直接从本地缓存中读取所述数据请求对应的数据；
若所述队列中不存在与所述数据请求对应的记录信息，则从相应的远端服务器节点读取所述数据请求对应的数据。
本发明还涉及一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行上述的方法。
相比现有技术，本发明的有益效果在于：
(1)将远端数据的写入转换为对本地缓存的写入，提高了数据处理速度，降低了数据延时。
(2)直接在本地缓存中进行写入操作，系统中的网络变化不会对写入过程产生影响，提高系统稳定性。
附图说明
图1为本发明实施例提供的远端数据分级存储方法流程图；
图2为本发明实施例提供的电子设备的示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
如图1所示，本发明实施例提供的远端数据分级存储方法，包括：
步骤S101：接收数据请求，并解析出所述数据请求的地址信息和读写类型。
具体的，接收上层的数据请求并解析，判断数据请求的地址信息是否是当前服务器节点，判断数据请求的读写类型。
步骤S102：若所述地址信息不是当前服务器节点，且所述数据请求为写操作，则将所述数据请求对应的待存储的数据写入本地缓存中。
具体的，当数据请求不是当前服务器节点，且数据请求为写操作时，将数据请求对应的待存储的数据写入本地缓存中，并生成与数据请求对应的记录信息；将该记录信息插入本地缓存中保存的队列的队尾，并向上层发送写入成功信息。若当前写入的数据在本地缓存中已经存在，则用当前写入的数据覆盖已经存在的数据，并更新队列中的记录信息，即去除已经存在的数据对应的记录信息。其中，用作本地缓存的介质可以是物理内存、SSD、NVMe等高速存储介质。
步骤S103：根据优先级算法读取写入本地缓存中的数据，并将从本地缓存中读取的数据写入相应的远端服务器节点。
该步骤中，根据优先级算法读取写入本地缓存中的数据包括：根据优先级算法依次获取队列的记录信息，根据所述记录信息读取与所述记录信息对应的数据。
具体的，根据优先级算法每次获取队列的记录信息，根据该记录信息获取与该记录信息对应的数据请求，读取该数据请求对应的数据，将读取的数据写入相应的远端服务器节点。其中，优先级算法可以是先进先出置换算法，也可以是大块优化算法或小块优化算法等。
步骤S104：将写入相应远端服务器节点的数据从本地缓存中移除。
具体的，将成功写入相应远端服务器节点的数据从本地缓存中移除，并去除该数据对应的记录信息，以释放本地缓存。
步骤S105：若所述地址信息不是当前服务器节点，且所述数据请求为读操作，则查看所述队列中是否存在与所述数据请求对应的记录信息。
步骤S106：若所述队列中存在与所述数据请求对应的记录信息，则直接从本地缓存中读取所述数据请求对应的数据。
步骤S107：若所述队列中不存在与所述数据请求对应的记录信息，则从相应的远端服务器节点读取所述数据请求对应的数据。
具体的，若接收到的数据请求的地址信息不是当前服务器节点，且数据请求的类型为读操作时，先查看本地缓存中的记录信息对应的数据是否存在当前读操作的数据请求对应的数据，若本地缓存中存在，则直接从本地缓存中读取该数据请求对应的数据，若本地缓存中不存在，则从相应的远端服务器节点读取该数据请求对应的数据。
步骤S108：若所述地址信息是当前服务器节点，则直接访问本地缓存完成读写操作。
本发明提供的远端数据分级存储方法，将远端数据的写入转换为对本地缓存的写入，降低了数据读写延时，提高了数据处理速度，且上层业务数据的写入直接作用在本地缓存上，系统中的网络变化不会对其产生影响，提高系统稳定性。
如图2所示，本发明实施例提供的电子设备，包括：处理器11、存储器12以及程序，其中程序被存储在存储器12中，并且被配置成由处理器11执行，程序包括用于执行：
接收数据请求，并解析出所述数据请求的地址信息和读写类型；
若所述地址信息不是当前服务器节点，且所述数据请求为写操作，则将所述数据请求对应的待存储的数据写入本地缓存中；
根据优先级算法读取写入本地缓存中的数据，并将从本地缓存中读取的数据写入相应的远端服务器节点；
将写入相应远端服务器节点的数据从本地缓存中移除。
进一步地，所述程序还用于执行：
将所述数据请求对应的待存储的数据写入本地缓存中，并生成与所述数据请求对应的记录信息；
将所述记录信息插入队列的队尾，并发送写入成功信息。
进一步地，所述程序还用于执行：
根据优先级算法依次获取队头的记录信息，根据所述记录信息读取与所述记录信息对应的数据。
进一步地，所述程序还用于执行：
若所述地址信息不是当前服务器节点，且所述数据请求为读操作，则查看所述队列中是否存在与所述数据请求对应的记录信息；
若所述队列中存在与所述数据请求对应的记录信息，则直接从本地缓存中读取所述数据请求对应的数据；
若所述队列中不存在与所述数据请求对应的记录信息，则从相应的远端服务器节点读取所述数据请求对应的数据。
本实施例中的电子设备与前述实施例中的方法是基于同一发明构思下的两个方面，在前面已经对方法实施过程作了详细的描述，所以本领域技术人员可根据前述描述清楚地了解本实施例中的电子设备的实施过程，为了说明书的简洁，在此就不再赘述。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来。本发明还涉及一种计算机可读存储介质，如ROM/RAM、磁碟、光盘等，其上存储有计算机程序，计算机程序被处理器执行上述的方法。
本发明提供的远端数据分级存储方法、电子设备及存储介质将远端数据的读写转换为对本地缓存的读写，提高了数据读写速度，降低了数据延时；直接在本地缓存中进行读写，系统中的网络变化不会对读写过程产生影响，提高系统稳定性。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (8)

1.一种远端数据分级存储方法，其特征在于，包括：
接收数据请求，并解析出所述数据请求的地址信息和读写类型；
若所述地址信息不是当前服务器节点，且所述数据请求为写操作，则将所述数据请求对应的待存储的数据写入本地缓存中，其中，所述将所述数据请求对应的待存储的数据写入本地缓存中包括：
将所述数据请求对应的待存储的数据写入本地缓存中，并生成与所述数据请求对应的记录信息；
将所述记录信息插入队列的队尾，并发送写入成功信息；
根据优先级算法读取写入本地缓存中的数据，并将从本地缓存中读取的数据写入相应的远端服务器节点；
将写入相应远端服务器节点的数据从本地缓存中移除。
2.根据权利要求1所述的远端数据分级存储方法，其特征在于，所述根据优先级算法读取写入本地缓存中的数据包括：
根据优先级算法依次获取队列的记录信息，根据所述记录信息读取与所述记录信息对应的数据。
3.根据权利要求2所述的远端数据分级存储方法，其特征在于，所述接收数据请求，并解析出所述数据请求的地址信息和读写类型之后还包括：
若所述地址信息不是当前服务器节点，且所述数据请求为读操作，则查看所述队列中是否存在与所述数据请求对应的记录信息；
若所述队列中存在与所述数据请求对应的记录信息，则直接从本地缓存中读取所述数据请求对应的数据；
若所述队列中不存在与所述数据请求对应的记录信息，则从相应的远端服务器节点读取所述数据请求对应的数据。
4.根据权利要求1所述的远端数据分级存储方法，其特征在于，所述接收数据请求，并解析出所述数据请求的地址信息和读写类型之后还包括：
若所述地址信息是当前服务器节点，则直接访问本地缓存完成读写操作。
5.一种电子设备，其特征在于，包括：处理器；
存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行：
接收数据请求，并解析出所述数据请求的地址信息和读写类型；
若所述地址信息不是当前服务器节点，且所述数据请求为写操作，则将所述数据请求对应的待存储的数据写入本地缓存中；
根据优先级算法读取写入本地缓存中的数据，并将从本地缓存中读取的数据写入相应的远端服务器节点；
将写入相应远端服务器节点的数据从本地缓存中移除；
其中，所述程序还用于执行：
将所述数据请求对应的待存储的数据写入本地缓存中，并生成与所述数据请求对应的记录信息；
将所述记录信息插入队列的队尾，并发送写入成功信息。
6.根据权利要求5所述的电子设备，其特征在于，所述程序还用于执行：
根据优先级算法依次获取队列的记录信息，根据所述记录信息读取与所述记录信息对应的数据。
7.根据权利要求6所述的电子设备，其特征在于，所述程序还用于执行：
若所述地址信息不是当前服务器节点，且所述数据请求为读操作，则查看所述队列中是否存在与所述数据请求对应的记录信息；
若所述队列中存在与所述数据请求对应的记录信息，则直接从本地缓存中读取所述数据请求对应的数据；
若所述队列中不存在与所述数据请求对应的记录信息，则从相应的远端服务器节点读取所述数据请求对应的数据。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行如权利要求1-4任意一项所述的方法。
CN201710718173.0A 2017-08-21 2017-08-21 一种远端数据分级存储方法、电子设备及存储介质 Active CN107608627B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710718173.0A CN107608627B (zh) 2017-08-21 2017-08-21 一种远端数据分级存储方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710718173.0A CN107608627B (zh) 2017-08-21 2017-08-21 一种远端数据分级存储方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN107608627A CN107608627A (zh) 2018-01-19
CN107608627B true CN107608627B (zh) 2020-10-02

Family

ID=61065487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710718173.0A Active CN107608627B (zh) 2017-08-21 2017-08-21 一种远端数据分级存储方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN107608627B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117386B (zh) * 2018-07-12 2021-03-09 中国科学院计算技术研究所 一种网络远程读写二级存储的系统及方法
CN110377235B (zh) * 2019-07-26 2023-04-07 Oppo（重庆）智能科技有限公司 数据处理方法、装置、移动终端及计算机可读存储介质
CN111556086B (zh) * 2020-01-02 2022-04-29 阿里巴巴集团控股有限公司 对象存储管理方法、装置、电子设备及计算机存储介质
CN111723115A (zh) * 2020-06-24 2020-09-29 深圳前海微众银行股份有限公司 基于多级缓存的数据统计方法、装置、终端及存储介质
CN113014662A (zh) * 2021-03-11 2021-06-22 联想(北京)有限公司 数据处理方法及基于NVMe-oF协议的存储系统
CN114168199B (zh) * 2022-02-11 2022-04-15 摩尔线程智能科技(北京)有限责任公司 读写操作多数据请求解耦电路结构及读写方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150006486A1 (en) * 2012-03-09 2015-01-01 Tencent Technology (Shenzhen) Company Limited Method and apparatus for storing data
CN105159604A (zh) * 2015-08-20 2015-12-16 浪潮(北京)电子信息产业有限公司 一种磁盘数据读写方法和系统
CN106599301A (zh) * 2016-12-29 2017-04-26 郑州云海信息技术有限公司 多客户端并发数据读写加速方法及装置
CN106850856A (zh) * 2017-03-28 2017-06-13 南京卓盛云信息科技有限公司 一种分布式存储系统及其同步缓存方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150006486A1 (en) * 2012-03-09 2015-01-01 Tencent Technology (Shenzhen) Company Limited Method and apparatus for storing data
CN105159604A (zh) * 2015-08-20 2015-12-16 浪潮(北京)电子信息产业有限公司 一种磁盘数据读写方法和系统
CN106599301A (zh) * 2016-12-29 2017-04-26 郑州云海信息技术有限公司 多客户端并发数据读写加速方法及装置
CN106850856A (zh) * 2017-03-28 2017-06-13 南京卓盛云信息科技有限公司 一种分布式存储系统及其同步缓存方法

Also Published As

Publication number Publication date
CN107608627A (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
CN107608627B (zh) 一种远端数据分级存储方法、电子设备及存储介质
CN108234641B (zh) 基于分布式一致性协议实现的数据读写方法及装置
US10387258B2 (en) Method and apparatus for processing redo data in database
CN110865888A (zh) 一种资源加载方法、装置、服务器及存储介质
CN111708738B (zh) 实现hadoop文件系统hdfs与对象存储s3数据互访方法及系统
KR102061466B1 (ko) 메모리 관리를 위한 보존 가비지 콜렉팅 및 정수 태깅 기법
US11210228B2 (en) Method, device and computer program product for cache management
CN109564502B (zh) 应用于存储设备中的访问请求的处理方法和装置
CN107623722A (zh) 一种远端数据缓存方法、电子设备及存储介质
EP4141641A2 (en) Method and apparatus for writing data in append mode, device and storage medium
CN103856516A (zh) 数据存储、读取方法及数据存储、读取装置
CN105610917B (zh) 实现系统中同步数据修复的方法及系统
CA3129982A1 (en) Method and system for accessing distributed block storage system in kernel mode
CN112597348A (zh) 一种大数据存储优化的方法及装置
CN104102725A (zh) 一种hdfs中热点数据文件的动态副本创建方法和系统
WO2015087509A1 (ja) 状態保存復元装置、状態保存復元方法、および、記憶媒体
CN102724301B (zh) 云数据库系统以及云数据读写处理方法、设备
CN112463073A (zh) 一种对象存储分布式配额方法、系统、设备和存储介质
CN111858402A (zh) 一种基于cache的读写数据处理方法及系统
CN114401072B (zh) 一种基于hinoc协议的拆帧重排序队列的动态缓存控制方法及系统
US8533135B2 (en) Model generating device and model generating method
CN115061630A (zh) 一种数据迁移方法、装置、设备及介质
CN112019343B (zh) 一种OpenStack令牌优化方法及系统
KR102123616B1 (ko) 충돌 페이지 리스트를 이용한 병렬 저널링 방법 및 그 장치
US10606757B2 (en) Method, device and computer program product for flushing metadata in multi-core system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant