CN107608627A - 一种远端数据分级存储方法、电子设备及存储介质 - Google Patents
一种远端数据分级存储方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN107608627A CN107608627A CN201710718173.0A CN201710718173A CN107608627A CN 107608627 A CN107608627 A CN 107608627A CN 201710718173 A CN201710718173 A CN 201710718173A CN 107608627 A CN107608627 A CN 107608627A
- Authority
- CN
- China
- Prior art keywords
- data
- request
- read
- write
- local cache
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Memory System Of A Hierarchy Structure (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种远端数据分级存储方法，包括：接收数据请求，并解析出数据请求的地址信息和读写类型；若地址信息不是当前服务器节点，且数据请求为写操作，则将数据请求对应的数据写入本地缓存中；根据优先级算法读取写入本地缓存中的数据，并将从本地缓存中读取的数据写入相应的远端服务器节点；将写入相应远端服务器节点的数据从本地缓存中移除。本发明还公开了一种电子设备及存储介质，本发明提供的远端数据分级存储方法、电子设备及存储介质将远端数据的读写转换为对本地缓存的读写，提高了数据读写速度，降低了数据延时；直接在本地缓存中进行读写，系统中的网络变化不会对读写过程产生影响，提高系统稳定性。
Description
技术领域
本发明涉及数据存储领域，尤其涉及一种远端数据分级存储方法、电子设备及存储介质。
背景技术
目前，在超融合系统中，虚拟化计算资源与存储资源位于同一套服务器设备中；为了保证系统的可靠性及易于扩展，系统内的存储资源采用分布式存储架构，用户数据是分散地存储在各个服务器节点上；上层业务数据在下发到存储系统后，会经过处理分别传输到系统中的各个服务器节点上进行存储。
根据分布式存储的特点，用户数据的存储位置如果不在当前运行的服务器节点上，则需要经过网络传输到其它服务器节点上进行存储；数据的远端存储过程，需要经过两端服务器的协调处理，利用网络传输来最终完成数据的传递，这样的存储过程会花费比本地存储更多的时长，导致时延很大，影响上层业务性能，形成系统性能瓶颈。且在超融合系统中，网络系统会因为上层业务变化而呈现波动，而远端数据的写入依赖于网络也会跟着波动，导致上层业务数据处理很不稳定；在网络繁忙时，上层业务数据甚至出现因没能及时写入而直接丢失，造成无法挽回的损失。降低数据时延，提高系统稳定性成为亟待解决的问题。
发明内容
为了克服现有技术的不足，本发明的目的之一在于提供一种远端数据分级存储方法，以降低数据时延，提高系统稳定性。
本发明的目的之二在于提供一种电子设备，以降低时延，提高系统稳定性。
本发明的目的之一采用如下技术方案实现：
一种远端数据分级存储方法，包括：
接收数据请求，并解析出所述数据请求的地址信息和读写类型；
若所述地址信息不是当前服务器节点，且所述数据请求为写操作，则将所述数据请求对应的待存储的数据写入本地缓存中；
根据优先级算法读取写入本地缓存中的数据，并将从本地缓存中读取的数据写入相应的远端服务器节点；
将写入相应远端服务器节点的数据从本地缓存中移除。
进一步地，所述将所述数据请求对应的待存储的数据写入本地缓存中包括：
将所述数据请求对应的待存储的数据写入本地缓存中，并生成与所述数据请求对应的记录信息；
将所述记录信息插入队列的队尾，并发送写入成功信息。
进一步地，所述根据优先级算法读取写入本地缓存中的数据包括：
根据优先级算法依次获取队列的记录信息，根据所述记录信息读取与所述记录信息对应的数据。
进一步地，所述接收数据请求，并解析出所述数据请求的地址信息和读写类型之后还包括：
若所述地址信息不是当前服务器节点，且所述数据请求为读操作，则查看所述队列中是否存在与所述数据请求对应的记录信息；
若所述队列中存在与所述数据请求对应的记录信息，则直接从本地缓存中读取所述数据请求对应的数据；
若所述队列中不存在与所述数据请求对应的记录信息，则从相应的远端服务器节点读取所述数据请求对应的数据。
进一步地，所述接收数据请求，并解析出所述数据请求的地址信息和读写类型之后还包括：
若所述地址信息是当前服务器节点，则直接访问本地缓存完成读写操作。
本发明的目的之二采用如下技术方案实现：
一种电子设备，包括：处理器；
存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行：
接收数据请求，并解析出所述数据请求的地址信息和读写类型；
若所述地址信息不是当前服务器节点，且所述数据请求为写操作，则将所述数据请求对应的待存储的数据写入本地缓存中；
根据优先级算法读取写入本地缓存中的数据，并将从本地缓存中读取的数据写入相应的远端服务器节点；
将写入相应远端服务器节点的数据从本地缓存中移除。
进一步地，所述程序还用于执行：
将所述数据请求对应的待存储的数据写入本地缓存中，并生成与所述数据请求对应的记录信息；
将所述记录信息插入队列的队尾，并发送写入成功信息。
进一步地，所述程序还用于执行：
根据优先级算法依次获取队列的记录信息，根据所述记录信息读取与所述记录信息对应的数据。
进一步地，所述程序还用于执行：
若所述地址信息不是当前服务器节点，且所述数据请求为读操作，则查看所述队列中是否存在与所述数据请求对应的记录信息；
若所述队列中存在与所述数据请求对应的记录信息，则直接从本地缓存中读取所述数据请求对应的数据；
若所述队列中不存在与所述数据请求对应的记录信息，则从相应的远端服务器节点读取所述数据请求对应的数据。
本发明还涉及一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行上述的方法。
相比现有技术，本发明的有益效果在于：
(1)将远端数据的写入转换为对本地缓存的写入，提高了数据处理速度，降低了数据延时。
(2)直接在本地缓存中进行写入操作，系统中的网络变化不会对写入过程产生影响，提高系统稳定性。
附图说明
图1为本发明实施例提供的远端数据分级存储方法流程图；
图2为本发明实施例提供的电子设备的示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
如图1所示，本发明实施例提供的远端数据分级存储方法，包括：
步骤S101：接收数据请求，并解析出所述数据请求的地址信息和读写类型。
具体的，接收上层的数据请求并解析，判断数据请求的地址信息是否是当前服务器节点，判断数据请求的读写类型。
步骤S102：若所述地址信息不是当前服务器节点，且所述数据请求为写操作，则将所述数据请求对应的待存储的数据写入本地缓存中。
具体的，当数据请求不是当前服务器节点，且数据请求为写操作时，将数据请求对应的待存储的数据写入本地缓存中，并生成与数据请求对应的记录信息；将该记录信息插入本地缓存中保存的队列的队尾，并向上层发送写入成功信息。若当前写入的数据在本地缓存中已经存在，则用当前写入的数据覆盖已经存在的数据，并更新队列中的记录信息，即去除已经存在的数据对应的记录信息。其中，用作本地缓存的介质可以是物理内存、SSD、NVMe等高速存储介质。
步骤S103：根据优先级算法读取写入本地缓存中的数据，并将从本地缓存中读取的数据写入相应的远端服务器节点。
该步骤中，根据优先级算法读取写入本地缓存中的数据包括：根据优先级算法依次获取队列的记录信息，根据所述记录信息读取与所述记录信息对应的数据。
具体的，根据优先级算法每次获取队列的记录信息，根据该记录信息获取与该记录信息对应的数据请求，读取该数据请求对应的数据，将读取的数据写入相应的远端服务器节点。其中，优先级算法可以是先进先出置换算法，也可以是大块优化算法或小块优化算法等。
步骤S104：将写入相应远端服务器节点的数据从本地缓存中移除。
具体的，将成功写入相应远端服务器节点的数据从本地缓存中移除，并去除该数据对应的记录信息，以释放本地缓存。
步骤S105：若所述地址信息不是当前服务器节点，且所述数据请求为读操作，则查看所述队列中是否存在与所述数据请求对应的记录信息。
步骤S106：若所述队列中存在与所述数据请求对应的记录信息，则直接从本地缓存中读取所述数据请求对应的数据。
步骤S107：若所述队列中不存在与所述数据请求对应的记录信息，则从相应的远端服务器节点读取所述数据请求对应的数据。
具体的，若接收到的数据请求的地址信息不是当前服务器节点，且数据请求的类型为读操作时，先查看本地缓存中的记录信息对应的数据是否存在当前读操作的数据请求对应的数据，若本地缓存中存在，则直接从本地缓存中读取该数据请求对应的数据，若本地缓存中不存在，则从相应的远端服务器节点读取该数据请求对应的数据。
步骤S108：若所述地址信息是当前服务器节点，则直接访问本地缓存完成读写操作。
本发明提供的远端数据分级存储方法，将远端数据的写入转换为对本地缓存的写入，降低了数据读写延时，提高了数据处理速度，且上层业务数据的写入直接作用在本地缓存上，系统中的网络变化不会对其产生影响，提高系统稳定性。
如图2所示，本发明实施例提供的电子设备，包括：处理器11、存储器12以及程序，其中程序被存储在存储器12中，并且被配置成由处理器11执行，程序包括用于执行：
接收数据请求，并解析出所述数据请求的地址信息和读写类型；
若所述地址信息不是当前服务器节点，且所述数据请求为写操作，则将所述数据请求对应的待存储的数据写入本地缓存中；
根据优先级算法读取写入本地缓存中的数据，并将从本地缓存中读取的数据写入相应的远端服务器节点；
将写入相应远端服务器节点的数据从本地缓存中移除。
进一步地，所述程序还用于执行：
将所述数据请求对应的待存储的数据写入本地缓存中，并生成与所述数据请求对应的记录信息；
将所述记录信息插入队列的队尾，并发送写入成功信息。
进一步地，所述程序还用于执行：
根据优先级算法依次获取队头的记录信息，根据所述记录信息读取与所述记录信息对应的数据。
进一步地，所述程序还用于执行：
若所述地址信息不是当前服务器节点，且所述数据请求为读操作，则查看所述队列中是否存在与所述数据请求对应的记录信息；
若所述队列中存在与所述数据请求对应的记录信息，则直接从本地缓存中读取所述数据请求对应的数据；
若所述队列中不存在与所述数据请求对应的记录信息，则从相应的远端服务器节点读取所述数据请求对应的数据。
本实施例中的电子设备与前述实施例中的方法是基于同一发明构思下的两个方面，在前面已经对方法实施过程作了详细的描述，所以本领域技术人员可根据前述描述清楚地了解本实施例中的电子设备的实施过程，为了说明书的简洁，在此就不再赘述。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来。本发明还涉及一种计算机可读存储介质，如ROM/RAM、磁碟、光盘等，其上存储有计算机程序，计算机程序被处理器执行上述的方法。
本发明提供的远端数据分级存储方法、电子设备及存储介质将远端数据的读写转换为对本地缓存的读写，提高了数据读写速度，降低了数据延时；直接在本地缓存中进行读写，系统中的网络变化不会对读写过程产生影响，提高系统稳定性。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。
Claims (10)
1.一种远端数据分级存储方法，其特征在于，包括：
接收数据请求，并解析出所述数据请求的地址信息和读写类型；
若所述地址信息不是当前服务器节点，且所述数据请求为写操作，则将所述数据请求对应的待存储的数据写入本地缓存中；
根据优先级算法读取写入本地缓存中的数据，并将从本地缓存中读取的数据写入相应的远端服务器节点；
将写入相应远端服务器节点的数据从本地缓存中移除。
2.根据权利要求1所述的远端数据分级存储方法，其特征在于，所述将所述数据请求对应的待存储的数据写入本地缓存中包括：
将所述数据请求对应的待存储的数据写入本地缓存中，并生成与所述数据请求对应的记录信息；
将所述记录信息插入队列的队尾，并发送写入成功信息。
3.根据权利要求2所述的远端数据分级存储方法，其特征在于，所述根据优先级算法读取写入本地缓存中的数据包括：
根据优先级算法依次获取队列的记录信息，根据所述记录信息读取与所述记录信息对应的数据。
4.根据权利要求3所述的远端数据分级存储方法，其特征在于，所述接收数据请求，并解析出所述数据请求的地址信息和读写类型之后还包括：
若所述地址信息不是当前服务器节点，且所述数据请求为读操作，则查看所述队列中是否存在与所述数据请求对应的记录信息；
若所述队列中存在与所述数据请求对应的记录信息，则直接从本地缓存中读取所述数据请求对应的数据；
若所述队列中不存在与所述数据请求对应的记录信息，则从相应的远端服务器节点读取所述数据请求对应的数据。
5.根据权利要求1所述的远端数据分级存储方法，其特征在于，所述接收数据请求，并解析出所述数据请求的地址信息和读写类型之后还包括：
若所述地址信息是当前服务器节点，则直接访问本地缓存完成读写操作。
6.一种电子设备，其特征在于，包括：处理器；
存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行：
接收数据请求，并解析出所述数据请求的地址信息和读写类型；
若所述地址信息不是当前服务器节点，且所述数据请求为写操作，则将所述数据请求对应的待存储的数据写入本地缓存中；
根据优先级算法读取写入本地缓存中的数据，并将从本地缓存中读取的数据写入相应的远端服务器节点；
将写入相应远端服务器节点的数据从本地缓存中移除。
7.根据权利要求6所述的电子设备，其特征在于，所述程序还用于执行：
将所述数据请求对应的待存储的数据写入本地缓存中，并生成与所述数据请求对应的记录信息；
将所述记录信息插入队列的队尾，并发送写入成功信息。
8.根据权利要求7所述的电子设备，其特征在于，所述程序还用于执行：
根据优先级算法依次获取队列的记录信息，根据所述记录信息读取与所述记录信息对应的数据。
9.根据权利要求8所述的电子设备，其特征在于，所述程序还用于执行：
若所述地址信息不是当前服务器节点，且所述数据请求为读操作，则查看所述队列中是否存在与所述数据请求对应的记录信息；
若所述队列中存在与所述数据请求对应的记录信息，则直接从本地缓存中读取所述数据请求对应的数据；
若所述队列中不存在与所述数据请求对应的记录信息，则从相应的远端服务器节点读取所述数据请求对应的数据。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行如权利要求1-5任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710718173.0A CN107608627B (zh) | 2017-08-21 | 2017-08-21 | 一种远端数据分级存储方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710718173.0A CN107608627B (zh) | 2017-08-21 | 2017-08-21 | 一种远端数据分级存储方法、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107608627A true CN107608627A (zh) | 2018-01-19 |
| CN107608627B CN107608627B (zh) | 2020-10-02 |
Family
ID=61065487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710718173.0A Active CN107608627B (zh) | 2017-08-21 | 2017-08-21 | 一种远端数据分级存储方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107608627B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117386A (zh) * | 2018-07-12 | 2019-01-01 | 中国科学院计算技术研究所 | 一种网络远程读写二级存储的系统及方法 |
| CN110377235A (zh) * | 2019-07-26 | 2019-10-25 | Oppo（重庆）智能科技有限公司 | 数据处理方法、装置、移动终端及计算机可读存储介质 |
| CN111556086A (zh) * | 2020-01-02 | 2020-08-18 | 阿里巴巴集团控股有限公司 | 对象存储管理方法、装置、电子设备及计算机存储介质 |
| CN111723115A (zh) * | 2020-06-24 | 2020-09-29 | 深圳前海微众银行股份有限公司 | 基于多级缓存的数据统计方法、装置、终端及存储介质 |
| CN113014662A (zh) * | 2021-03-11 | 2021-06-22 | 联想(北京)有限公司 | 数据处理方法及基于NVMe-oF协议的存储系统 |
| CN114168199A (zh) * | 2022-02-11 | 2022-03-11 | 摩尔线程智能科技(北京)有限责任公司 | 读写操作多数据请求解耦电路结构及读写方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150006486A1 (en) * | 2012-03-09 | 2015-01-01 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for storing data |
| CN105159604A (zh) * | 2015-08-20 | 2015-12-16 | 浪潮(北京)电子信息产业有限公司 | 一种磁盘数据读写方法和系统 |
| CN106599301A (zh) * | 2016-12-29 | 2017-04-26 | 郑州云海信息技术有限公司 | 多客户端并发数据读写加速方法及装置 |
| CN106850856A (zh) * | 2017-03-28 | 2017-06-13 | 南京卓盛云信息科技有限公司 | 一种分布式存储系统及其同步缓存方法 |
-
2017
- 2017-08-21 CN CN201710718173.0A patent/CN107608627B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150006486A1 (en) * | 2012-03-09 | 2015-01-01 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for storing data |
| CN105159604A (zh) * | 2015-08-20 | 2015-12-16 | 浪潮(北京)电子信息产业有限公司 | 一种磁盘数据读写方法和系统 |
| CN106599301A (zh) * | 2016-12-29 | 2017-04-26 | 郑州云海信息技术有限公司 | 多客户端并发数据读写加速方法及装置 |
| CN106850856A (zh) * | 2017-03-28 | 2017-06-13 | 南京卓盛云信息科技有限公司 | 一种分布式存储系统及其同步缓存方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117386A (zh) * | 2018-07-12 | 2019-01-01 | 中国科学院计算技术研究所 | 一种网络远程读写二级存储的系统及方法 |
| CN109117386B (zh) * | 2018-07-12 | 2021-03-09 | 中国科学院计算技术研究所 | 一种网络远程读写二级存储的系统及方法 |
| CN110377235A (zh) * | 2019-07-26 | 2019-10-25 | Oppo（重庆）智能科技有限公司 | 数据处理方法、装置、移动终端及计算机可读存储介质 |
| CN110377235B (zh) * | 2019-07-26 | 2023-04-07 | Oppo（重庆）智能科技有限公司 | 数据处理方法、装置、移动终端及计算机可读存储介质 |
| CN111556086A (zh) * | 2020-01-02 | 2020-08-18 | 阿里巴巴集团控股有限公司 | 对象存储管理方法、装置、电子设备及计算机存储介质 |
| CN111556086B (zh) * | 2020-01-02 | 2022-04-29 | 阿里巴巴集团控股有限公司 | 对象存储管理方法、装置、电子设备及计算机存储介质 |
| CN111723115A (zh) * | 2020-06-24 | 2020-09-29 | 深圳前海微众银行股份有限公司 | 基于多级缓存的数据统计方法、装置、终端及存储介质 |
| CN113014662A (zh) * | 2021-03-11 | 2021-06-22 | 联想(北京)有限公司 | 数据处理方法及基于NVMe-oF协议的存储系统 |
| CN114168199A (zh) * | 2022-02-11 | 2022-03-11 | 摩尔线程智能科技(北京)有限责任公司 | 读写操作多数据请求解耦电路结构及读写方法 |
| CN114168199B (zh) * | 2022-02-11 | 2022-04-15 | 摩尔线程智能科技(北京)有限责任公司 | 读写操作多数据请求解耦电路结构及读写方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107608627B (zh) | 2020-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107608627A (zh) | 一种远端数据分级存储方法、电子设备及存储介质 | |
| CN107623722A (zh) | 一种远端数据缓存方法、电子设备及存储介质 | |
| WO2021088466A1 (zh) | 提高网络芯片报文存储效率的方法、设备及存储介质 | |
| US20150189030A1 (en) | Message processing method, device and system for Internet of Things | |
| CN104598168B (zh) | 一种数据恢复方法及对象存储设备 | |
| US20080086561A1 (en) | Method for obtaining log information from network element device by network management server, a network element device and a network management server | |
| CN109995666A (zh) | 一种消息传输方法及相关装置 | |
| CN105282244B (zh) | 一种数据处理方法、装置、服务器及控制器 | |
| CN109981715B (zh) | 一种会话管理的方法及装置 | |
| US20180121531A1 (en) | Data Updating Method, Device, and Related System | |
| CN110413413A (zh) | 一种数据写入方法、装置、设备及存储介质 | |
| CN106126374A (zh) | 数据写入方法、数据读取方法及装置 | |
| CN104461929B (zh) | 基于拦截器的分布式数据缓存方法 | |
| CN112463073A (zh) | 一种对象存储分布式配额方法、系统、设备和存储介质 | |
| CN109710502B (zh) | 日志传输方法、装置及存储介质 | |
| CN109189726B (zh) | 一种读写日志的处理方法及装置 | |
| CN102724301B (zh) | 云数据库系统以及云数据读写处理方法、设备 | |
| CN103729269A (zh) | 一种基于云架构的网络考试数据双缓存方法 | |
| CN108255659A (zh) | 一种应用程序性能监控方法及其系统 | |
| CN103714059B (zh) | 一种更新数据的方法及装置 | |
| CN109144551A (zh) | 一种多层级组网方式下设备固件更新方法及系统 | |
| CN103646015B (zh) | 发送、接收以及传输xml报文的方法和系统 | |
| CN112468317A (zh) | 一种集群拓扑更新方法、系统、设备及计算机存储介质 | |
| CN106953884A (zh) | 中间件消息处理方法、装置及中间件平台 | |
| CN106557530B (zh) | 业务系统、数据修复方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |