CN112083881B - 一种基于持久化内存的一体化天文数据采集与存储系统 - Google Patents

一种基于持久化内存的一体化天文数据采集与存储系统 Download PDF

Info

Publication number
CN112083881B
CN112083881B CN202010859412.6A CN202010859412A CN112083881B CN 112083881 B CN112083881 B CN 112083881B CN 202010859412 A CN202010859412 A CN 202010859412A CN 112083881 B CN112083881 B CN 112083881B
Authority
CN
China
Prior art keywords
data
storage
module
astronomical
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010859412.6A
Other languages
English (en)
Other versions
CN112083881A (zh
Inventor
刘应波
邹恒
王�锋
吴暇
杨磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University of Finance and Economics
Original Assignee
Yunnan University of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University of Finance and Economics filed Critical Yunnan University of Finance and Economics
Priority to CN202010859412.6A priority Critical patent/CN112083881B/zh
Publication of CN112083881A publication Critical patent/CN112083881A/zh
Application granted granted Critical
Publication of CN112083881B publication Critical patent/CN112083881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0688—Non-volatile semiconductor memory arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Abstract

本发明公开了一种基于持久化内存的一体化天文数据采集与存储系统，包括：依次通信连接的数据采集端、通信模块和数据存储端；数据采集端用于采集天文望远镜所观测的天文数据进行持久化存储；通信模块用于将持久化存储的天文数据缓冲满后，将缓冲中的天文数据传输至数据存储端；数据存储端用于将通信模块传输的天文数据进行持久化存储。本发明利用持久化存储方式实现了高速采集到内存以及传送到存储端的数据在出现异常时候不丢失，极大的提高了采集系统的可靠性，也提高了天文观测数据的安全性。

Description

一种基于持久化内存的一体化天文数据采集与存储系统
技术领域
本发明涉及数据存储技术领域，更具体的说是涉及一种基于持久化内存的一体化天文数据采集与存储系统。
背景技术
近年来，随着大型望远镜设备制造技术和信息技术的快速发展，天文学进入了以数据为驱动的大数据时代，大数据一方面为科学研究带来了新的视野和新的研究方法，另一方面也为支撑科学研究的数据存储、处理等基础信息技术带来了巨大的挑战。数据存储作为其中的关键性环节，直接制约了前端的数据采集和后端的数据处理，具有重要的纽带作用。
目前，国内采集服务器的前端的采集系统运行在Windows平台，而分布式存储系统使用的是Linux平台，采集系统和存储系统是分开的，由于大部分分布式存储系统没有Windows的客户端，在这种情况下只有借助第三方共享协议进行数据交换，例如，NFS/pNFS、CIFS/pCIFS等。由于文件共享协议很大程度上依赖操作系统平台本身的架构，因此，采集系统的数据存储性能不可避免会受协议影响。虽然CIFS方式可以通过CTDB集群的方式扩展性能，但是这就会使得采集服务器的管理变得非常复杂。因此不得不使用其他方式进行替代，目前最适合跨平台之间高速通信技术是远程内存访问-RDMA(Remote Direct MemoryAccess)，但是这种方式在高速海量数据采集的情况下，由于普通DRAM内存不具有持久性能力，在发生异常时，如突然的硬件故障，数据就会丢失。在海量、高速、长时间持续性存储的情况下，即使是秒级别的异常，这个问题都将导致大量的观测数据无法保存。虽然NVST的技术人员尝试编写自定义程序和组件解决传输过程中的性能壁垒，但都绕不开操作系统层面的TCP/IP、I/O和系统缓存等固有特性，所以都面临和CIFS类似的跨平台高速数据传输性能低下的难点。
因此，如何提供一种能够高效并可靠地存储海量观测数据的基于持久化内存的一体化天文数据采集与存储方法，是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于持久化内存的一体化天文数据采集与存储系统，利用持久化存储方式实现了高速采集到内存以及传送到存储端的数据在出现异常时候不丢失，极大的提高了采集系统的可靠性，也提高了天文观测数据的安全性。
为了实现上述目的，本发明采用如下技术方案：
一种基于持久化内存的一体化天文数据采集与存储系统，包括：依次通信连接的数据采集端、通信模块和数据存储端；
所述数据采集端用于采集天文望远镜所观测的天文数据进行持久化存储；
所述通信模块用于将持久化存储的天文数据缓冲满后，将缓冲中的天文数据传输至数据存储端；
所述数据存储端用于将所述通信模块传输的天文数据依次进行持久化存储和永久存储。
经由上述的技术方案可知，与现有技术相比，本发明具有以下有益效果：
1、本发明与传统的内存高速存储相比，持久化存储实现了数据高速采集到内存和传输到存储端的过程不会发生丢失，使得高速采集的观测数据在掉电的情况下数据不会丢失。
2、本发明与大型昂贵的一体化存储系统相比，实现简单，不需要专门的大规模管理系统和复杂的管理机制，单机存储性能可达到GB/s甚至几十GB/s，这个带宽依赖于内存的最大带宽。因此，本发明相对于传统的硬盘方式来说，性能有了很大的提升。
3、本发明利用非易失性内存，能够实现高速采集端和存储端的高速通信并提供可靠性保障方法。
优选的，在上述一种基于持久化内存的一体化天文数据采集与存储系统中，所述数据采集端包括依次电性连接的数据采集接口、数据读写模块、采集端内存管理模块和第一非易失性内存模块；
所述数据采集接口与天文数据的采集终端电性连接；所述数据读写模块用于对所述数据采集接口采集的天文数据进行读取或写入，并进行缓存；所述采集端内存管理模块用于对所述数据读写模块缓存后的天文数据分配内存空间，使其存储至所述第一非易失性内存模块中。
优选的，在上述一种基于持久化内存的一体化天文数据采集与存储系统中，所述采集端内存管理模块通过mmap方式将所述数据读写模块缓存后的天文数据映射至所述第一非易失内存模块中。
优选的，在上述一种基于持久化内存的一体化天文数据采集与存储系统中，所述数据存储端包括存储端内存管理模块和数据存储模块；所述数据存储模块包括第二非易失性内存模块、存储节点和磁盘阵列；所述存储端内存管理模块用于将所述通信模块传输的天文数据分配内存空间，使其依次传输至所述第二非易失性内存模块、所述存储节点和所述磁盘阵列中进行存储。
优选的，在上述一种基于持久化内存的一体化天文数据采集与存储系统中，所述存储端内存管理模块通过mmap方式将所述通信模块传输的天文数据映射至所述第二非易失性内存模块中。
优选的，在上述一种基于持久化内存的一体化天文数据采集与存储系统中，所述采集端内存管理模块处于写入状态时，所述存储端内存管理模块为读取状态。
优选的，在上述一种基于持久化内存的一体化天文数据采集与存储系统中，所述通信模块包括第一通信模块和第二通信模块；所述第一通信模块安装于所述数据采集端；所述第二通信模块安装在所述数据存储端；所述第一通信模块和所述第二通信模块之间通过RDMA以太网卡进行数据传输。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的基于典型的大型望远镜多通道、多波段一体式数据采集和存储系统；
图2附图为本发明提供的一种基于持久化内存的一体化天文数据采集与存储系统；
图3附图为本发明提供的数据采集端的结构示意图；
图4附图为本发明提供的通信模块与数据采集端和数据存储端的通信原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例公开了基于典型的大型望远镜多通道、多波段一体式数据采集和存储系统，包括采集终端4、数据采集端1和数据存储端2；采集终端4为用于获取天文望远镜5采集的观测数据的仪器或设备，例如CCD/CMOS，把数据通过通道传输到数据采集端1上；数据采集端1通常使用一台采集服务器或者专用的工作站，用于连接望远镜系统和数据存储系统，属于中间位置；数据存储端3包括数据采集端1的采集服务器、元数据服务器和数据服务器三部分，可以使用分布式存储和集中式存储，其中数据采集端既充当采集服务器又充当存储服务器，实现了本发明一体化设计，是天文数据采集和存储的核心组件，是所有天文数据观测系统中的重要组件，具有通用性。
在另一个实施例中，如图2所示，本发明实施例公开了一种基于持久化内存的一体化天文数据采集与存储系统，包括：依次通信连接的数据采集端1、通信模块2和数据存储端3；
数据采集端1用于采集天文望远镜所观测的天文数据进行持久化存储；
通信模块2用于将持久化存储的天文数据缓冲满后，将缓冲中的天文数据传输至数据存储端3；
数据存储端3用于将通信模块2传输的天文数据依次进行持久化存储和永久存储。最终天文数据存储在存储单元中。
本发明利用非易失性(NVM,也叫持久化内存)作为高速存储载体，利用非易失性编程方法，把传统上数据采集端1和数据存储端3相分离的模式改进为一体化的采集和存储。这样面对海量观测数据采集时，数据直接存储到内存，利用内存GB/s甚至几十GB/s的带宽性能有点，实现超高速的数据存储。除此之外，利用非易失性内存还提供了一种有别于传统内存存储的方法，可以提供数据持久化保护机制，这样就保证了天文数据在实现高速数据存储的同时还能够保证存储的可靠性，在掉电的情况下数据不会丢失。
具体的，如图3所示，数据采集端1包括依次电性连接的数据采集接口11、数据读写模块12、采集端内存管理模块13和第一非易失性内存模块14；
数据采集接口11与天文数据的采集终端电性连接；数据读写模块12用于对数据采集接口11采集的天文数据进行读取或写入，并进行缓存；采集端内存管理模块13用于对数据读写模块12缓存后的天文数据分配内存空间，使其存储至第一非易失性内存模块14中。其中，数据采集接口11、数据读写模块12和采集端内存管理模块13设置于系统的用户空间，第一非易失性内存模块14设于系统的内核空间。
由于现有的操作系统包括虚拟文件系统、系统调用模块、DRAM内存管理模块、本地文件管理模块、Disk/SSD模块和用户程序等；都是基于传统的高速DRAM内存和低速的I/O块设备为外存储器的基本架构，所以数据在持久过程中，会涉及进程空间、地址映射、文件系统、块设备驱动和块设备，因此，非易失性内存不能直接使用传统的I/O软件体系，第一非易失性内存模块14直接连接在内存总线上，CPU能够通过访存指令进行数据访问，因此在编程方式上与传统的软件实现具有较大的不同。因此本发明中需要采集端内存管理模块13提供持久化内存管理功能。具体过程如下：采集端内存管理模块13通过mmap把第一非易失性内存模块14映射到内存，通过内存直接访问第一非易失性内存模块14，当第一非易失性内存模块14映射到内存后，利用操作系统的本地文件管理模块对其进行访问。本实施例根据数据的流动方向描述为：数据采集接口11为采集程序提供接口，采集程序通过该数据采集接口11通过数据读写模块12进行数据读取或写入进行缓存，然后调用采集端内存管理模块13分配非易失性内存的空间，最后存储到采集端1的第一非易失性内存模块14中。
在一个实施例中，采集端内存管理模块13通过mmap方式将数据读写模块12缓存后的天文数据映射至第一非易失内存模块14中。本发明中采集端内存管理模块13提供持久化内存管理功能。具体过程如下：采集端内存管理模块13通过mmap把第一非易失性内存模块14映射到内存，通过内存直接访问第一非易失性内存模块14，当第一非易失性内存模块14映射到内存后，利用操作系统的文件管理功能对其进行访问。
在一个实施例中，如图4所示，数据存储端3包括存储端内存管理模块31和数据存储模块32；数据存储模块32包括第二非易失性内存模块321、存储节点322和磁盘阵列323；存储端内存管理模块31用于将通信模块2传输的天文数据分配内存空间，使其依次传输至第二非易失性内存模块321、存储节点322和磁盘阵列323中进行存储。本发明存储数据端3利用存储端内存管理模块321把数据从第二非易失性内存模块321上送往分布式文件系统的存储节点322上，此时分布式存储系统的性能由于使用分布式并行机制，因此可以实现GB/s的聚合存储，实现了与采集端高性能存储的匹配，最后永久保存在磁盘阵列323上。
在其他实施例中，存储端内存管理模块31通过mmap方式将通信模块2传输的天文数据映射至第二非易失性内存模块321中。
采集端内存管理模块13处于写入状态时，存储端内存管理模块31为读取状态。
更有利的，通信模块2包括第一通信模块21和第二通信模块22；第一通信模块21安装于数据采集端1；第二通信模块22安装在数据存储端3；第一通信模块21和第二通信模块22之间通过RDMA以太网卡进行数据传输。
数据采集端和数据存储端的高速通信基于传统的RNIC(具有RDMA引擎的以太网卡，数据采集端通过采集程序将采集的天文数据通过RNIC接口传送到数据存储端的RNIC，最后完成数据存储，该方式可以构建在高速的InfiniBand或RPC高速通信协议上，数据传输过程如下：当数据采集端1通过采集程序获取数据后,如果第一非易失性内存模块14的数据发送缓冲区满足数据传输条件，则通过采集端内存管理模块14调用，如map/open/sync/load等，使第一通信模块21的RNIC和第二通信模块22的RNIC进行交互，把数据通过RNIC推送到传输通道上。在数据存储端，存储端内存管理模块31通过存储软件接收数据采集端发送的数据，然后对数据进行集中式本底存储或分布式存储，重复上述过程，完成采集数据的高速存储。通过本发明的通信模块和高速数据网络也可以实现从存储到采集的一个逆向。
下面详细说明本发明的数据采集、传输和存储的过程：
1、启动采集终端和数据采集端1，并打开数据采集端1的数据采集软件。
2、数据采集软件控制数据采集接口11开始数据采集，并通过数据读写模块12对数据进行读取或写入；采集后的数据如果需要进行持久化数据存储，则使用采集端内存管理模块13为采集的数据分配内存空间，填充采集数据至第一非易失性内存模块14。
3、否则，直接在内存中临时存储数据，按照传统的存储方式进行存储。
4、通过第一非易失性内存模块14保存的数据，会在内存数据缓冲器满后，触发数据传输。
5、采集程序调用第一通信模块21的数据发送接口，缓冲中的数据按照目标数据存储地址被送往数据存储端3的第二通信模块22。
6、存储端内存管理模块31把第二通信模块22接收的数据保存的本地的第二非易失性内存模块321中，并将数据从第二非易失性内存模块321上送往至分布式文件系统的存储节点322上，此时分布式存储系统的性能由于使用分布式并行机制，因此可以实现GB/s的聚合存储，实现了与采集端高性能存储的匹配，最后永久保存在磁盘阵列323上。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种基于持久化内存的一体化天文数据采集与存储系统，其特征在于，包括：依次通信连接的数据采集端(1)、通信模块(2)和数据存储端(3)；
所述数据采集端(1)用于采集天文望远镜所观测的天文数据进行持久化存储；
所述通信模块(2)用于将持久化存储的天文数据缓冲满后，将缓冲中的天文数据传输至所述数据存储端(3)；
所述数据存储端(3)用于将所述通信模块(2)传输的天文数据依次进行持久化存储和永久存储；
所述数据采集端(1)包括依次电性连接的数据采集接口(11)、数据读写模块(12)、采集端内存管理模块(13)和第一非易失性内存模块(14)；
所述数据采集接口(11)与天文数据的采集终端电性连接；所述数据读写模块(12)用于对所述数据采集接口(11)采集的天文数据进行读取或写入，并进行缓存；所述采集端内存管理模块(13)用于对所述数据读写模块(12)缓存后的天文数据分配内存空间，使其存储至所述第一非易失性内存模块(14)中；
所述数据存储端(3)包括存储端内存管理模块(31)和数据存储模块(32)；所述数据存储模块(32)包括第二非易失性内存模块(321)、存储节点(322)和磁盘阵列(323)；所述存储端内存管理模块(31)用于将所述通信模块(2)传输的天文数据分配内存空间，使其依次传输至所述第二非易失性内存模块(321)、所述存储节点(322)和所述磁盘阵列(323)中进行存储。
2.根据权利要求1所述的一种基于持久化内存的一体化天文数据采集与存储系统，其特征在于，所述采集端内存管理模块(13)通过mmap方式将所述数据读写模块(12)缓存后的天文数据映射至所述第一非易失内存模块(14)中。
3.根据权利要求1所述的一种基于持久化内存的一体化天文数据采集与存储系统，其特征在于，所述存储端内存管理模块(31)通过mmap方式将所述通信模块(2)传输的天文数据映射至所述第二非易失性内存模块(321)中。
4.根据权利要求1所述的一种基于持久化内存的一体化天文数据采集与存储系统，其特征在于，所述采集端内存管理模块(13)处于写入状态时，所述存储端内存管理模块(31)为读取状态。
5.根据权利要求1所述的一种基于持久化内存的一体化天文数据采集与存储系统，其特征在于，所述通信模块(2)包括第一通信模块(21)和第二通信模块(22)；所述第一通信模块(21)安装在所述数据采集端(1)；所述第二通信模块(22)安装在所述数据存储端(3)；所述第一通信模块(21)和所述第二通信模块(22)之间通过RDMA以太网卡进行数据传输。
CN202010859412.6A 2020-08-24 2020-08-24 一种基于持久化内存的一体化天文数据采集与存储系统 Active CN112083881B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010859412.6A CN112083881B (zh) 2020-08-24 2020-08-24 一种基于持久化内存的一体化天文数据采集与存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010859412.6A CN112083881B (zh) 2020-08-24 2020-08-24 一种基于持久化内存的一体化天文数据采集与存储系统

Publications (2)

Publication Number Publication Date
CN112083881A CN112083881A (zh) 2020-12-15
CN112083881B true CN112083881B (zh) 2022-10-18

Family

ID=73728539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010859412.6A Active CN112083881B (zh) 2020-08-24 2020-08-24 一种基于持久化内存的一体化天文数据采集与存储系统

Country Status (1)

Country Link
CN (1) CN112083881B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113360098A (zh) * 2021-08-09 2021-09-07 苏州浪潮智能科技有限公司 一种数据写入方法、装置、系统、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101622606A (zh) * 2006-12-06 2010-01-06 弗森多系统公司（dba弗森-艾奥） 用于作为大容量、非易失性存储器的高速缓存的固态存储器的装置、系统和方法
CN103034590A (zh) * 2011-09-30 2013-04-10 国际商业机器公司 用于固态驱动器的直接存储器寻址的方法与系统
CN103207894A (zh) * 2013-03-14 2013-07-17 深圳市知正科技有限公司 一种多路实时视频数据存储系统及其进行缓存控制的方法
CN103309767A (zh) * 2012-03-08 2013-09-18 阿里巴巴集团控股有限公司 一种客户端日志处理方法和装置
CN107122422A (zh) * 2017-04-06 2017-09-01 山东建筑大学 面向服务的智慧住区实时数据库系统及其工作方法
CN107220069A (zh) * 2017-07-03 2017-09-29 中国科学院计算技术研究所 一种针对非易失性内存的Shuffle方法
CN110647480A (zh) * 2018-06-26 2020-01-03 华为技术有限公司 数据处理方法、远程直接访存网卡和设备
CN110751275A (zh) * 2019-08-03 2020-02-04 北京达佳互联信息技术有限公司 图训练系统、数据访问方法及装置、电子设备、存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101475483B1 (ko) * 2013-06-27 2014-12-19 이화여자대학교 산학협력단 비휘발성 버퍼 캐시와 비휘발성 스토리지를 위한 통합 데이터 관리 장치 및 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101622606A (zh) * 2006-12-06 2010-01-06 弗森多系统公司（dba弗森-艾奥） 用于作为大容量、非易失性存储器的高速缓存的固态存储器的装置、系统和方法
CN103034590A (zh) * 2011-09-30 2013-04-10 国际商业机器公司 用于固态驱动器的直接存储器寻址的方法与系统
CN103309767A (zh) * 2012-03-08 2013-09-18 阿里巴巴集团控股有限公司 一种客户端日志处理方法和装置
CN103207894A (zh) * 2013-03-14 2013-07-17 深圳市知正科技有限公司 一种多路实时视频数据存储系统及其进行缓存控制的方法
CN107122422A (zh) * 2017-04-06 2017-09-01 山东建筑大学 面向服务的智慧住区实时数据库系统及其工作方法
CN107220069A (zh) * 2017-07-03 2017-09-29 中国科学院计算技术研究所 一种针对非易失性内存的Shuffle方法
CN110647480A (zh) * 2018-06-26 2020-01-03 华为技术有限公司 数据处理方法、远程直接访存网卡和设备
CN110751275A (zh) * 2019-08-03 2020-02-04 北京达佳互联信息技术有限公司 图训练系统、数据访问方法及装置、电子设备、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
云海大数据一体机体系结构和关键技术;张东等;《计算机研究与发展》;20160215(第02期);374-389 *

Also Published As

Publication number Publication date
CN112083881A (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN106462504B (zh) 最终级高速缓存系统和对应的方法
US8850125B2 (en) System and method to provide non-coherent access to a coherent memory system
US9870154B2 (en) Network storage system using flash storage
CN104765575B (zh) 信息存储处理方法
CN105095109B (zh) 缓存访问方法、缓存访问路由器和计算机系统
CN108600053B (zh) 一种基于零拷贝技术的无线网络数据包捕获方法
KR20140112717A (ko) 키 값 기반 데이터 스토리지 시스템 및 이의 운용 방법
WO2005055065A1 (en) A method, system, and apparatus for memory compression with flexible in memory cache
CN109542814A (zh) 通过pci-express的p2p连接在存储设备之间传输数据的方法和系统
CN112199309B (zh) 基于dma引擎的数据读取方法、装置和数据传输系统
CN112083881B (zh) 一种基于持久化内存的一体化天文数据采集与存储系统
US8402198B1 (en) Mapping engine for a storage device
US11809290B2 (en) Storage system and storage queue processing following port error
EP3077914B1 (en) System and method for managing and supporting virtual host bus adaptor (vhba) over infiniband (ib) and for supporting efficient buffer usage with a single external memory interface
CN103517085B (zh) 一种基于视频解码设计实现远程服务器管理的方法
CN106951182A (zh) 一种块设备缓存方法和装置
CN110096456A (zh) 一种高速率大容量缓存方法与装置
US11093405B1 (en) Shared mid-level data cache
CN104252423A (zh) 基于多内核处理器的一致性处理方法和装置
CN107846328B (zh) 基于并发无锁环形队列的网络速率实时统计方法
CN116340203A (zh) 数据预读取方法、装置、处理器及预取器
US11036643B1 (en) Mid-level instruction cache
CN112416815A (zh) 一种基于srio的高速存储回放方法
Liang et al. High performance block I/O for global file system (GFS) with infiniband RDMA
US9104637B2 (en) System and method for managing host bus adaptor (HBA) over infiniband (IB) using a single external memory interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant