CN106484329A - 一种基于多级存储的大数据传输完整性保护机制 - Google Patents

一种基于多级存储的大数据传输完整性保护机制 Download PDF

Info

Publication number
CN106484329A
CN106484329A CN201610849347.2A CN201610849347A CN106484329A CN 106484329 A CN106484329 A CN 106484329A CN 201610849347 A CN201610849347 A CN 201610849347A CN 106484329 A CN106484329 A CN 106484329A
Authority
CN
China
Prior art keywords
data
cluster
distributed
cache
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610849347.2A
Other languages
English (en)
Other versions
CN106484329B (zh
Inventor
苏志远
亓开元
周云锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201610849347.2A priority Critical patent/CN106484329B/zh
Publication of CN106484329A publication Critical patent/CN106484329A/zh
Application granted granted Critical
Publication of CN106484329B publication Critical patent/CN106484329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0893—Caches characterised by their organisation or structure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1032—Reliability improvement, data loss prevention, degraded operation etc
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/15—Use in a specific computing environment
    • G06F2212/154—Networked environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/26—Using a specific storage system architecture
    • G06F2212/263—Network storage, e.g. SAN or NAS

Abstract

本发明特别涉及一种基于多级存储的大数据传输完整性保护机制。该基于多级存储的大数据传输完整性保护机制，在多源异构大数据的数据源导入大数据平台时，在数据源与大数据平台之间加入一个分布式数据缓存集群，大数据平台不直接从数据源取数据而是从分布式数据缓存集群中读取；同时，分布式数据缓存集群采用Memory Cache、SSD以及Hard Disk的三级存储架构；各级存储之间采用基于策略和事件触发的调度机制，保证大数据平台能够快速地从分布式数据缓存集群中读取数据。该基于多级存储的大数据传输完整性保护机制，能够保证数据平台及时存储并处理实时的海量复杂异构数据，同时避免网络不稳定或者网络传输错误造成的数据丢失，保障了数据传输的完整性。

Description

一种基于多级存储的大数据传输完整性保护机制
技术领域
本发明涉及大数据传输技术领域，特别涉及一种基于多级存储的大数据传输完整性保护机制。
背景技术
在信息技术中，大数据是指无法在一定时间内，用常规的工具软件（如现有数据库管理工具或数据处理应用）对其内容进行抓取、管理、存储、搜索、共享、分析和可视化处理的由数量巨大、结构复杂、类型众多数据构成的大型复杂数据集合。大数据具有四大特点，即高容量（Volume）、快速性（Velocity）、多样性（Variety）和价值密度低（Value）。大数据带来的挑战在于它的实时处理，而数据本身也从结构性数据转向了非结构性数据，因此使用关系数据库对大数据进行处理是非常困难的。
在这种情况下，基于Hadoop的大数据存储和处理平台成为这种存储和处理多源异构大数据的理想工具。大数据处理的流程一般包括数据采集与预处理、数据存储和管理、数据分析和挖掘等几个方面。
在大数据的采集和预处理方面，当前普遍采用的是Sqoop或者Flume等开源的分布式数据导入导出工具，以及基于R语言来编写数据的预处理程序，经过预处理之后的数据再导入到分布式文件系统和分布式数据库中。由于大数据处理的多样性和复杂性，导致大数据平台不能够及时存储并处理实时的海量复杂异构数据。
此外，在使用sqoop等开源工具进行数据导入导出时，从数据源到大数据平台发送数据时，往往会出现网络不稳定的情况，这就导致了网络传输错误，数据的完整性为了解决网络中断或者传输错误的情况，CloudCanyon通过重传的机制来保证数据接入的完整性。但对于实时/近实时采集的数据来讲，一旦网络中断或者传输错误，数据重传机制启动时，丢失的数据往往已经丢失或者在数据源中被更新，这就会导致数据的丢失。
基于上述情况，本发明提出了一种基于多级存储的大数据传输完整性保护机制。
发明内容
本发明为了弥补现有技术的缺陷，提供了一种简单高效的基于多级存储的大数据传输完整性保护机制。
本发明是通过如下技术方案实现的：
一种基于多级存储的大数据传输完整性保护机制，其特征在于：在多源异构大数据的数据源导入大数据平台时，在数据源与大数据平台之间加入一个分布式数据缓存集群，大数据平台不直接从数据源取数据而是从分布式数据缓存集群中读取；同时，分布式数据缓存集群采用Memory Cache、SSD以及Hard Disk的三级存储架构；各级存储之间采用基于策略和事件触发的调度机制，保证大数据平台能够快速地从分布式数据缓存集群中读取数据。
所述分布式数据缓存集群的数据结构和存储方式与数据源服务器保持一致，分布式数据缓存集群以流水化、并行方式传输，支持多任务并发，能够满足了高吞吐量的需求；支持订阅和轮询两种工作模式，不同类型的数据源设有不同的接口和组件来满足数据导入的需求；
对于结构化的数据，在分布式数据缓存集群与数据源之间通过JDBC或者ODBC进行连接，从数据源读取数据后，直接插入分布式数据缓存集群中对应的数据库文件中；对于半结构化格式的数据，则通过FTP、Http协议直接进行读取；对于图像、视频格式的文件，直接通过FTP进行文件传输。
所述分布式数据缓存集群的逻辑存储架构是消息队列，分布式数据缓存集群在数据存储方面的应用包括数据源写入，大数据集群读取，元数据管理和消息队列设置四部分。
所述数据源写入分布式数据缓存集群，包括以下步骤：
（1）数据通过轮询或者订阅的方式由数据源发送到分布式数据缓存集群，当数据到达分布式数据缓存集群时，最新的数据将首先存储到Memory Cache中；为了保证数据的安全性，最开始往Memory Cache中写时，数据按照3副本的模式进行写入，同时保证数据的3个副本在不同的物理机器上，该机制通过hash算法来实现；
（2）当某个消息队列在Memory Cache中数据量到达阈值时，按照队列FIFO的规则，则将最先存入Memory Cache的m%的数据往SSD中写，由于此时m%的数据是以三副本的形式存在于Memory Cache中，在将m%的数据flush到SSD时，将其中1个副本的数据flush到SSD中，然后将对应的副本数据在内存中删除；
（3）当SSD中存储的数据量到达阈值时，同样按照FIFO的规则，将最先写入到SSD的m%的数据写入到Hard Disk中，写入时，将一份数据的一份副本写入到hard disk中。
所述大数据集群从分布式数据缓存集群读，包括以下步骤：
（1）大数据集群会向数据源发送一个数据读的请求，请求中包括请求的id，请求的格式需求；数据源根据大数据集群读的请求，生成一份按照请求id和格式的数据，推送到分布式数据缓存集群中，在分布式数据缓存集群中则根据请求id生成一个消息队列，消息队列来存储数据源推送的数据，大数据集群一直保持对消息队列的监听；
（2）根据元数据信息，大数据集群首先查询某个请求下一个要读的数据在MemoryCache中是否存在，如果Memory Cache中存在，则从内存中读取；如果Memory Cache中不存在，则查询是否存在于SSD中，如果存在于SSD中，则从SSD中读取；如果SSD中不存在，则查询是否在Hard Disk中，如果数据三个副本仅仅存在于Hard Disk中，则从Hard Disk中读取；
（3）数据一旦读取成功，将数据从消息队列中删除。
所述元数据管理是由于分布式数据缓存集群中一份数据的逻辑存储是在消息队列系统中，而实际的物理存储是三级存储的架构，因此，设置了一台元数据服务器NameNode来对分布式集群中的数据进行管理，记录每一份数据的位置信息和状态。
所述消息队列设置是每个消息队列的大小在不同级别的存储中有不同的限制，一般Memory Cache中消息队列的大小小于SSD中，SSD中消息队列的大小小于hard Disk中，可根据分布式数据缓存集群的配置进行设置。
本发明的有益效果是：该基于多级存储的大数据传输完整性保护机制，能够保证数据平台及时存储并处理实时的海量复杂异构数据，同时避免网络不稳定或者网络传输错误造成的数据丢失，保障了数据传输的完整性。
附图说明
附图1为本发明分布式数据缓存集群构架示意图。
附图2为本发明基于多级存储的大数据传输完整性保护机制数据流向示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图和实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
该基于多级存储的大数据传输完整性保护机制，在多源异构大数据的数据源导入大数据平台时，在数据源与大数据平台之间加入一个分布式数据缓存集群（DistributedCache Cluster，简称DCC），大数据平台不直接从数据源取数据而是从分布式数据缓存集群中读取；同时，分布式数据缓存集群采用Memory Cache、SSD以及Hard Disk的三级存储架构；各级存储之间采用基于策略和事件触发的调度机制，保证大数据平台能够快速地从分布式数据缓存集群中读取数据。
所述分布式数据缓存集群的数据结构和存储方式与数据源服务器保持一致，分布式数据缓存集群以流水化、并行方式传输，支持多任务并发，能够满足了高吞吐量的需求；支持订阅和轮询两种工作模式，不同类型的数据源设有不同的接口和组件来满足数据导入的需求；
对于结构化的数据，如oracle、mysql等，在分布式数据缓存集群与数据源之间通过JDBC或者ODBC进行连接，从数据源读取数据后，直接插入分布式数据缓存集群中对应的数据库文件中；对于文本、csv等半结构化格式的数据，则通过FTP、Http协议直接进行读取；对于图像、视频格式的文件，直接通过FTP进行文件传输。
所述分布式数据缓存集群的逻辑存储架构是消息队列，分布式数据缓存集群在数据存储方面的应用包括数据源写入，大数据集群读取，元数据管理和消息队列设置四部分。
所述数据源写入分布式数据缓存集群，包括以下步骤：
（1）数据通过轮询或者订阅的方式由数据源发送到分布式数据缓存集群，当数据到达分布式数据缓存集群时，最新的数据将首先存储到Memory Cache中；为了保证数据的安全性，最开始往Memory Cache中写时，数据按照3副本的模式进行写入，同时保证数据的3个副本在不同的物理机器上，该机制通过hash算法来实现；
（2）当某个消息队列在Memory Cache中数据量到达阈值时，按照队列FIFO的规则，则将最先存入Memory Cache的m%的数据往SSD中写，由于此时m%的数据是以三副本的形式存在于Memory Cache中，在将m%的数据flush到SSD时，将其中1个副本的数据flush到SSD中，然后将对应的副本数据在内存中删除；
M为大于5小于20的自然数。
（3）当SSD中存储的数据量到达阈值时，同样按照FIFO的规则，将最先写入到SSD的m%的数据写入到Hard Disk中，写入时，将一份数据的一份副本写入到hard disk中。
所述大数据集群从分布式数据缓存集群读，包括以下步骤：
（1）大数据集群会向数据源发送一个数据读的请求，请求中包括请求的id，请求的格式需求；数据源根据大数据集群读的请求，生成一份按照请求id和格式的数据，推送到分布式数据缓存集群中，在分布式数据缓存集群中则根据请求id生成一个消息队列，消息队列来存储数据源推送的数据，大数据集群一直保持对消息队列的监听；
（2）根据元数据信息，大数据集群首先查询某个请求下一个要读的数据在MemoryCache中是否存在，如果Memory Cache中存在，则从内存中读取；如果Memory Cache中不存在，则查询是否存在于SSD中，如果存在于SSD中，则从SSD中读取；如果SSD中不存在，则查询是否在Hard Disk中，如果数据三个副本仅仅存在于Hard Disk中，则从Hard Disk中读取；
（3）数据一旦读取成功，将数据从消息队列中删除。
所述元数据管理是由于分布式数据缓存集群中一份数据的逻辑存储是在消息队列系统中，而实际的物理存储是三级存储的架构，因此，设置了一台元数据服务器NameNode来对分布式集群中的数据进行管理，记录每一份数据的位置信息和状态。
所述消息队列设置是每个消息队列的大小在不同级别的存储中有不同的限制，一般Memory Cache中消息队列的大小小于SSD中，SSD中消息队列的大小小于hard Disk中，可根据分布式数据缓存集群的配置进行设置。
以一次实时的数据读写为例，大数据集群首先发送一个读数据的请求给数据源，请求id为1；数据源根据请求的ID，去分布式缓存集群的管理节点请求创建一个消息队列，队列ID为1；创建队列成功之后，管理节点会发送一个确认信息给数据源，信息包括了请求队列的位置；这时候数据源根据请求的内容向分布式数据缓存集群的数据节点发送数据，发送过程就是写的过程，按照发明内容中写数据的规则进行写。大数据集群则根据请求的ID，首先去管理节点查询要读的下一个数据的位置，然后选择一个最快的队列进行读取，一旦读取成功，则将队列数据清空。

Claims (7)

1.一种基于多级存储的大数据传输完整性保护机制，其特征在于，在多源异构大数据的数据源导入大数据平台时，在数据源与大数据平台之间加入一个分布式数据缓存集群，大数据平台不直接从数据源取数据而是从分布式数据缓存集群中读取；同时，分布式数据缓存集群采用Memory Cache、SSD以及Hard Disk的三级存储架构；各级存储之间采用基于策略和事件触发的调度机制，保证大数据平台能够快速地从分布式数据缓存集群中读取数据。
2.根据权利要求1所述的基于多级存储的大数据传输完整性保护机制，其特征在于：所述分布式数据缓存集群的数据结构和存储方式与数据源服务器保持一致，分布式数据缓存集群以流水化、并行方式传输，支持多任务并发，能够满足了高吞吐量的需求；支持订阅和轮询两种工作模式，不同类型的数据源设有不同的接口和组件来满足数据导入的需求；
对于结构化的数据，在分布式数据缓存集群与数据源之间通过JDBC或者ODBC进行连接，从数据源读取数据后，直接插入分布式数据缓存集群中对应的数据库文件中；对于半结构化格式的数据，则通过FTP、Http协议直接进行读取；对于图像、视频格式的文件，直接通过FTP进行文件传输。
3.根据权利要求2所述的基于多级存储的大数据传输完整性保护机制，其特征在于：所述分布式数据缓存集群的逻辑存储架构是消息队列，分布式数据缓存集群在数据存储方面的应用包括数据源写入，大数据集群读取，元数据管理和消息队列设置四部分。
4.根据权利要求3所述的基于多级存储的大数据传输完整性保护机制，其特征在于：所述数据源写入分布式数据缓存集群，包括以下步骤：
（1）数据通过轮询或者订阅的方式由数据源发送到分布式数据缓存集群，当数据到达分布式数据缓存集群时，最新的数据将首先存储到Memory Cache中；为了保证数据的安全性，最开始往Memory Cache中写时，数据按照3副本的模式进行写入，同时保证数据的3个副本在不同的物理机器上，该机制通过hash算法来实现；
（2）当某个消息队列在Memory Cache中数据量到达阈值时，按照队列FIFO的规则，则将最先存入Memory Cache的m%的数据往SSD中写，由于此时m%的数据是以三副本的形式存在于Memory Cache中，在将m%的数据flush到SSD时，将其中1个副本的数据flush到SSD中，然后将对应的副本数据在内存中删除；
（3）当SSD中存储的数据量到达阈值时，同样按照FIFO的规则，将最先写入到SSD的m%的数据写入到Hard Disk中，写入时，将一份数据的一份副本写入到hard disk中。
5.根据权利要求3所述的基于多级存储的大数据传输完整性保护机制，其特征在于：所述大数据集群从分布式数据缓存集群读，包括以下步骤：
（1）大数据集群会向数据源发送一个数据读的请求，请求中包括请求的id，请求的格式需求；数据源根据大数据集群读的请求，生成一份按照请求id和格式的数据，推送到分布式数据缓存集群中，在分布式数据缓存集群中则根据请求id生成一个消息队列，消息队列来存储数据源推送的数据，大数据集群一直保持对消息队列的监听；
（2）根据元数据信息，大数据集群首先查询某个请求下一个要读的数据在MemoryCache中是否存在，如果Memory Cache中存在，则从内存中读取；如果Memory Cache中不存在，则查询是否存在于SSD中，如果存在于SSD中，则从SSD中读取；如果SSD中不存在，则查询是否在Hard Disk中，如果数据三个副本仅仅存在于Hard Disk中，则从Hard Disk中读取；
（3）数据一旦读取成功，将数据从消息队列中删除。
6.根据权利要求3所述的基于多级存储的大数据传输完整性保护机制，其特征在于：所述元数据管理是由于分布式数据缓存集群中一份数据的逻辑存储是在消息队列系统中，而实际的物理存储是三级存储的架构，因此，设置了一台元数据服务器NameNode来对分布式集群中的数据进行管理，记录每一份数据的位置信息和状态。
7.根据权利要求3所述的基于多级存储的大数据传输完整性保护机制，其特征在于：所述消息队列设置是每个消息队列的大小在不同级别的存储中有不同的限制，一般MemoryCache中消息队列的大小小于SSD中，SSD中消息队列的大小小于hard Disk中，可根据分布式数据缓存集群的配置进行设置。
CN201610849347.2A 2016-09-26 2016-09-26 一种基于多级存储的大数据传输完整性保护方法 Active CN106484329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610849347.2A CN106484329B (zh) 2016-09-26 2016-09-26 一种基于多级存储的大数据传输完整性保护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610849347.2A CN106484329B (zh) 2016-09-26 2016-09-26 一种基于多级存储的大数据传输完整性保护方法

Publications (2)

Publication Number Publication Date
CN106484329A true CN106484329A (zh) 2017-03-08
CN106484329B CN106484329B (zh) 2019-01-08

Family

ID=58267558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610849347.2A Active CN106484329B (zh) 2016-09-26 2016-09-26 一种基于多级存储的大数据传输完整性保护方法

Country Status (1)

Country Link
CN (1) CN106484329B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107295106A (zh) * 2017-07-31 2017-10-24 杭州多麦电子商务股份有限公司 消息数据服务集群
CN107977403A (zh) * 2017-11-14 2018-05-01 中国银行股份有限公司 历史数据查询方法及装置
CN108804347A (zh) * 2017-05-05 2018-11-13 华中科技大学 一种用于工业大数据汇聚的缓存层、汇聚系统及方法
CN108920111A (zh) * 2018-07-27 2018-11-30 中国联合网络通信集团有限公司 数据共享方法及分布式数据共享系统
CN108984117A (zh) * 2018-06-15 2018-12-11 深圳市华傲数据技术有限公司 一种数据读写方法、介质及设备
CN109189839A (zh) * 2018-07-20 2019-01-11 广微数据科技（苏州）有限公司 基于大数据平台的多层业务模型
CN109766312A (zh) * 2019-01-07 2019-05-17 深圳大学 一种区块链存储方法、系统、装置及计算机可读存储介质
CN110543507A (zh) * 2018-05-29 2019-12-06 阿里巴巴集团控股有限公司 一种异构数据接入方法和装置
CN111736775A (zh) * 2020-06-22 2020-10-02 平安医疗健康管理股份有限公司 多源存储方法、装置、计算机系统及存储介质
WO2021082720A1 (zh) * 2019-10-31 2021-05-06 华为技术有限公司 一种数据处理方法及装置
CN114697372A (zh) * 2022-05-31 2022-07-01 深圳市泛联信息科技有限公司 一种分布式系统中数据传输处理与存储方法、系统及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831088A (zh) * 2012-07-27 2012-12-19 国家超级计算深圳中心(深圳云计算中心) 基于混合存储器的数据迁移方法和装置
CN103491187A (zh) * 2013-09-30 2014-01-01 华南理工大学 一种基于云计算的大数据统一分析处理方法
CN103699660A (zh) * 2013-12-26 2014-04-02 清华大学 一种大规模网络流式数据缓存写入的方法
CN103744623A (zh) * 2014-01-10 2014-04-23 浪潮电子信息产业股份有限公司 一种实现存储系统ssd缓存的数据智能降级的方法
CN103942157A (zh) * 2013-01-22 2014-07-23 国际商业机器公司 用于计算存储环境中的数据处理的方法和系统
CN104065685A (zh) * 2013-03-22 2014-09-24 中国银联股份有限公司 面向云计算环境的分层存储系统中的数据迁移方法
US9086991B2 (en) * 2013-02-19 2015-07-21 Infinidat Ltd. Solid state drive cache recovery in a clustered storage system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831088A (zh) * 2012-07-27 2012-12-19 国家超级计算深圳中心(深圳云计算中心) 基于混合存储器的数据迁移方法和装置
CN103942157A (zh) * 2013-01-22 2014-07-23 国际商业机器公司 用于计算存储环境中的数据处理的方法和系统
US9086991B2 (en) * 2013-02-19 2015-07-21 Infinidat Ltd. Solid state drive cache recovery in a clustered storage system
CN104065685A (zh) * 2013-03-22 2014-09-24 中国银联股份有限公司 面向云计算环境的分层存储系统中的数据迁移方法
CN103491187A (zh) * 2013-09-30 2014-01-01 华南理工大学 一种基于云计算的大数据统一分析处理方法
CN103699660A (zh) * 2013-12-26 2014-04-02 清华大学 一种大规模网络流式数据缓存写入的方法
CN103744623A (zh) * 2014-01-10 2014-04-23 浪潮电子信息产业股份有限公司 一种实现存储系统ssd缓存的数据智能降级的方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804347A (zh) * 2017-05-05 2018-11-13 华中科技大学 一种用于工业大数据汇聚的缓存层、汇聚系统及方法
CN107295106A (zh) * 2017-07-31 2017-10-24 杭州多麦电子商务股份有限公司 消息数据服务集群
CN107295106B (zh) * 2017-07-31 2020-08-14 杭州多麦电子商务股份有限公司 消息数据服务集群
CN107977403A (zh) * 2017-11-14 2018-05-01 中国银行股份有限公司 历史数据查询方法及装置
CN110543507A (zh) * 2018-05-29 2019-12-06 阿里巴巴集团控股有限公司 一种异构数据接入方法和装置
CN108984117B (zh) * 2018-06-15 2021-11-19 深圳市华傲数据技术有限公司 一种数据读写方法、介质及设备
CN108984117A (zh) * 2018-06-15 2018-12-11 深圳市华傲数据技术有限公司 一种数据读写方法、介质及设备
CN109189839A (zh) * 2018-07-20 2019-01-11 广微数据科技（苏州）有限公司 基于大数据平台的多层业务模型
CN108920111A (zh) * 2018-07-27 2018-11-30 中国联合网络通信集团有限公司 数据共享方法及分布式数据共享系统
CN109766312A (zh) * 2019-01-07 2019-05-17 深圳大学 一种区块链存储方法、系统、装置及计算机可读存储介质
WO2021082720A1 (zh) * 2019-10-31 2021-05-06 华为技术有限公司 一种数据处理方法及装置
CN111736775A (zh) * 2020-06-22 2020-10-02 平安医疗健康管理股份有限公司 多源存储方法、装置、计算机系统及存储介质
CN111736775B (zh) * 2020-06-22 2023-02-03 深圳平安医疗健康科技服务有限公司 多源存储方法、装置、计算机系统及存储介质
CN114697372A (zh) * 2022-05-31 2022-07-01 深圳市泛联信息科技有限公司 一种分布式系统中数据传输处理与存储方法、系统及介质

Also Published As

Publication number Publication date
CN106484329B (zh) 2019-01-08

Similar Documents

Publication Publication Date Title
CN106484329A (zh) 一种基于多级存储的大数据传输完整性保护机制
US11003689B2 (en) Distributed database transaction protocol
US9910896B2 (en) Suspending and resuming continuous queries over data streams
EP2474919B1 (en) System and method for data replication between heterogeneous databases
CN106844682B (zh) 数据交换方法、装置及系统
CN107038162A (zh) 基于数据库日志的实时数据查询方法和系统
CN105373541B (zh) 数据库的数据操作请求的处理方法和系统
JP6225184B2 (ja) メディエーションシステムにおけるデータの集約
US20120030169A1 (en) Application instance and query stores
US11657025B2 (en) Parallel processing of filtered transaction logs
CN111125260A (zh) 一种基于SQL Server的数据同步方法及系统
WO2015024474A1 (zh) 基于缓存数据多线程处理的电力可靠性指标快速计算方法
WO2017161471A1 (zh) 基于光盘的异构类型数据库存储系统及利用该系统的方法
CN111177254B (zh) 一种异构关系型数据库之间数据同步的方法和装置
US11507277B2 (en) Key value store using progress verification
CN110781197B (zh) 一种hive离线同步校验方法、装置及电子设备
CN109783441A (zh) 基于Bloom Filter的海量数据查询方法
CN114579614A (zh) 一种实时数据全量获取方法、装置及计算机设备
CN110399351A (zh) 审计日志数据的处理方法与系统
CN104461929B (zh) 基于拦截器的分布式数据缓存方法
KR20190063835A (ko) 인-메모리 데이터베이스의 실시간 데이터 변경 처리 시스템
CN114706836B (zh) 一种基于机载嵌入式数据库的数据生命周期管理方法
US20090248620A1 (en) Interacting methods of data extraction
CN115438122A (zh) 数据异构同步系统
US9930116B2 (en) Method and system for selecting a transport mechanism and a storage process

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant