CN113778949A - 一种面向物联网的数据中间件系统 - Google Patents

一种面向物联网的数据中间件系统 Download PDF

Info

Publication number
CN113778949A
CN113778949A CN202111138334.1A CN202111138334A CN113778949A CN 113778949 A CN113778949 A CN 113778949A CN 202111138334 A CN202111138334 A CN 202111138334A CN 113778949 A CN113778949 A CN 113778949A
Authority
CN
China
Prior art keywords
data
internet
things
module
write
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111138334.1A
Other languages
English (en)
Inventor
赵科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Yingshida Information Technology Co ltd
Original Assignee
Wuhan Yingshida Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Yingshida Information Technology Co ltd filed Critical Wuhan Yingshida Information Technology Co ltd
Priority to CN202111138334.1A priority Critical patent/CN113778949A/zh
Publication of CN113778949A publication Critical patent/CN113778949A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G06F16/134—Distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种面向物联网的数据中间件系统，包括物联网数据采集模块，用于通过传感装置采集物联网设备的实时数据并传输至物联网数据存储模块；分布式内存文件层用于对实时数据进行写缓存和聚类写，将缓存后和聚类后的存储数据写入分布式文件层进行存储；物联网数据检索模块，用于对物联网数据存储模块中的存储数据建立索引，返回目标数据检索结果；物联网数据分析模块，用于对目标数据检索结果进行数据分析，得到对目标数据的数据分析结果。本发明在分布式文件层上设置分布式内存文件层，对海量的传感器数据进行分布式并行写缓存和聚类合并，使得海量实时数据能够进行高吞吐的写缓存服务，且有效减少物联网中对象查询时的时间，提高查询效率。

Description

一种面向物联网的数据中间件系统
背景技术
本发明属于数据处理技术领域，具体涉及一种面向物联网的数据中间件系统。
背景技术
物联网是一个将海量传感装置与互联网相结合起来而形成的巨大网络。在物联网中，海量传感装置不断地采集数据并发送到数据中心；随着感知技术与网络技术的不断发展，数据呈现出海量特性，形成了物联网大数据。对物联网大数据进行持久化存储，可以获得任一传感器的历史与当前感知数据，通过对数据进行检索和统计分析，可以实现复杂与规律的感知和趋势分析；数据存储与管理以流任务运行在数据中心中，通过节能任务调度，降低物联网应用的成本。目前，物联网产业早已渗透至诸如工业生产、智能家居、宇宙开发、海洋探测、环境保护、资源调查、医学诊断、生物工程、甚至文物保护等等及其广泛的领域，物联网产业进入快速发展时期。
物联网数据的存储与处理，需要持久化存储数据、实时检索数据，对数据进行及时的分析和处理，从而实现对数据有效的感知与控制。但是，物联网数据的海量特性为数据的存储与处理带来了巨大的挑战。主要在于：海量传感器频繁地产生新的采集数据并发送到数据中心，形成了庞大的实时数据写入流，而传统的持久化存储系统无法对海量实时数据进行实时高性能的数据存储，因此无法满足物联网海量数据在线存储的需求。
发明内容
本发明的目的是一种面向物联网的数据中间件系统，用于解决现有技术中存在的至少一个技术问题。
为了实现上述目的，本发明采用以下技术方案：
一种面向物联网的数据中间件系统，包括：采用数据总线相互通信连接的物联网数据采集模块、物联网数据存储模块、物联网数据检索模块和物联网数据分析模块；
所述物联网数据采集模块用于通过传感装置采集物联网设备的实时数据并传输至所述物联网数据存储模块；
所述物联网数据存储模块包括分布式文件层和与所述分布式文件层连接的分布式内存文件层，所述分布式内存文件层用于对所述实时数据进行写缓存和/或聚类写，并将缓存后和/或聚类后的存储数据写入所述分布式文件层进行存储；
所述物联网数据检索模块用于对所述物联网数据存储模块中的存储数据建立索引，接收目标数据检索请求并返回目标数据检索结果；
所述物联网数据分析模块用于对所述目标数据检索结果进行数据分析，得到对目标数据的数据分析结果。
在一种可能的设计中，所述分布式内存文件层置顶设置在所述分布式文件层上。
在一种可能的设计中，所述分布式内存文件层包括一个主存储节点和多个分布存储节点，所述主存储节点包括写缓存管理模块，所述分布存储节点包括写缓存服务模块；
所述写缓存管理模块用于根据所述物联网数据采集模块的写入请求，向所述物联网数据采集模块返回对应的写缓存服务模块；
所述写缓存服务模块用于接收所述实时数据以完成数据写入操作，并向所述物联网数据采集模块返回写成功的命令。
在一种可能的设计中，所述写缓存管理模块包括请求监听接口、写调度单元和第一元数据管理单元；
所述请求监听接口用于监听来自所述物联网数据采集模块和所述写缓存服务模块的请求命令；
所述写调度单元用于根据所述物联网数据采集模块的写入请求，基于写调度策略向所述物联网数据采集模块返回对应的写缓存服务模块；
所述第一元数据管理单元用于记录传感装置与所述分布存储节点的映射信息。
在一种可能的设计中，所述写缓存服务模块包括数据写入接口、内存管理单元和第二元数据管理单元；
所述数据写入接口用于向所述数据采集模块提供数据写入通道；
所述内存管理单元用于对所述实时数据进行内存分配，以及用于管理内部的存储数据；
所述第二元数据管理单元用于管理传感装置与对应的物联网设备的映射信息、传感装置与数据的映射信息以及内存块信息。
在一种可能的设计中，所述主存储节点还包括聚类写管理模块，所述分布存储节点还包括聚类写服务模块；
所述聚类写管理模块用于调度所述分布存储节点进行依赖图初始化并行计算和数据合并写；
所述聚类写服务模块用于根据所述聚类写管理模块的调度进行依赖图初始化并行计算和数据合并写，并在数据大小达到阈值时将数据写入所述分布文件层中。
在一种可能的设计中，所述聚类写管理模块包括依赖图计算管理单元、聚类单元以及合并写管理单元；
所述依赖图计算管理单元用于调度所述分布存储节点进行依赖图初始化并行计算，并对计算结果进行汇总后完成最终的依赖图初始化；
所述聚类单元用于根据所述计算结果进行基于依赖图的层次聚类；
所述合并写管理单元用于根据聚类结果进行簇的调度，以确定簇与分布存储节点的对应关系。
在一种可能的设计中，所述聚类写服务模块包括依赖图计算单元和合并写单元；
所述依赖图计算单元用于根据所述依赖图计算管理单元的调度进行依赖图初始化并行计算；
所述合并写单元用于根据所述合并写管理单元的调度，对簇中所包含的数据进行合并写，并在当簇中所包含的数据达到阈值时将数据写入所述分布文件层中。
在一种可能的设计中，所述物联网数据检索模块包括多维索引单元和检索服务单元；
所述多维索引单元用于从多维度为所述物联网数据存储模块建立数据索引；
所述检索服务单元用于接收目标数据检索请求并返回目标数据检索结果。
第二方面，本发明提供一种计算机存储设备，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面任意一种可能的设计中所述的面向物联网的数据中间件系统。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面任意一种可能的设计中所述的面向物联网的数据中间件系统。
第五方面，本发明提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行执行如第一方面任意一种可能的设计中所述的面向物联网的数据中间件系统。
有益效果：
本发明通过设置物联网数据采集模块用于通过传感装置采集物联网设备的实时数据并传输至物联网数据存储模块；通过设置物联网数据存储模块包括分布式文件层和与所述分布式文件层连接的分布式内存文件层，分布式内存文件层用于对实时数据进行写缓存和/或聚类写，并将缓存后和/或聚类后的存储数据写入分布式文件层进行存储；通过设置物联网数据检索模块用于对物联网数据存储模块中的存储数据建立索引，接收目标数据检索请求并返回目标数据检索结果；物联网数据分析模块用于对目标数据检索结果进行数据分析，得到对目标数据的数据分析结果。其中，通过在传统的分布式文件层上额外设置分布式内存文件层，来对海量的传感器数据进行分布式并行写缓存和聚类合并，以为传感器的海量实时数据提供高吞吐的写缓存服务，并基于传感器之间的关联性进行数据聚类，并在当聚类合并后的数据达到阈值时将数据写入分布式文件层中，可以有效减少物联网中对象查询时的时间，提高查询效率，进而提高用户体验。此外，本发明的面向物联网的数据中间件系统可以根据不同应用服务层的需要进行模块化、OEM化以及ODM化，兼容性强，可用性高。
附图说明
图1为本实施例中的面向物联网的数据中间件系统的结构框图；
图2为本实施例中的物联网数据存储模块的结构框图。
具体实施方式
为使本说明书实施例的目的、技术方案和优点更加清楚，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
一种面向物联网的数据中间件系统，包括：采用数据总线相互通信连接的物联网数据采集模块、物联网数据存储模块、物联网数据检索模块和物联网数据分析模块；
所述物联网数据采集模块用于通过传感装置采集物联网设备的实时数据并传输至所述物联网数据存储模块；
所述物联网数据存储模块包括分布式文件层和与所述分布式文件层连接的分布式内存文件层，所述分布式内存文件层用于对所述实时数据进行写缓存和/或聚类写，并将缓存后和/或聚类后的存储数据写入所述分布式文件层进行存储；
所述物联网数据检索模块用于对所述物联网数据存储模块中的存储数据建立索引，接收目标数据检索请求并返回目标数据检索结果；
所述物联网数据分析模块用于对所述目标数据检索结果进行数据分析，得到对目标数据的数据分析结果。
基于上述公开的内容，通过设置物联网数据采集模块用于通过传感装置采集物联网设备的实时数据并传输至物联网数据存储模块；通过设置物联网数据存储模块包括分布式文件层和与所述分布式文件层连接的分布式内存文件层，分布式内存文件层用于对实时数据进行写缓存和/或聚类写，并将缓存后和/或聚类后的存储数据写入分布式文件层进行存储；通过设置物联网数据检索模块用于对物联网数据存储模块中的存储数据建立索引，接收目标数据检索请求并返回目标数据检索结果；物联网数据分析模块用于对目标数据检索结果进行数据分析，得到对目标数据的数据分析结果。其中，通过在传统的分布式文件层上额外设置分布式内存文件层，来对海量的传感器数据进行分布式并行写缓存和聚类合并，以为传感器的海量实时数据提供高吞吐的写缓存服务，并基于传感器之间的关联性进行数据聚类，并在当聚类合并后的数据达到阈值时将数据写入分布式文件层中，可以有效减少物联网中对象查询时的时间，提高查询效率，进而提高用户体验。此外，本发明的面向物联网的数据中间件系统可以根据不同应用服务层的需要进行模块化、OEM化以及ODM化，兼容性强，可用性高。
在一种可选的实施方式中，为了不对原本的分布式文件层进行修改以及为了便于对分布式文件层和与所述分布式文件层进行高效管理，所述分布式内存文件层置顶设置在所述分布式文件层上，具体的，分布式内存文件层可以安装分布式文件层的主存储节点、分布分布存储节点或者其他任意服务器上，并通过数据总线进行网络连接。
在一种可选的实施方式中，所述分布式内存文件层包括一个主存储节点和多个分布存储节点，所述主存储节点包括写缓存管理模块，所述分布存储节点包括写缓存服务模块；
所述写缓存管理模块用于根据所述物联网数据采集模块的写入请求，向所述物联网数据采集模块返回对应的写缓存服务模块；
具体的，所述写缓存管理模块包括请求监听接口、写调度单元和第一元数据管理单元；
所述请求监听接口用于监听来自所述物联网数据采集模块和所述写缓存服务模块的请求命令；
所述写调度单元用于根据所述物联网数据采集模块的写入请求，基于写调度策略向所述物联网数据采集模块返回对应的写缓存服务模块；
其中，需要说明的是，所述写调度单元根据每一所述分布存储节点的内存容量，向所述物联网数据采集模块返回所述主存储节点的地址和一个分布存储节点的地址；
所述第一元数据管理单元用于记录传感装置与所述分布存储节点的映射信息。
其中，需要说明的是，所述第一元数据管理单元通过哈希表例存储每个传感装置与分布存储节点的映射关系。
所述写缓存服务模块用于接收所述实时数据以完成数据写入操作，并向所述物联网数据采集模块返回写成功的命令。
具体的，所述写缓存服务模块包括数据写入接口、内存管理单元和第二元数据管理单元；
所述数据写入接口用于向所述数据采集模块提供数据写入通道；
所述内存管理单元用于对所述实时数据进行内存分配，以及用于管理内部的存储数据；
其中，需要说明的是，若所述数据采集模块与所述写缓存服务模块初次建立进行写数据操作，则所述内存管理单元需要在哈希表中插入对应的传感装置的标识符，并初始化双向链表用于该传感装置所对应的内存块的存储，同时根据内存管理模块为数据文件分配指定大小的内存块。
所述第二元数据管理单元用于管理传感装置与对应的物联网设备的映射信息、传感装置与数据的映射信息以及内存块信息。
其中，需要说明的是，所述写缓存管理模块配合所述写缓存服务模块的工作原理如下：
首先，当所述请求监听接口监听到来自所述物联网数据采集模块的数据写入请求后，通知所述写调度单元，所述写调度单元根据数据写入请求，根据每一所述分布存储节点的内存容量，向所述物联网数据采集模块返回所述主存储节点的地址和一个分布存储节点的地址，以使对应的写缓存服务模块可以负责对应的传感装置的数据写入；然后，所述写缓存服务模块通过所述数据写入接口接收传感装置的实时数据以完成写入操作，并向所述物联网数据采集模块返回写成功的命令，从而可以同时向不同的分布存储节点写入传感器数据，以实现传感器海量数据的并行写入，提高数据存储的吞吐量。
在一种可选的实施方式中，当所述写缓存服务模块中存储的数据达到系统阈值时，需要将所述写缓存服务模块中的数据写入至分布文件层中，而为了提高在数据转移存储时的吞吐以及降低内存占用，所述主存储节点还包括聚类写管理模块，所述分布存储节点还包括聚类写服务模块；
所述聚类写管理模块用于调度所述分布存储节点进行依赖图初始化并行计算和数据合并写；
具体的，所述聚类写管理模块包括依赖图计算管理单元、聚类单元以及合并写管理单元；
所述依赖图计算管理单元用于调度所述分布存储节点进行依赖图初始化并行计算，并对计算结果进行汇总后完成最终的依赖图初始化；
所述聚类单元用于根据所述计算结果进行基于依赖图的层次聚类；
所述合并写管理单元用于根据聚类结果进行簇的调度，以确定簇与分布存储节点的对应关系。
所述聚类写服务模块用于根据所述聚类写管理模块的调度进行依赖图初始化并行计算和数据合并写，并在数据大小达到阈值时将数据写入所述分布文件层中。
具体的，所述聚类写服务模块包括依赖图计算单元和合并写单元；
所述依赖图计算单元用于根据所述依赖图计算管理单元的调度进行依赖图初始化并行计算；
所述合并写单元用于根据所述合并写管理单元的调度，对簇中所包含的数据进行合并写，并在当簇中所包含的数据达到阈值时将数据写入所述分布文件层中。
其中，需要说明的是，所述聚类写管理模块配合聚类写服务模块的工作原理如下：
首先，所述依赖图计算管理单元调度所述分布存储节点进行依赖图初始化并行计算，从而所述依赖图计算单元根据所述依赖图计算管理单元的调度指令进行依赖图初始化并行计算，所述依赖图计算管理单元对计算结果进行汇总后完成最终的依赖图初始化；然后，通过所述聚类单元根据所述计算结果进行基于依赖图的层次聚类，并通过所述合并写管理单元根据聚类结果进行簇的调度，以确定簇与分布存储节点的对应关系，即哪一簇需要在哪一分布存储节点上进行合并写的对应关系；然后，所述合并写管理单元根据簇调度的节点将同一簇的数据转移至同一分布存储节点上，由所述合并写单元对簇中所包含的数据进行合并写，并在当簇中所包含的数据达到阈值时将数据写入所述分布文件层中。
在一种可能的设计中，所述物联网数据检索模块包括多维索引单元和检索服务单元；
所述多维索引单元用于从多维度为所述物联网数据存储模块建立数据索引；
所述检索服务单元用于接收目标数据检索请求并返回目标数据检索结果。
第二方面，本发明提供一种计算机存储设备，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面任意一种可能的设计中所述的面向物联网的数据中间件系统。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面任意一种可能的设计中所述的面向物联网的数据中间件系统。
第五方面，本发明提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行执行如第一方面任意一种可能的设计中所述的面向物联网的数据中间件系统。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种面向物联网的数据中间件系统，其特征在于，包括：采用数据总线相互通信连接的物联网数据采集模块、物联网数据存储模块、物联网数据检索模块和物联网数据分析模块；
所述物联网数据采集模块用于通过传感装置采集物联网设备的实时数据并传输至所述物联网数据存储模块；
所述物联网数据存储模块包括分布式文件层和与所述分布式文件层连接的分布式内存文件层，所述分布式内存文件层用于对所述实时数据进行写缓存和/或聚类写，并将缓存后和/或聚类后的存储数据写入所述分布式文件层进行存储；
所述物联网数据检索模块用于对所述物联网数据存储模块中的存储数据建立索引，接收目标数据检索请求并返回目标数据检索结果；
所述物联网数据分析模块用于对所述目标数据检索结果进行数据分析，得到对目标数据的数据分析结果。
2.根据权利要求1所述的面向物联网的数据中间件系统，其特征在于，所述分布式内存文件层置顶设置在所述分布式文件层上。
3.根据权利要求1所述的面向物联网的数据中间件系统，其特征在于，所述分布式内存文件层包括一个主存储节点和多个分布存储节点，所述主存储节点包括写缓存管理模块，所述分布存储节点包括写缓存服务模块；
所述写缓存管理模块用于根据所述物联网数据采集模块的写入请求，向所述物联网数据采集模块返回对应的写缓存服务模块；
所述写缓存服务模块用于接收所述实时数据以完成数据写入操作，并向所述物联网数据采集模块返回写成功的命令。
4.根据权利要求3所述的面向物联网的数据中间件系统，其特征在于，所述写缓存管理模块包括请求监听接口、写调度单元和第一元数据管理单元；
所述请求监听接口用于监听来自所述物联网数据采集模块和所述写缓存服务模块的请求命令；
所述写调度单元用于根据所述物联网数据采集模块的写入请求，基于写调度策略向所述物联网数据采集模块返回对应的写缓存服务模块；
所述第一元数据管理单元用于记录传感装置与所述分布存储节点的映射信息。
5.根据权利要求1所述的面向物联网的数据中间件系统，其特征在于，所述写缓存服务模块包括数据写入接口、内存管理单元和第二元数据管理单元；
所述数据写入接口用于向所述数据采集模块提供数据写入通道；
所述内存管理单元用于对所述实时数据进行内存分配，以及用于管理内部的存储数据；
所述第二元数据管理单元用于管理传感装置与对应的物联网设备的映射信息、传感装置与数据的映射信息以及内存块信息。
6.根据权利要求3所述的面向物联网的数据中间件系统，其特征在于，所述主存储节点还包括聚类写管理模块，所述分布存储节点还包括聚类写服务模块；
所述聚类写管理模块用于调度所述分布存储节点进行依赖图初始化并行计算和数据合并写；
所述聚类写服务模块用于根据所述聚类写管理模块的调度进行依赖图初始化并行计算和数据合并写，并在数据大小达到阈值时将数据写入所述分布文件层中。
7.根据权利要求6所述的面向物联网的数据中间件系统，其特征在于，所述聚类写管理模块包括依赖图计算管理单元、聚类单元以及合并写管理单元；
所述依赖图计算管理单元用于调度所述分布存储节点进行依赖图初始化并行计算，并对计算结果进行汇总后完成最终的依赖图初始化；
所述聚类单元用于根据所述计算结果进行基于依赖图的层次聚类；
所述合并写管理单元用于根据聚类结果进行簇的调度，以确定簇与分布存储节点的对应关系。
8.根据权利要求7所述的面向物联网的数据中间件系统，其特征在于，所述聚类写服务模块包括依赖图计算单元和合并写单元；
所述依赖图计算单元用于根据所述依赖图计算管理单元的调度进行依赖图初始化并行计算；
所述合并写单元用于根据所述合并写管理单元的调度，对簇中所包含的数据进行合并写，并在当簇中所包含的数据达到阈值时将数据写入所述分布文件层中。
9.根据权利要求1所述的面向物联网的数据中间件系统，其特征在于，所述物联网数据检索模块包括多维索引单元和检索服务单元；
所述多维索引单元用于从多维度为所述物联网数据存储模块建立数据索引；
所述检索服务单元用于接收目标数据检索请求并返回目标数据检索结果。
CN202111138334.1A 2021-09-27 2021-09-27 一种面向物联网的数据中间件系统 Pending CN113778949A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111138334.1A CN113778949A (zh) 2021-09-27 2021-09-27 一种面向物联网的数据中间件系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111138334.1A CN113778949A (zh) 2021-09-27 2021-09-27 一种面向物联网的数据中间件系统

Publications (1)

Publication Number Publication Date
CN113778949A true CN113778949A (zh) 2021-12-10

Family

ID=78854002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111138334.1A Pending CN113778949A (zh) 2021-09-27 2021-09-27 一种面向物联网的数据中间件系统

Country Status (1)

Country Link
CN (1) CN113778949A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460121A (zh) * 2018-01-22 2018-08-28 重庆邮电大学 智慧城市中时空数据小文件合并方法
CN109508317A (zh) * 2018-10-31 2019-03-22 武汉光谷联众大数据技术有限责任公司 一种大容量数据和服务管理系统
CN110134723A (zh) * 2019-05-22 2019-08-16 网易（杭州）网络有限公司 一种存储数据的方法和数据库
CN110221779A (zh) * 2019-05-29 2019-09-10 清华大学 分布式持久性内存存储系统的构建方法
CN113064700A (zh) * 2021-04-30 2021-07-02 中国工商银行股份有限公司 容器部署方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460121A (zh) * 2018-01-22 2018-08-28 重庆邮电大学 智慧城市中时空数据小文件合并方法
CN109508317A (zh) * 2018-10-31 2019-03-22 武汉光谷联众大数据技术有限责任公司 一种大容量数据和服务管理系统
CN110134723A (zh) * 2019-05-22 2019-08-16 网易（杭州）网络有限公司 一种存储数据的方法和数据库
CN110221779A (zh) * 2019-05-29 2019-09-10 清华大学 分布式持久性内存存储系统的构建方法
CN113064700A (zh) * 2021-04-30 2021-07-02 中国工商银行股份有限公司 容器部署方法及装置

Similar Documents

Publication Publication Date Title
US11741053B2 (en) Data management system, method, terminal and medium based on hybrid storage
US20180285167A1 (en) Database management system providing local balancing within individual cluster node
US8972337B1 (en) Efficient query processing in columnar databases using bloom filters
CN103856567A (zh) 基于Hadoop分布式文件系统的小文件存储方法
US10061834B1 (en) Incremental out-of-place updates for datasets in data stores
US20140337484A1 (en) Server side data cache system
US11429630B2 (en) Tiered storage for data processing
CN111949629B (zh) 一种面向边缘云的文件存储方法及终端
US10860562B1 (en) Dynamic predicate indexing for data stores
CN109240946A (zh) 数据的多级缓存方法及终端设备
CN104850572A (zh) HBase非主键索引构建与查询方法及其系统
CN111427844A (zh) 一种面向文件分级存储的数据迁移系统及方法
CN114721844B (zh) 数据缓存方法和装置、计算机设备、存储介质
CN109918450B (zh) 基于分析类场景下的分布式并行数据库及存储方法
CN111737168A (zh) 一种缓存系统、缓存处理方法、装置、设备及介质
CN114546295B (zh) 一种基于zns固态硬盘的智能写分配方法和装置
CN111309266A (zh) 一种基于ceph的分布式存储元数据系统日志优化系统与方法
CN115525417A (zh) 数据通信方法、通信系统及计算机可读存储介质
CN112328700A (zh) 一种分布式数据库
CN109508317B (zh) 一种大容量数据和服务管理系统
US10095738B1 (en) Dynamic assignment of logical partitions according to query predicate evaluations
US11762860B1 (en) Dynamic concurrency level management for database queries
CN116893789B (zh) 一种数据管理方法、系统、装置、设备及计算机存储介质
CN112000703B (zh) 数据入库处理方法、装置、计算机设备和存储介质
CN116450053B (zh) 数据存储方法、装置、系统、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination