CN103312791A - 物联网异构数据存储方法及系统 - Google Patents
物联网异构数据存储方法及系统 Download PDFInfo
- Publication number
- CN103312791A CN103312791A CN2013101989223A CN201310198922A CN103312791A CN 103312791 A CN103312791 A CN 103312791A CN 2013101989223 A CN2013101989223 A CN 2013101989223A CN 201310198922 A CN201310198922 A CN 201310198922A CN 103312791 A CN103312791 A CN 103312791A
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- internet
- things
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000005516 engineering process Methods 0.000 claims abstract description 27
- 238000007726 management method Methods 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 230000008878 coupling Effects 0.000 claims description 6
- 238000010168 coupling process Methods 0.000 claims description 6
- 238000005859 coupling reaction Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000013499 data model Methods 0.000 claims description 2
- 238000007792 addition Methods 0.000 claims 1
- 238000012217 deletion Methods 0.000 claims 1
- 230000037430 deletion Effects 0.000 claims 1
- 238000011161 development Methods 0.000 description 6
- 230000008520 organization Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种物联网异构数据存储方法及系统，所述方法通过HBase分布式存储系统对各种类型的数据进行基于列的存储，并通过MySQL元数据库对存储的数据进行登记管理，最后对数据访问层进行统一配置，使得基于该数据库的应用都能使用统一的数据接口。本发明在数据接口采用统一的存储方式，有效的支持不同来源、不同类型数据的存储；利用HBase技术，扩大列导向的存储机制，使得存储容量可水平扩展；采用内存映射文件机制，有效的解决了大文件存储和管理的效率；采用数据冗余存放技术，大大提高系统的可靠性和访问性能。本发明能很好的解决不同类型数据的存储问题，对大文件具有高效的存储和利用能力，另外还有低成本和高鲁棒性。
Description
技术领域
本发明涉及的是一种数据存储领域的方法，具体是一种物联网异构数据存储方法及系统。
背景技术
物联网(IoT：Internet of Things)是新一代信息技术的重要组成部分。在今天的互联网上，数据的交互几乎成为了我们的终极诉求，可随之而来的数据多样性，信息的分布式存储及松耦合，以及数据量的几何级规模的膨胀也带来了数据组织上的难度的增大，与此同时，伴随着Ajax，RIA及面向服务的网络应用的发展，其所要求的客户端数据处理逻辑的复杂性不断增加，使得开发难度不断加大。
传统的数据存储技术是基于关系型数据库进行的，主要是通过集合代数等数学概念和方法建立关系模型，将现实世界中的各种实体以及实体之间的各种联系均用关系模型来表示。传统的数据存储技术对于结构化数据来说是适合的，但是随着网络技术的发展，使得办公文档、文本、图片、XML、HTML、各类报表、图像和音频、视频信息等非结构化数据、半结构化数据的数量日趋增大。信息技术的飞速发展，推动了对信息存储的巨大需求，比如：需要存储多样化的数据类型：新的数据产生，所以对存储容量的需求是没有止境的，这要求现代存储系统应该具备高度的可扩展性；随着对效率要求的不断提高，需要对访问存储数据的速度和可靠性做出进一步的改进。
正是由于信息技术的不断发展，对存储系统的功能需求不断提高，使得传统的存储方式已经无法满足用户的需要。传统的存储系统采用的是DAS架构存储方式，在DAS方式中，存储系统附属于服务器。由于受服务器总线技术的限制，DAS方式系统的可扩展性差。当客户连接数增多时，服务器将成为整个系统的性能瓶颈：主机的带宽限制，虽然计算机技术的发展使主机总线带宽大为增加，但是仍赶不上现代存储应用对带宽的要求；主机的内存容量限制，由于主机的内存容量有限，当有连续的大量数据访问请求时，主机的内存容量将很快达到饱和，而不能处理剩下的数据传输请求；文件系统的管理开销也会增加数据访问时间，在大量客户端请求的时候，服务器便成为新的访问瓶颈，这种瓶颈效应甚至导致存储系统的资源利用率只有3％。
NAS存储架构是将存储设备通过标准的网络拓扑结构，连接到一群计算机上。NAS产品包括存储设备和集成在一起的简易服务器，可以实现涉及文件存取和管理的所有功能。由于附网存储设备直接于以太网相连，其安全性存在着一定的问题；大量数据存储都通过网络完成，增加了网络的负载，特别不适合于音频、视频数据的存储；与此同时，数据灾难恢复比较困难，通常需要一个专门定制方案。
当下对物联网的研究大多集中在感知层和传输层，侧重于对基础硬件的研发，对于应用层尤其是数据查询系统构架的研究非常少。
发明内容
本发明目的在于针对现有技术的不足，提出一种物联网异构数据存储方法及系统，适用于近年不断发展的物联网领域，对海量数据的解析、存储、访问等提供了一种新的模式，具有高可靠性和实用性能。
本发明的一个目的是提供一种物联网异构数据存储方法，该方法通过HBase分布式存储系统对各种类型的数据进行基于列的存储，并通过MySQL元数据库对存储的数据进行登记管理，最后对数据访问层进行统一配置，使得基于该数据库的应用都能使用统一的数据接口。
具体地，所述物联网异构数据存储方法包括如下步骤：
(1)系统前端将需要存储的数据送入数据存储系统；
(2)在步骤(1)所述数据存储系统采用HBase技术搭建的异构存储集群中，为不同类型的数据指定存储列簇，系统存储容量可横向扩展；
(3)MySQL元数据库对不同类型的存储数据进行进行登记，通过注册服务器向MySQL元数据库中登记数据信息，在将数据存储在步骤(2)中所述数据存储系统前，会对接收的数据标识信息和元数据库中的信息进行验证，没有登记过的实体所发送的数据将直接丢弃；
(4)在数据访问层，对不同格式的数据进行统一解析，实现数据访问接口的统一，不同的数据访问请求会路由到不同的数据库中；
(5)所有的物联网应用均通过步骤(4)所述的统一的数据接口对存储的数据进行访问。
本发明另一目的是提供一种物联网异构数据存储系统，所述系统由接口模块、数据存储模块、容量扩展模块、大文件存储模块、冗余存储模块共五个模块组成，其中：
接口模块：该模块对不同格式的数据进行统一解析，接收规定的统一查询和反馈数据类型，实现数据提供层与数据访问层之间的松耦合，该模块对上层应用提供服务，并定义下层模块实现的接口；
数据存储模块：利用HBase技术搭建起大规模存储集群，将数据存入HBase的指定列簇(Column Family)；
容量扩展模块：同一列簇在同一个Table Region(表区)中存储在同一个文件中，存储结构更紧凑，更利于横向扩展；
大文件存储模块：通过内存映射文件保留地址空间的区域，同时将物理存储器提交给此区域；
冗余存储模块：把相同的数据存储在多个硬盘的不同的地方，整体系统的容错建立在每个磁盘驱动器的硬件容错功能之上。
本发明采用HBase技术，发挥其在非结构化数据存储中的优势，支持不同类型的数据存储。
本发明采用分布式文件系统存储非结构化二进制数据文件，具有数据冗余、可横向扩展、访问简单的特性。
本发明大文件存储模块采用内存映射文件机制，对文件进行存储和管理时不必再为文件申请并分配缓存，所有的文件缓存操作均由系统直接管理，同时，解决了本地进程之间大文件数据共享的问题。
本发明冗余存储模块采用数据冗余存放技术，将数据存储在多个硬盘的不同地方，相互镜像备份提高系统的可靠性；与此同时，该技术也使得输入输出操作能以平衡的方式交叠，大幅提高存储系统的数据吞吐量，有效的提高了系统的访问性能和工作效率。
本发明的有益效果：本发明在数据接口对不同的数据进行解析，采用统一的存储方式，有效的支持不同来源、不同类型数据的存储；利用HBase技术，扩大列导向的存储机制，进而使得存储容量可水平扩展；采用内存映射文件机制，对于大文件的存储与管理，有效的解决了大文件存储和管理的效率；采用数据冗余存放技术，相互镜像备份大大提高系统的可靠性和访问性能。本发明能很好的解决不同类型数据的存储问题，对大文件具有高效的存储和利用能力，另外还有低成本和高鲁棒性。
附图说明
图1为本发明物联网异构数据存储系统架构框图。
图2为本发明HBase架构框图。
具体实施方式
以下结合附图和实施例对本发明的技术方案作进一步的解释，但是以下的内容不用于限定本发明的保护范围。
如图1所示，本实施例提供一种物联网异构数据存储系统，该系统由接口模块、数据存储模块、容量扩展模块、大文件存储模块、冗余存储模块共五个模块组成，各模块的具体实施应用如下：
(1)接口模块——对不同格式的数据进行统一解析，接收规定的统一查询和反馈数据类型，实现数据提供层与数据访问层之间的松耦合；
(2)数据存储模块——利用HBase技术搭建起大规模存储集群，将数据存入HBase的指定列簇(Column Family)；
(3)容量扩展模块——同一列簇在同一个Table Region中存储在同一个文件中，存储结构更紧凑，更利于横向扩展，
(4)大文件存储模块——通过内存映射文件保留地址空间的区域，同时将物理存储器提交给此区域；
(5)冗余存储模块——把相同的数据存储在多个硬盘的不同的地方，整体系统的容错建立在每个磁盘驱动器的硬件容错功能之上。
在本发明中的数据接口部分，预定义了统一数据模型，用于访问和管理不同数据格式的数据源。所有不同的数据源都会实现所定义的抽象接口，实现数据提供层与数据访问层之间的松耦合。不同格式的数据，在数据访问层按照统一的标准读取和解析，实现了数据访问接口的统一。
本发明把相同的数据存储在多个硬盘的不同的地方，多个硬盘增加了平均故障间隔时间(MTBF)，使整体系统的容错建立在每个磁盘驱动器的硬件容错功能之上。较为完备的相互校验、恢复措施，直接相互的镜像备份，大大提高了系统的容错性即可靠性；同时，在多个磁盘上同时存储和读取数据，使得输入输出操作能以平衡的方式交叠，大幅提高存储系统的数据吞吐量，有效的提高了系统的访问性能和工作效率。
采用上述系统，进行物联网异构数据存储方法，具体步骤为：
(1)系统前端将需要存储的数据送入数据存储系统；
(2)在所述数据存储系统采用HBase技术搭建的异构存储集群中，为不同类型的数据指定存储列簇，系统存储容量可横向扩展；
(3)MySQL元数据库对不同类型的存储数据进行进行登记，通过注册服务器向MySQL元数据库中登记数据信息；
(4)在数据访问层，对不同格式的数据进行统一解析，实现数据访问接口的统一；
(5)所有的物联网应用均通过统一的数据接口对存储的数据进行访问。
在物联网的应用过程中，会采集到各种不同来源不同类型的数据，有结构化的数据，也有大量的图片、XML、HTML、各类报表、图像和音频、视频信息等非结构化数据。本发明利用HBase技术搭建起大规模存储集群。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，非常适合用于具有键/值对形式的半结构化及非结构化数据存储。图2为HBase的架构框图。
HBase对列簇(column family)处理机制，不需要为存储的变量预先制定一个类型，只需要告诉想要把数据存储到HBase的哪个列簇中，不需要指定它的具体类型。HBase采用基于列簇的数据存储模型。每个列簇中可以包含不同自定义列，同一列簇在同一个Table Region中存储在同一个文件中，存储结构更紧凑，更利于横向扩展。
采用内存映射文件机制，保证大文件的存储和读取。通过内存映射文件保留一个地址空间的区域，同时将物理存储器提交给此区域。使用内存映射文件时，不必再对文件执行I/O操作，即在对文件进行处理时不必再为文件申请并分配缓存，所有的文件缓存操作均由系统直接管理，提高了系统的执行速度。
本发明中，元数据信息存储在关系型数据库中，保证数据访问的原子性和一致性。上层应用不受限于下层存储系统的实现，实现系统的解耦。系统具有数据访问接口统一的能力。
研究表明，本发明方法对物联网中的海量数据的解析、存储和管理是有效的，保证了数据存储环节的高效性和可靠性，为进一步对海量数据进行处理和信息反馈奠定了良好的基础。数据存储系统具体实现对上层应用透明。
本发明通过在数据接口处对不同的数据进行解析，实现数据提供层与数据展现层之间的松耦合，从而采用统一的存储方式，有效的支持不同来源、不同类型数据的存储；采用HBase技术，发挥其在非结构化数据存储中的优势，扩大列导向的存储机制进而使得其可以在存储容量上可水平扩展；对于大文件的存储与管理，采用内存映射文件机制，不仅有效的解决了大文件存储和管理的效率，也同时使得数据之间的共享更加方便；采用数据冗余存放技术，将数据存储在多个硬盘的不同地方，相互镜像备份提高系统的可靠性；与此同时，该技术也使得输入输出操作能以平衡的方式交叠，大幅提高存储系统的数据吞吐量，有效的提高了系统的访问性能和工作效率。研究表明，本发明方法对物联网中的海量数据的解析、存储和管理是有效的，为进一步对海量数据进行处理分析和信息反馈奠定了良好的基础。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。
Claims (8)
1.一种物联网异构数据存储方法，其特征在于该方法通过HBase分布式存储系统对各种类型的数据进行基于列的存储，并通过MySQL元数据库对存储的数据进行登记管理，最后对数据访问层进行统一配置，使得基于该数据库的应用都能使用统一的数据接口；所述方法包括如下步骤：
(1)系统前端将需要存储的数据送入数据存储系统；
(2)在步骤(1)所述数据存储系统采用HBase技术搭建的异构存储集群中，为不同类型的数据指定存储列簇；
(3)MySQL元数据库对不同类型的存储数据进行进行登记，通过注册服务器向MySQL元数据库中登记数据信息，在将数据存储在步骤(2)中所述数据存储系统前，会对接收的数据标识信息和元数据库中的信息进行验证，没有登记过的实体所发送的数据将直接丢弃；
(4)在数据访问层，对不同格式的数据进行统一解析，不同的数据访问请求会路由到不同的数据库中；
(5)所有的物联网应用均通过步骤(4)所述的统一的数据接口对存储的数据进行访问。
2.根据权利要求1所述的物联网异构数据存储方法，其特征在于，所述方法利用HBase技术搭建起大规模存储集群，采用HBase对列簇处理机制，基于HBase客户端API实现对数据的增删改查。
3.根据权利要求1或2所述的物联网异构数据存储方法，其特征在于，所述方法采用内存映射文件机制，保证大文件的存储和读取，通过内存映射文件保留一个地址空间的区域，同时将物理存储器提交给此区域；使用内存映射文件时，不必再对文件执行I/O操作，所有的文件缓存操作均由系统直接管理。
4.根据权利要求1或2所述的物联网异构数据存储方法，其特征在于，所述元数据信息存储在关系型数据库中，保证数据访问的原子性和一致性。
5.一种实现权利要求1所述方法的物联网异构数据存储系统，其特征在于，所述系统由接口模块、数据存储模块、容量扩展模块、大文件存储模块、冗余存储模块共五个模块组成，其中：
接口模块：该模块对不同格式的数据进行统一解析，接收规定的统一查询和反馈数据类型；
数据存储模块：利用HBase技术搭建起大规模存储集群，将数据存入HBase的指定列簇；
容量扩展模块：同一列簇在同一个表区中存储在同一个文件中；
大文件存储模块：通过内存映射文件保留地址空间的区域，同时将物理存储器提交给此区域；
冗余存储模块：把相同的数据存储在多个硬盘的不同的地方，整体系统的容错建立在每个磁盘驱动器的硬件容错功能之上。
6.根据权利要求5所述的物联网异构数据存储系统，其特征在于，所述接口模块，预定义了统一数据模型，用于访问和管理不同数据格式的数据源，所有不同的数据源都会实现所定义的抽象接口，实现数据提供层与数据访问层之间的松耦合；不同格式的数据，在数据访问层按照统一的标准读取和解析，实现了数据访问接口的统一。
7.根据权利要求5或6所述的物联网异构数据存储系统，其特征在于，所述冗余存储模块把相同的数据存储在多个硬盘的不同的地方，多个硬盘增加了平均故障间隔时间，使整体系统的容错建立在每个磁盘驱动器的硬件容错功能之上；同时，在多个磁盘上同时存储和读取数据，使得输入输出操作能以平衡的方式交叠。
8.根据权利要求5或6所述的物联网异构数据存储系统，其特征在于，所述系统上层应用不受限于下层存储系统的实现，实现系统的解耦。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310198922.3A CN103312791B (zh) | 2013-05-24 | 2013-05-24 | 物联网异构数据存储方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310198922.3A CN103312791B (zh) | 2013-05-24 | 2013-05-24 | 物联网异构数据存储方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103312791A true CN103312791A (zh) | 2013-09-18 |
| CN103312791B CN103312791B (zh) | 2016-02-24 |
Family
ID=49137569
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310198922.3A Expired - Fee Related CN103312791B (zh) | 2013-05-24 | 2013-05-24 | 物联网异构数据存储方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103312791B (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104065741A (zh) * | 2014-07-04 | 2014-09-24 | 用友软件股份有限公司 | 数据采集系统和数据采集方法 |
| CN104750855A (zh) * | 2015-04-16 | 2015-07-01 | 成都睿峰科技有限公司 | 一种大数据存储优化方法和装置 |
| CN104765840A (zh) * | 2015-04-16 | 2015-07-08 | 成都睿峰科技有限公司 | 一种大数据分布式存储的方法和装置 |
| CN104809212A (zh) * | 2015-04-29 | 2015-07-29 | 苏州星熙数据科技有限公司 | 一种基于低延迟的HBase枚举系统设计方法 |
| CN106302829A (zh) * | 2016-10-26 | 2017-01-04 | 腾讯音乐娱乐（深圳）有限公司 | 一种信息访问方法、装置及服务器 |
| CN106776717A (zh) * | 2016-11-16 | 2017-05-31 | 北京集奥聚合科技有限公司 | 一种基于HBase的接口构造方法及系统 |
| CN107018075A (zh) * | 2017-04-06 | 2017-08-04 | 安徽国防科技职业学院 | 一种综合数据处理服务器系统 |
| CN107016056A (zh) * | 2017-03-07 | 2017-08-04 | 西安电子科技大学 | 一种物联网中海量异构传感数据的分布式存储系统和方法 |
| CN108133000A (zh) * | 2017-12-21 | 2018-06-08 | 百度在线网络技术（北京）有限公司 | 一种元数据存储方法、装置和服务器 |
| WO2018205981A1 (zh) * | 2017-05-11 | 2018-11-15 | 新华三大数据技术有限公司 | 元数据管理 |
| CN109067732A (zh) * | 2018-07-26 | 2018-12-21 | 广州大学 | 物联网设备及数据接入系统、方法及计算机可读存储介质 |
| CN110704192A (zh) * | 2019-09-30 | 2020-01-17 | 的卢技术有限公司 | 一种多元化数据云存储方法及系统 |
| CN111277621A (zh) * | 2018-12-05 | 2020-06-12 | 中国移动通信集团河南有限公司 | 一种缓存动态管理方法及系统 |
| US10762072B2 (en) | 2017-01-30 | 2020-09-01 | International Business Machines Corporation | Processing messages of a plurality of devices |
| CN113986873A (zh) * | 2021-09-26 | 2022-01-28 | 夏文祥 | 一种海量物联网数据模型化的处理、存储与共享方法 |
| CN114265823A (zh) * | 2021-12-27 | 2022-04-01 | 众和空间(北京)科技有限责任公司 | 一种基于映射文件的物联网设备可视化集成系统及方法 |
| CN114281787A (zh) * | 2021-12-27 | 2022-04-05 | 众和空间(北京)科技有限责任公司 | 一种基于映射文件的物联网设备集成系统 |
| CN114615306A (zh) * | 2022-05-10 | 2022-06-10 | 中南林业科技大学 | 物联网中汇聚节点的高效文件系统及其处理方法 |
| CN114610721A (zh) * | 2022-03-23 | 2022-06-10 | 北京涵鑫盛科技有限公司 | 一种多层级分布式存储系统及存储方法 |
| WO2023155765A1 (zh) * | 2022-02-16 | 2023-08-24 | 安翰科技(武汉)股份有限公司 | 数据本地存储控制方法及医疗数据存储系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567495A (zh) * | 2011-12-22 | 2012-07-11 | 国网信息通信有限公司 | 一种海量信息存储系统及实现方法 |
| CN102663577A (zh) * | 2012-04-13 | 2012-09-12 | 苏州盛世华安智能科技有限公司 | 一种基于云平台的智慧城市物联系统 |
| CN103020325A (zh) * | 2013-01-17 | 2013-04-03 | 中国科学院计算机网络信息中心 | 基于NoSQL数据库的分布式遥感数据组织查询方法 |
| CN103049556A (zh) * | 2012-12-28 | 2013-04-17 | 中国科学院深圳先进技术研究院 | 一种海量医疗数据的快速统计查询方法 |
-
2013
- 2013-05-24 CN CN201310198922.3A patent/CN103312791B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567495A (zh) * | 2011-12-22 | 2012-07-11 | 国网信息通信有限公司 | 一种海量信息存储系统及实现方法 |
| CN102663577A (zh) * | 2012-04-13 | 2012-09-12 | 苏州盛世华安智能科技有限公司 | 一种基于云平台的智慧城市物联系统 |
| CN103049556A (zh) * | 2012-12-28 | 2013-04-17 | 中国科学院深圳先进技术研究院 | 一种海量医疗数据的快速统计查询方法 |
| CN103020325A (zh) * | 2013-01-17 | 2013-04-03 | 中国科学院计算机网络信息中心 | 基于NoSQL数据库的分布式遥感数据组织查询方法 |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104065741A (zh) * | 2014-07-04 | 2014-09-24 | 用友软件股份有限公司 | 数据采集系统和数据采集方法 |
| CN104065741B (zh) * | 2014-07-04 | 2018-06-19 | 用友网络科技股份有限公司 | 数据采集系统和数据采集方法 |
| CN104750855B (zh) * | 2015-04-16 | 2017-11-24 | 成都睿峰科技有限公司 | 一种大数据存储优化方法和装置 |
| CN104750855A (zh) * | 2015-04-16 | 2015-07-01 | 成都睿峰科技有限公司 | 一种大数据存储优化方法和装置 |
| CN104765840A (zh) * | 2015-04-16 | 2015-07-08 | 成都睿峰科技有限公司 | 一种大数据分布式存储的方法和装置 |
| CN104809212A (zh) * | 2015-04-29 | 2015-07-29 | 苏州星熙数据科技有限公司 | 一种基于低延迟的HBase枚举系统设计方法 |
| CN106302829A (zh) * | 2016-10-26 | 2017-01-04 | 腾讯音乐娱乐（深圳）有限公司 | 一种信息访问方法、装置及服务器 |
| CN106776717A (zh) * | 2016-11-16 | 2017-05-31 | 北京集奥聚合科技有限公司 | 一种基于HBase的接口构造方法及系统 |
| US10762072B2 (en) | 2017-01-30 | 2020-09-01 | International Business Machines Corporation | Processing messages of a plurality of devices |
| CN107016056A (zh) * | 2017-03-07 | 2017-08-04 | 西安电子科技大学 | 一种物联网中海量异构传感数据的分布式存储系统和方法 |
| CN107016056B (zh) * | 2017-03-07 | 2021-01-12 | 西安电子科技大学 | 一种物联网中海量异构传感数据的分布式存储系统和方法 |
| CN107018075A (zh) * | 2017-04-06 | 2017-08-04 | 安徽国防科技职业学院 | 一种综合数据处理服务器系统 |
| WO2018205981A1 (zh) * | 2017-05-11 | 2018-11-15 | 新华三大数据技术有限公司 | 元数据管理 |
| CN108133000A (zh) * | 2017-12-21 | 2018-06-08 | 百度在线网络技术（北京）有限公司 | 一种元数据存储方法、装置和服务器 |
| US11200201B2 (en) | 2017-12-21 | 2021-12-14 | Baidu Online Network Technology (Beijing) Co., Ltd. | Metadata storage method, device and server |
| CN108133000B (zh) * | 2017-12-21 | 2021-05-04 | 百度在线网络技术（北京）有限公司 | 一种元数据存储方法、装置和服务器 |
| CN109067732A (zh) * | 2018-07-26 | 2018-12-21 | 广州大学 | 物联网设备及数据接入系统、方法及计算机可读存储介质 |
| CN109067732B (zh) * | 2018-07-26 | 2021-04-20 | 广州大学 | 物联网设备及数据接入系统、方法及计算机可读存储介质 |
| CN111277621A (zh) * | 2018-12-05 | 2020-06-12 | 中国移动通信集团河南有限公司 | 一种缓存动态管理方法及系统 |
| CN110704192A (zh) * | 2019-09-30 | 2020-01-17 | 的卢技术有限公司 | 一种多元化数据云存储方法及系统 |
| CN113986873A (zh) * | 2021-09-26 | 2022-01-28 | 夏文祥 | 一种海量物联网数据模型化的处理、存储与共享方法 |
| CN113986873B (zh) * | 2021-09-26 | 2024-04-26 | 中国人民解放军国防大学军事管理学院 | 一种海量物联网数据模型化的处理、存储与共享方法 |
| CN114265823A (zh) * | 2021-12-27 | 2022-04-01 | 众和空间(北京)科技有限责任公司 | 一种基于映射文件的物联网设备可视化集成系统及方法 |
| CN114281787A (zh) * | 2021-12-27 | 2022-04-05 | 众和空间(北京)科技有限责任公司 | 一种基于映射文件的物联网设备集成系统 |
| CN114281787B (zh) * | 2021-12-27 | 2022-07-26 | 众和空间(北京)科技有限责任公司 | 一种基于映射文件的物联网设备集成系统 |
| WO2023155765A1 (zh) * | 2022-02-16 | 2023-08-24 | 安翰科技(武汉)股份有限公司 | 数据本地存储控制方法及医疗数据存储系统 |
| CN114610721A (zh) * | 2022-03-23 | 2022-06-10 | 北京涵鑫盛科技有限公司 | 一种多层级分布式存储系统及存储方法 |
| CN114615306A (zh) * | 2022-05-10 | 2022-06-10 | 中南林业科技大学 | 物联网中汇聚节点的高效文件系统及其处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103312791B (zh) | 2016-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103312791B (zh) | 物联网异构数据存储方法及系统 | |
| AU2017218964B2 (en) | Cloud-based distributed persistence and cache data model | |
| CN103116661B (zh) | 一种数据库的数据处理方法 | |
| Nayak et al. | Type of NOSQL databases and its comparison with relational databases | |
| Kraska | Finding the needle in the big data systems haystack | |
| Padhy et al. | RDBMS to NoSQL: reviewing some next-generation non-relational database’s | |
| CN102663117B (zh) | 面向数据库与Hadoop混合平台的OLAP查询处理方法 | |
| Lakshman et al. | Cassandra: a decentralized structured storage system | |
| CN102855239B (zh) | 一种分布式地理文件系统 | |
| CN102833580B (zh) | 基于infiniband的高清视频应用系统及方法 | |
| CN102855284A (zh) | 一种集群存储系统的数据管理方法及系统 | |
| CN105354250A (zh) | 一种面向云存储的数据存储方法及装置 | |
| CN102937964B (zh) | 基于分布式系统的智能数据服务方法 | |
| CN103595799A (zh) | 一种实现分布式共享数据库的方法 | |
| CN105069151A (zh) | HBase二级索引构建装置和方法 | |
| CN102693312B (zh) | 一种键值库数据存储中柔性事务管理方法 | |
| Huang et al. | Non-structure data storage technology: a discussion | |
| CN103853612A (zh) | 一种基于分布式存储下的数字家庭内容读数据的方法 | |
| CN110362590A (zh) | 数据管理方法、装置、系统、电子设备及计算机可读介质 | |
| CN114925075B (zh) | 一种多源时空监测信息实时动态融合方法 | |
| Ye | Research on the key technology of big data service in university library | |
| Marcu et al. | Storage and Ingestion Systems in Support of Stream Processing: A Survey | |
| Jónsson et al. | Data Storage and Management for Big Multimedia | |
| Wang et al. | An Efficient Big Data Storage Service Architecture | |
| Malarvannan et al. | Rapid scalability of complex and dynamic web-based systems: Challenges and recent approaches to mitigation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| ASS | Succession or assignment of patent right |
Owner name: SHANGHAI HEWU INFORMATION TECHNOLOGY CO., LTD. Free format text: FORMER OWNER: SHANGHAI HEWU NEW MATERIAL TECHNOLOGY CO., LTD. Effective date: 20150706 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20150706 Address after: 200240 Shanghai city Minhang District Jianchuan road 953 Lane 322 building Applicant after: Shanghai Hewu Information Technology Co.,Ltd. Address before: No. 955 Cangyuan science and Technology Park, 200240 Shanghai city Minhang District Jianchuan Road Building 9 floor, I enjoy my home Applicant before: SHANGHAI HIWAVE COMPOSITE MATERIALS Co.,Ltd. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20161128 Address after: 200240 Shanghai city Minhang District Jianchuan road 953 Lane 322 building Patentee after: SHANGHAI HIWAVE NETWORK SYSTEM CO.,LTD. Address before: Minhang District city Shanghai city Shanghai Jianchuan road 200240 Lane 953 No. 322 floor Patentee before: Shanghai Hewu Information Technology Co.,Ltd. |
|
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160224 |