CN105975213A - 一种高效的大规模数据存储装置 - Google Patents

一种高效的大规模数据存储装置 Download PDF

Info

Publication number
CN105975213A
CN105975213A CN201610326732.9A CN201610326732A CN105975213A CN 105975213 A CN105975213 A CN 105975213A CN 201610326732 A CN201610326732 A CN 201610326732A CN 105975213 A CN105975213 A CN 105975213A
Authority
CN
China
Prior art keywords
module
data
electrically connected
storage processing
processing module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610326732.9A
Other languages
English (en)
Inventor
赖真霖
文君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sixiang Lianchuang Technology Co Ltd
Original Assignee
Chengdu Sixiang Lianchuang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sixiang Lianchuang Technology Co Ltd filed Critical Chengdu Sixiang Lianchuang Technology Co Ltd
Priority to CN201610326732.9A priority Critical patent/CN105975213A/zh
Publication of CN105975213A publication Critical patent/CN105975213A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0626—Reducing size or complexity of storage systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种高效的大规模数据存储装置，包括数据存储模块、存储处理模块、同类数据存储模块和索引存储模块，所述数据存储模块与存储处理模块电性连接，所述存储处理模块与内存模块电性连接，所述存储处理模块与索引存储模块电性连接，所述更新模块输出端与存储处理模块输入端电性连接，所述数据删除模块输出端与存储处理模块输入端电性连接。本发明，通过数据存储模块、存储处理模块、同类数据存储模块和索引存储模块可对同类数据进行分类存储，便于查找，适合大规模数据存储，且整体结构简单、易于推广使用。

Description

一种高效的大规模数据存储装置
技术领域
本发明涉及数据存储设备技术领域，具体为一种高效的大规模数据存储装置。
背景技术
目前，数据存取，是无线互联网领域应用服务程序最常见的任务和功能之一，由于数据信息千差万别，需要在同一存储空间中存储的同一类型的信息，其大小也千差万别。因此需要在数据存储效率与磁盘空间利用最大化之间不断的平衡，以找到一个最优的解决方案。现有方案一：数据库，数据库技术是一种较为成熟的数据存储技术，形成了一套完整的体系和规范。其缺陷是：大规模数据读写反映较慢，数据源单一高并发访问处理性能较差。现有方案二：顺序存储，将数据按照先后顺序直接写入存储空间中，该方式虽然没有其他资源的消耗，只是简单地将数据写入存储空间中。其缺陷是：1.如果要读取某一块数据，需要从头开始判断其存储的位置以及数据的长度；2.在修改中间一段数据时，其后的数据只能整体向后移动，才能保证数据不被覆盖；3.在删除中间一段数据时，或其后的数据向前移动效率较慢，或保持空置造成浪费，无法高效的完成数据操作。现有方案三：定长随机存储，将存储空间分成若干等长的区块，每一条数据分配一个区块进行存储，解决了顺序读写文件查找和修改效率较低的问题。但其缺陷是：1.存储数据的大小有限，只有小于区块大小的一条数据才能写入，否则会造成数据的覆盖或溢出；2.由于区块大小固定，但存入 的数据大小不等，会造成文件中大量存储空间的浪费。可见，现有的数据存取技术的存储空间利用率仍有待提高。
发明内容
本发明的目的在于提供一种高效的大规模数据存储装置，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种高效的大规模数据存储装置，包括数据存储模块、存储处理模块、同类数据存储模块、更新模块、数据删除模块和索引存储模块，所述数据存储模块与存储处理模块电性连接，所述存储处理模块与内存模块电性连接，所述存储处理模块与索引存储模块电性连接，所述更新模块输出端与存储处理模块输入端电性连接，所述数据删除模块输出端与存储处理模块输入端电性连接。
优选的，所述存储处理模块包括数据采集模块、数据读取模块和数据分类模块，所述数据采集模块输出端与数据读取模块输入端电性连接，所述数据读取模块输出端与数据分类模块输入端电性连接。
优选的，所述内存模块包括同类数据存储模块。
与现有技术相比，本发明的有益效果是：本发明通过数据存储模块、存储处理模块、同类数据存储模块和索引存储模块可对同类数据进行分类存储，便于查找，适合大规模数据存储，且整体结构简单、易于推广使用。
附图说明
图1为本发明的原理示意图；
图中：1-数据存储模块；2-存储处理模块；201-数据采集模块；202-数据读取模块；203-数据分类模块；3-内存模块；301-同类数据存储模块；4-索引存储模块；5-更新模块；6-数据删除模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供的一种实施例：一种高效的大规模数据存储装置，包括数据存储模块1、存储处理模块2、同类数据存储模块301、更新模块5、数据删除模块6和索引存储模块4，数据存储模块1与存储处理模块2电性连接，存储处理模块2与内存模块3电性连接，存储处理模块2与索引存储模块4电性连接，更新模块5输出端与存储处理模块2输入端电性连接，数据删除模块6输出端与存储处理模块2输入端电性连接，存储处理模块2包括数据采集模块201、数据读取模块202和数据分类模块203，数据采集模块201输出端与数据读取模块202输入端电性连接，数据读取模块202输出端与数据分类模块203输入端电性连接，内存模块3包括同类数据存储模块301。
具体使用方式：本发明工作中，数据存储模块1经过存储处理模块2处理后，直接存入内存模块3，且存储处理模块2内部设置数据 采集模块201、数据读取模块202和数据分类模块203，经处理后，分类存储在内存模块3的同类数据存储模块301内部。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (3)

1.一种高效的大规模数据存储装置，包括数据存储模块(1)、存储处理模块(2)、同类数据存储模块(301)、更新模块(5)、数据删除模块(6)和索引存储模块(4)，所述数据存储模块(1)与存储处理模块(2)电性连接，所述存储处理模块(2)与内存模块(3)电性连接，所述存储处理模块(2)与索引存储模块(4)电性连接，所述更新模块(5)输出端与存储处理模块(2)输入端电性连接，所述数据删除模块(6)输出端与存储处理模块(2)输入端电性连接。
2.根据权利要求1所述的一种高效的大规模数据存储装置，其特征在于：所述存储处理模块(2)包括数据采集模块(201)、数据读取模块(202)和数据分类模块(203)，所述数据采集模块(201)输出端与数据读取模块(202)输入端电性连接，所述数据读取模块(202)输出端与数据分类模块(203)输入端电性连接。
3.根据权利要求1所述的一种高效的大规模数据存储装置，其特征在于：所述内存模块(3)包括同类数据存储模块(301)。
CN201610326732.9A 2016-05-17 2016-05-17 一种高效的大规模数据存储装置 Pending CN105975213A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610326732.9A CN105975213A (zh) 2016-05-17 2016-05-17 一种高效的大规模数据存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610326732.9A CN105975213A (zh) 2016-05-17 2016-05-17 一种高效的大规模数据存储装置

Publications (1)

Publication Number Publication Date
CN105975213A true CN105975213A (zh) 2016-09-28

Family

ID=56955712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610326732.9A Pending CN105975213A (zh) 2016-05-17 2016-05-17 一种高效的大规模数据存储装置

Country Status (1)

Country Link
CN (1) CN105975213A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673308A (zh) * 2009-10-21 2010-03-17 上海天卷信息技术有限公司 搜索展示系统
CN102222099A (zh) * 2011-06-21 2011-10-19 中兴通讯股份有限公司 一种数据存储、查找方法及装置
CN102841860A (zh) * 2012-08-17 2012-12-26 珠海世纪鼎利通信科技股份有限公司 一种大数据量信息存储与访问方法
CN105574124A (zh) * 2015-12-11 2016-05-11 芜湖乐锐思信息咨询有限公司 一种基于产品信息的数据存储系统
CN205983437U (zh) * 2016-05-17 2017-02-22 成都四象联创科技有限公司 一种高效的大规模数据存储装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673308A (zh) * 2009-10-21 2010-03-17 上海天卷信息技术有限公司 搜索展示系统
CN102222099A (zh) * 2011-06-21 2011-10-19 中兴通讯股份有限公司 一种数据存储、查找方法及装置
CN102841860A (zh) * 2012-08-17 2012-12-26 珠海世纪鼎利通信科技股份有限公司 一种大数据量信息存储与访问方法
CN105574124A (zh) * 2015-12-11 2016-05-11 芜湖乐锐思信息咨询有限公司 一种基于产品信息的数据存储系统
CN205983437U (zh) * 2016-05-17 2017-02-22 成都四象联创科技有限公司 一种高效的大规模数据存储装置

Similar Documents

Publication Publication Date Title
CN105159915B (zh) 可动态适应的lsm树合并方法及系统
CN103488709B (zh) 一种索引建立方法及系统、检索方法及系统
CN102725752B (zh) 处理脏数据的方法及装置
CN103164490A (zh) 一种不固定长度数据的高效存储实现方法和装置
CN102073697A (zh) 一种数据处理方法及装置
CN102682108B (zh) 一种行列混合的数据库存储方法
CN102890722A (zh) 应用于时序历史数据库的索引方法
CN103019971A (zh) 快速响应trim命令的方法、SSD控制器及系统
JP2014071905A (ja) コンピュータシステム及びコンピュータシステムのデータ管理方法
CN102541757A (zh) 写缓存方法、缓存同步方法和装置
CN101576890A (zh) 一种新型碎片整理方法和系统
CN103914483A (zh) 文件存储方法、装置及文件读取方法、装置
CN103645984B (zh) 日志处理方法及装置
WO2016070529A1 (zh) 一种实现重复数据删除的方法及装置
CN106469123A (zh) 一种基于nvdimm的写缓存分配、释放方法及其装置
CN112882663B (zh) 一种随机写的方法、电子设备及存储介质
CN107817945A (zh) 一种混合内存结构的数据读取方法和系统
CN104182436A (zh) 一种清理数据库的方法及装置
CN103984528A (zh) 基于飞腾处理器平台的多线程并发数据压缩方法
CN113377579A (zh) 一种基于映射表的固态硬盘数据恢复方法和系统
CN105610899A (zh) 一种文本文件并行上传方法及装置
CN103744952A (zh) NoSQL数据库多表特性的实现方法及系统
CN102567442A (zh) 一种分布式文件系统中元数据磁盘同步的方法
CN102520885B (zh) 一种混合硬盘的数据管理系统
CN104050057A (zh) 一种历史感知的数据去重碎片消除方法与系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160928

WD01 Invention patent application deemed withdrawn after publication