CN109284290B - 一种基于分布式储存空间的数据读取方法 - Google Patents

一种基于分布式储存空间的数据读取方法 Download PDF

Info

Publication number
CN109284290B
CN109284290B CN201811100112.9A CN201811100112A CN109284290B CN 109284290 B CN109284290 B CN 109284290B CN 201811100112 A CN201811100112 A CN 201811100112A CN 109284290 B CN109284290 B CN 109284290B
Authority
CN
China
Prior art keywords
storage bin
data
storage space
storage
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811100112.9A
Other languages
English (en)
Other versions
CN109284290A (zh
Inventor
张彩霞
郭静
王向东
王新东
胡绍林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Southern Power Grid Internet Service Co ltd
Ourchem Information Consulting Co ltd
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN201811100112.9A priority Critical patent/CN109284290B/zh
Publication of CN109284290A publication Critical patent/CN109284290A/zh
Application granted granted Critical
Publication of CN109284290B publication Critical patent/CN109284290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于分布式储存空间的数据读取方法，包括：步骤1、获取用户输入的标记符和分布式储存空间地址；步骤2、根据所述地址找到设有第一储存仓、第二储存仓和第三储存仓的分布式储存空间；步骤3、根据所述标记符与第一储存仓存放的标记符进行匹配；步骤4、从匹配正确的分布式储存空间中找到第二储存仓和第三储存仓；步骤5、从所述第三储存仓中下载映射表；步骤6、根据所述映射表得到存放地址与组数据编号的映射关系；步骤7、根据所述映射关系，以组数据编号为序，根据对应的存放地址，从所述第二储存仓中下载数据。本发明根据映射表，反向得到组数据，相对于现有的读取方法，更加简单、容易。可用于计算机数据读取领域。

Description

一种基于分布式储存空间的数据读取方法
技术领域
本发明创造涉及数据读取技术领域，特别涉及一种基于分布式储存空间的数据读取方法。
背景技术
随着行业应用系统的发展，各种信息系统应用数据快速增长，企业的信息化建设已逐步进入了大数据时代。
大数据的存储一般会将数据上传至互联网，通过互联网的分布式储存空间对数据进行存储，现有的存储方法一般会直接将大数据存储在分布式储存空间中，容易造成存储混乱，不利于后续整理，同时，由于这种混乱的存储方式，也造成数据读取的困难。
发明内容
本发明的目的是提供一种简单、容易的数据读取方法。
本发明解决其技术问题的解决方案是：一种基于分布式储存空间的数据读取方法，包括：
步骤1、获取用户输入的标记符和分布式储存空间地址；
步骤2、根据所述地址找到设有第一储存仓、第二储存仓和第三储存仓的分布式储存空间；
步骤3、根据所述标记符与第一储存仓存放的标记符进行匹配；
步骤4、从匹配正确的分布式储存空间中找到第二储存仓和第三储存仓；
步骤5、从所述第三储存仓中下载映射表；
步骤6、根据所述映射表得到存放地址与组数据编号的映射关系；
步骤7、根据所述映射关系，以组数据编号为序，根据对应的存放地址，从所述第二储存仓中下载数据。
进一步，所述分布式储存空间包括数据库。
进一步，所述数据库为SQL数据库。
本发明的有益效果是：本发明根据映射表，反向得到组数据，相对于现有的读取方法，更加简单、容易。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单说明。显然，所描述的附图只是本发明的一部分实施例，而不是全部实施例，本领域的技术人员在不付出创造性劳动的前提下，还可以根据这些附图获得其他设计方案和附图。
图1是本发明的数据读取方法的步骤流程图；
图2是分布式储存空间的存储方法的步骤流程图；
图3是在分布式储存空间的存储方法中步骤D1的具体步骤流程图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，文中所提到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。
实施例1，参考图2和图3，在对本发明的读取方法说明之前，需要对分布式储存空间的存储方法进行说明，其中，所述分布式储存空间的存储方法包括：
步骤D1、获取组数据和标记列表；
步骤D2、将获取得到的组数据和标记列表存储在暂存空间中；利用暂存空间作为存储的缓冲。
步骤D3、根据标记列表中的标记符划分出若干个分布式储存空间；
步骤D4、复制标记列表中的标记符；
步骤D5、在所述分布式储存空间中分成三个储存仓，分别为第一储存仓、第二储存仓和第三储存仓；
步骤D6、将复制得到的标记符存储到第一储存仓中；
步骤D7、根据所述第一储存仓中的标记符，从所述暂存空间中寻找具有相同标记符的组数据，将寻找得到的组数据存储到第二储存仓中；
步骤D8、建立存储地址与组数据编号之间的映射关系，并将所述映射关系制成映射表存储在第三储存仓中。
步骤D9、删除所述暂存空间中的组数据和标记列表。
其中，在步骤D1中，所述组数据和标记列表的获取方法具体包括：
步骤D1.1、从工业场景中采集数据，并对采集得到的数据按照采集源头进行分类，分类后的数据记为准类数据；
其中，所述采集源头可以为不同的设备，可以对采集得到的数据按照不同设备进行分类，比如，将从A设备采集的数据为一类，从B设备采集的数据为另一类。
步骤D1.2、设立描述不同采集源头的标记符；例如，从A设备采集的数据，则可设立标记符a，从B设备采集的数据则可设立标记符b。
步骤D1.3、将标记符对应的加载到所述准类数据中，加载标记符后的准类数据记为类数据。
步骤D1.4、将类数据中的标记符分离出来；
步骤D1.5、将类数据按照顺序划分出若干个等数据量大小的子数据；具体的，将类数据按照数据量的大小划分出若干个等数据量大小的子数据，例如类数据的数据量为100KB，那么可以划分出5个子数据，每一个子数据的数据量为20KB。
步骤D1.6、给所述子数据分配描述子数据之间顺序关系的编号；
步骤D1.7、复制两次所述标记符；
步骤D1.8、将所述编号与第一次复制得到的标记符对应地附着在子数据中，附着标记符和编号的子数据记为组数据；
步骤D1.9、将第二次复制得到的标记符汇集在表格文件中，得到标记列表；
步骤D1.10、将所述组数据和标记列表上传至互联网；
步骤D1.11、从互联网中获取得到组数据和标记列表。
本发明的读取方法用于读取上述存储方法存储的组数据，参考图1，一种基于分布式储存空间的数据读取方法，包括：
步骤S1、获取用户输入的标记符和分布式储存空间地址；根据所述标记符可知道用户需要读取的是何种设备的数据，通过分布式储存空间地址可知道用户需要访问的是哪一个分布式存储空间。
步骤S2、根据所述地址找到设有第一储存仓、第二储存仓和第三储存仓的分布式储存空间；
步骤S3、根据所述标记符与第一储存仓存放的标记符进行匹配；通过匹配进一步判断所述分布式储存空间是否是要访问的目标分布式储存空间。
步骤S4、从匹配正确的分布式储存空间中找到第二储存仓和第三储存仓；当确认所述分布式储存空间是需要访问的目标分布式储存空间是，则可找到对应的第二储存仓和第三储存仓。
步骤S5、从所述第三储存仓中下载映射表；
步骤S6、根据所述映射表得到存放地址与组数据编号的映射关系；
步骤S7、根据所述映射关系，以组数据编号为序，根据对应的存放地址，从所述第二储存仓中下载数据。
本发明根据映射表，反向得到组数据，相对于现有的读取方法，更加简单、容易。
作为优化，所述分布式储存空间包括数据库。
作为优化，所述数据库为SQL数据库。
以上对本发明的较佳实施方式进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变型或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。

Claims (3)

1.一种基于分布式储存空间的数据读取方法，其特征在于，包括：
步骤1、获取用户输入的标记符和分布式储存空间地址；
步骤2、根据所述地址找到设有第一储存仓、第二储存仓和第三储存仓的分布式储存空间；
步骤3、根据所述标记符与第一储存仓存放的标记符进行匹配；
步骤4、从匹配正确的分布式储存空间中找到第二储存仓和第三储存仓；
步骤5、从所述第三储存仓中下载映射表；
步骤6、根据所述映射表得到存放地址与组数据编号的映射关系；
步骤7、根据所述映射关系，以组数据编号为序，根据对应的存放地址，从所述第二储存仓中下载数据。
2.根据权利要求1所述的一种基于分布式储存空间的数据读取方法，其特征在于，所述分布式储存空间包括数据库。
3.根据权利要求2所述的一种基于分布式储存空间的数据读取方法，其特征在于，所述数据库为SQL数据库。
CN201811100112.9A 2018-09-20 2018-09-20 一种基于分布式储存空间的数据读取方法 Active CN109284290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811100112.9A CN109284290B (zh) 2018-09-20 2018-09-20 一种基于分布式储存空间的数据读取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811100112.9A CN109284290B (zh) 2018-09-20 2018-09-20 一种基于分布式储存空间的数据读取方法

Publications (2)

Publication Number Publication Date
CN109284290A CN109284290A (zh) 2019-01-29
CN109284290B true CN109284290B (zh) 2022-04-26

Family

ID=65181675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811100112.9A Active CN109284290B (zh) 2018-09-20 2018-09-20 一种基于分布式储存空间的数据读取方法

Country Status (1)

Country Link
CN (1) CN109284290B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101656094A (zh) * 2009-09-25 2010-02-24 杭州华三通信技术有限公司 数据存储方法和存储设备
CN103455631A (zh) * 2013-09-22 2013-12-18 广州中国科学院软件应用技术研究所 一种数据处理方法、装置及系统
CN105678189A (zh) * 2016-01-15 2016-06-15 上海海事大学 加密数据文件存储和检索系统及方法
CN106339415A (zh) * 2016-08-12 2017-01-18 北京奇虎科技有限公司 数据的查询方法、装置及系统
CN106933935A (zh) * 2015-12-31 2017-07-07 北京国双科技有限公司 任务存储方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140032595A1 (en) * 2012-07-25 2014-01-30 Netapp, Inc. Contention-free multi-path data access in distributed compute systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101656094A (zh) * 2009-09-25 2010-02-24 杭州华三通信技术有限公司 数据存储方法和存储设备
CN103455631A (zh) * 2013-09-22 2013-12-18 广州中国科学院软件应用技术研究所 一种数据处理方法、装置及系统
CN106933935A (zh) * 2015-12-31 2017-07-07 北京国双科技有限公司 任务存储方法和装置
CN105678189A (zh) * 2016-01-15 2016-06-15 上海海事大学 加密数据文件存储和检索系统及方法
CN106339415A (zh) * 2016-08-12 2017-01-18 北京奇虎科技有限公司 数据的查询方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CEPH动态元数据管理方法分析与改进;冯幼乐等;《电子技术》;20100925(第09期);1-3 *

Also Published As

Publication number Publication date
CN109284290A (zh) 2019-01-29

Similar Documents

Publication Publication Date Title
US10055509B2 (en) Constructing an in-memory representation of a graph
US20150199433A1 (en) Method and system for search engine indexing and searching using the index
CN108255915B (zh) 一种文件管理方法、装置及机器可读存储介质
CN109284273B (zh) 一种采用后缀数组索引的海量小文件查询方法及系统
CN110109894B (zh) 非关系型数据库的实现方法、装置、存储介质和设备
CN107247791B (zh) 停车场地图数据生成方法、装置和机器可读存储介质
EP2406754A1 (en) Method and system for updating images in an image database
CN109656986A (zh) 一种业务数据汇总的辅助方法、装置及电子设备
CN105468644A (zh) 一种用于在数据库中进行查询的方法与设备
US11531706B2 (en) Graph search using index vertices
CN109284290B (zh) 一种基于分布式储存空间的数据读取方法
CN109189728B (zh) 智能硬件设备、磁盘数据处理方法和存储介质
CN111522820A (zh) 数据存储结构、存储检索方法、系统、设备及存储介质
CN106934066A (zh) 一种元数据处理方法、装置和存储设备
CN110019863B (zh) 一种物体查找方法、装置、终端设备和存储介质
CN109408599B (zh) 一种大数据的分布式存储方法
CN102446186A (zh) 中文地理编码及解码方法和装置
CN105389398A (zh) 照片拍摄、查找方法及装置
CN111143293B (zh) 一种元数据获取方法、装置、设备及计算机可读存储介质
CN114691940A (zh) 索引构建方法、装置、向量搜索方法及检索系统
CN112632266B (zh) 数据写入方法、装置、计算机设备及可读存储介质
CN107861956B (zh) 一种卡口过车数据记录的查询方法及装置
CN109302389B (zh) 一种工业大数据的上传方法
CN110543627A (zh) 一种报表配置信息的存储方法及系统
CN117540056B (zh) 数据查询的方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221214

Address after: Room 606-609, Compound Office Complex Building, No. 757, Dongfeng East Road, Yuexiu District, Guangzhou, Guangdong 510000

Patentee after: China Southern Power Grid Internet Service Co.,Ltd.

Address before: Room 301, No. 235, Kexue Avenue, Huangpu District, Guangzhou, Guangdong 510000

Patentee before: OURCHEM INFORMATION CONSULTING CO.,LTD.

Effective date of registration: 20221214

Address after: Room 301, No. 235, Kexue Avenue, Huangpu District, Guangzhou, Guangdong 510000

Patentee after: OURCHEM INFORMATION CONSULTING CO.,LTD.

Address before: 528000 Foshan Institute of science and technology, Xianxi reservoir West Road, Shishan town, Nanhai District, Foshan City, Guangdong Province

Patentee before: FOSHAN University