CN109284290A - 一种基于分布式储存空间的数据读取方法 - Google Patents
一种基于分布式储存空间的数据读取方法 Download PDFInfo
- Publication number
- CN109284290A CN109284290A CN201811100112.9A CN201811100112A CN109284290A CN 109284290 A CN109284290 A CN 109284290A CN 201811100112 A CN201811100112 A CN 201811100112A CN 109284290 A CN109284290 A CN 109284290A
- Authority
- CN
- China
- Prior art keywords
- storage
- storage space
- data
- storage warehouse
- distributed storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于分布式储存空间的数据读取方法，包括：步骤1、获取用户输入的标记符和分布式储存空间地址；步骤2、根据所述地址找到设有第一储存仓、第二储存仓和第三储存仓的分布式储存空间；步骤3、根据所述标记符与第一储存仓存放的标记符进行匹配；步骤4、从匹配正确的分布式储存空间中找到第二储存仓和第三储存仓；步骤5、从所述第三储存仓中下载映射表；步骤6、根据所述映射表得到存放地址与组数据编号的映射关系；步骤7、根据所述映射关系，以组数据编号为序，根据对应的存放地址，从所述第二储存仓中下载数据。本发明根据映射表，反向得到组数据，相对于现有的读取方法，更加简单、容易。可用于计算机数据读取领域。
Description
技术领域
本发明创造涉及数据读取技术领域，特别涉及一种基于分布式储存空间的数据读取方法。
背景技术
随着行业应用系统的发展，各种信息系统应用数据快速增长，企业的信息化建设已逐步进入了大数据时代。
大数据的存储一般会将数据上传至互联网，通过互联网的分布式储存空间对数据进行存储，现有的存储方法一般会直接将大数据存储在分布式储存空间中，容易造成存储混乱，不利于后续整理，同时，由于这种混乱的存储方式，也造成数据读取的困难。
发明内容
本发明的目的是提供一种简单、容易的数据读取方法。
本发明解决其技术问题的解决方案是：一种基于分布式储存空间的数据读取方法，包括：
步骤1、获取用户输入的标记符和分布式储存空间地址；
步骤2、根据所述地址找到设有第一储存仓、第二储存仓和第三储存仓的分布式储存空间；
步骤3、根据所述标记符与第一储存仓存放的标记符进行匹配；
步骤4、从匹配正确的分布式储存空间中找到第二储存仓和第三储存仓；
步骤5、从所述第三储存仓中下载映射表；
步骤6、根据所述映射表得到存放地址与组数据编号的映射关系；
步骤7、根据所述映射关系，以组数据编号为序，根据对应的存放地址，从所述第二储存仓中下载数据。
进一步，所述分布式储存空间包括数据库。
进一步，所述数据库为SQL数据库。
本发明的有益效果是：本发明根据映射表，反向得到组数据，相对于现有的读取方法，更加简单、容易。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单说明。显然，所描述的附图只是本发明的一部分实施例，而不是全部实施例，本领域的技术人员在不付出创造性劳动的前提下，还可以根据这些附图获得其他设计方案和附图。
图1是本发明的数据读取方法的步骤流程图；
图2是分布式储存空间的存储方法的步骤流程图；
图3是在分布式储存空间的存储方法中步骤D1的具体步骤流程图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，文中所提到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。
实施例1，参考图2和图3，在对本发明的读取方法说明之前，需要对分布式储存空间的存储方法进行说明，其中，所述分布式储存空间的存储方法包括：
步骤D1、获取组数据和标记列表；
步骤D2、将获取得到的组数据和标记列表存储在暂存空间中；利用暂存空间作为存储的缓冲。
步骤D3、根据标记列表中的标记符划分出若干个分布式储存空间；
步骤D4、复制标记列表中的标记符；
步骤D5、在所述分布式储存空间中分成三个储存仓，分别为第一储存仓、第二储存仓和第三储存仓；
步骤D6、将复制得到的标记符存储到第一储存仓中；
步骤D7、根据所述第一储存仓中的标记符，从所述暂存空间中寻找具有相同标记符的组数据，将寻找得到的组数据存储到第二储存仓中；
步骤D8、建立存储地址与组数据编号之间的映射关系，并将所述映射关系制成映射表存储在第三储存仓中。
步骤D9、删除所述暂存空间中的组数据和标记列表。
其中，在步骤D1中，所述组数据和标记列表的获取方法具体包括：
步骤D1.1、从工业场景中采集数据，并对采集得到的数据按照采集源头进行分类，分类后的数据记为准类数据；
其中，所述采集源头可以为不同的设备，可以对采集得到的数据按照不同设备进行分类，比如，将从A设备采集的数据为一类，从B设备采集的数据为另一类。
步骤D1.2、设立描述不同采集源头的标记符；例如，从A设备采集的数据，则可设立标记符a，从B设备采集的数据则可设立标记符b。
步骤D1.3、将标记符对应的加载到所述准类数据中，加载标记符后的准类数据记为类数据。
步骤D1.4、将类数据中的标记符分离出来；
步骤D1.5、将类数据按照顺序划分出若干个等数据量大小的子数据；具体的，将类数据按照数据量的大小划分出若干个等数据量大小的子数据，例如类数据的数据量为100KB，那么可以划分出5个子数据，每一个子数据的数据量为20KB。
步骤D1.6、给所述子数据分配描述子数据之间顺序关系的编号；
步骤D1.7、复制两次所述标记符；
步骤D1.8、将所述编号与第一次复制得到的标记符对应地附着在子数据中，附着标记符和编号的子数据记为组数据；
步骤D1.9、将第二次复制得到的标记符汇集在表格文件中，得到标记列表；
步骤D1.10、将所述组数据和标记列表上传至互联网；
步骤D1.11、从互联网中获取得到组数据和标记列表。
本发明的读取方法用于读取上述存储方法存储的组数据，参考图1，一种基于分布式储存空间的数据读取方法，包括：
步骤S1、获取用户输入的标记符和分布式储存空间地址；根据所述标记符可知道用户需要读取的是何种设备的数据，通过分布式储存空间地址可知道用户需要访问的是哪一个分布式存储空间。
步骤S2、根据所述地址找到设有第一储存仓、第二储存仓和第三储存仓的分布式储存空间；
步骤S3、根据所述标记符与第一储存仓存放的标记符进行匹配；通过匹配进一步判断所述分布式储存空间是否是要访问的目标分布式储存空间。
步骤S4、从匹配正确的分布式储存空间中找到第二储存仓和第三储存仓；当确认所述分布式储存空间是需要访问的目标分布式储存空间是，则可找到对应的第二储存仓和第三储存仓。
步骤S5、从所述第三储存仓中下载映射表；
步骤S6、根据所述映射表得到存放地址与组数据编号的映射关系；
步骤S7、根据所述映射关系，以组数据编号为序，根据对应的存放地址，从所述第二储存仓中下载数据。
本发明根据映射表，反向得到组数据，相对于现有的读取方法，更加简单、容易。
作为优化，所述分布式储存空间包括数据库。
作为优化，所述数据库为SQL数据库。
以上对本发明的较佳实施方式进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变型或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。
Claims (3)
1.一种基于分布式储存空间的数据读取方法，其特征在于，包括：
步骤1、获取用户输入的标记符和分布式储存空间地址；
步骤2、根据所述地址找到设有第一储存仓、第二储存仓和第三储存仓的分布式储存空间；
步骤3、根据所述标记符与第一储存仓存放的标记符进行匹配；
步骤4、从匹配正确的分布式储存空间中找到第二储存仓和第三储存仓；
步骤5、从所述第三储存仓中下载映射表；
步骤6、根据所述映射表得到存放地址与组数据编号的映射关系；
步骤7、根据所述映射关系，以组数据编号为序，根据对应的存放地址，从所述第二储存仓中下载数据。
2.根据权利要求1所述的一种基于分布式储存空间的数据读取方法，其特征在于，所述分布式储存空间包括数据库。
3.根据权利要求2所述的一种基于分布式储存空间的数据读取方法，其特征在于，所述数据库为SQL数据库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811100112.9A CN109284290B (zh) | 2018-09-20 | 2018-09-20 | 一种基于分布式储存空间的数据读取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811100112.9A CN109284290B (zh) | 2018-09-20 | 2018-09-20 | 一种基于分布式储存空间的数据读取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109284290A true CN109284290A (zh) | 2019-01-29 |
| CN109284290B CN109284290B (zh) | 2022-04-26 |
Family
ID=65181675
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811100112.9A Active CN109284290B (zh) | 2018-09-20 | 2018-09-20 | 一种基于分布式储存空间的数据读取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109284290B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101656094A (zh) * | 2009-09-25 | 2010-02-24 | 杭州华三通信技术有限公司 | 数据存储方法和存储设备 |
| CN103455631A (zh) * | 2013-09-22 | 2013-12-18 | 广州中国科学院软件应用技术研究所 | 一种数据处理方法、装置及系统 |
| US20140032595A1 (en) * | 2012-07-25 | 2014-01-30 | Netapp, Inc. | Contention-free multi-path data access in distributed compute systems |
| CN105678189A (zh) * | 2016-01-15 | 2016-06-15 | 上海海事大学 | 加密数据文件存储和检索系统及方法 |
| CN106339415A (zh) * | 2016-08-12 | 2017-01-18 | 北京奇虎科技有限公司 | 数据的查询方法、装置及系统 |
| CN106933935A (zh) * | 2015-12-31 | 2017-07-07 | 北京国双科技有限公司 | 任务存储方法和装置 |
-
2018
- 2018-09-20 CN CN201811100112.9A patent/CN109284290B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101656094A (zh) * | 2009-09-25 | 2010-02-24 | 杭州华三通信技术有限公司 | 数据存储方法和存储设备 |
| US20140032595A1 (en) * | 2012-07-25 | 2014-01-30 | Netapp, Inc. | Contention-free multi-path data access in distributed compute systems |
| CN103455631A (zh) * | 2013-09-22 | 2013-12-18 | 广州中国科学院软件应用技术研究所 | 一种数据处理方法、装置及系统 |
| CN106933935A (zh) * | 2015-12-31 | 2017-07-07 | 北京国双科技有限公司 | 任务存储方法和装置 |
| CN105678189A (zh) * | 2016-01-15 | 2016-06-15 | 上海海事大学 | 加密数据文件存储和检索系统及方法 |
| CN106339415A (zh) * | 2016-08-12 | 2017-01-18 | 北京奇虎科技有限公司 | 数据的查询方法、装置及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 冯幼乐等: "CEPH动态元数据管理方法分析与改进", 《电子技术》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109284290B (zh) | 2022-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100468402C (zh) | 一种数据存储及查询方法 | |
| CN103390258B (zh) | 基于信息码的实验室物品信息管理系统 | |
| CN107911461B (zh) | 云存储系统中的对象处理方法、存储服务器及云存储系统 | |
| CN105630938A (zh) | 一种智能问答系统 | |
| CN103678556A (zh) | 列式数据库处理的方法和处理设备 | |
| CN103176989B (zh) | 基于数据字典和可变规则的数据库表级比较方法和系统 | |
| CN103902701A (zh) | 一种数据存储系统和存储方法 | |
| CN104090922B (zh) | 一种清理隐私数据的方法和装置 | |
| CN103049473A (zh) | 一种数据查询方法及装置 | |
| CN106021523A (zh) | 基于json的数据仓库存储及查询方法 | |
| US9971793B2 (en) | Database management system and database management method | |
| CN108021333A (zh) | 随机读写数据的系统、装置及方法 | |
| CN109815240A (zh) | 用于管理索引的方法、装置、设备和存储介质 | |
| US20120150864A1 (en) | Text indexing for updateable tokenized text | |
| CN105138649A (zh) | 数据的搜索方法、装置及终端 | |
| CN104808995B (zh) | 一种用于跨应用收藏应用内容的方法和装置 | |
| CN109062970A (zh) | 用户画像的生成方法、生成设备及计算机可读存储介质 | |
| US20120109638A1 (en) | Electronic device and method for extracting component names using the same | |
| CN109284290A (zh) | 一种基于分布式储存空间的数据读取方法 | |
| US11422998B2 (en) | Data management system, data management device, data management method, and storage medium | |
| CN105677843B (zh) | 一种自动获取宗地四至属性的方法 | |
| CN113821508B (zh) | 一种数组索引的实现方法和系统 | |
| CN108256064B (zh) | 一种数据搜索方法和装置 | |
| CN105657521A (zh) | 一种频道数据存储方法和装置 | |
| CN110119743B (zh) | 一种图片识别方法、服务器及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221214 Address after: Room 606-609, Compound Office Complex Building, No. 757, Dongfeng East Road, Yuexiu District, Guangzhou, Guangdong 510000 Patentee after: China Southern Power Grid Internet Service Co.,Ltd. Address before: Room 301, No. 235, Kexue Avenue, Huangpu District, Guangzhou, Guangdong 510000 Patentee before: OURCHEM INFORMATION CONSULTING CO.,LTD. Effective date of registration: 20221214 Address after: Room 301, No. 235, Kexue Avenue, Huangpu District, Guangzhou, Guangdong 510000 Patentee after: OURCHEM INFORMATION CONSULTING CO.,LTD. Address before: 528000 Foshan Institute of science and technology, Xianxi reservoir West Road, Shishan town, Nanhai District, Foshan City, Guangdong Province Patentee before: FOSHAN University |