CN109388611A - 一种基于统一接口的大数据策略化储存系统 - Google Patents
一种基于统一接口的大数据策略化储存系统 Download PDFInfo
- Publication number
- CN109388611A CN109388611A CN201811028244.5A CN201811028244A CN109388611A CN 109388611 A CN109388611 A CN 109388611A CN 201811028244 A CN201811028244 A CN 201811028244A CN 109388611 A CN109388611 A CN 109388611A
- Authority
- CN
- China
- Prior art keywords
- module
- configuration
- service module
- store
- tenant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于统一接口的大数据策略化储存系统及方法，包括系统配置模块、储存服务模块和访问服务模块；访问服务模块与所述储存模块通信连接用以将所需储存的大数据文件传输至储存服务模块中且所述访问服务模块具有统一的访问接口；系统配置模块与所述储存服务模块通信连接。本发明提供的方法通过将不同的用户租户化，不同的数据类型对象化，不同文件系统的数据访问接口统一化，不同对象的存储策略化，使得用户不再关心各文件系统的数据访问细节，也不需要人工制定存储策略，并且将数据统一存储和管理起来，大幅降低了学习成本，提高了数据的易用性。
Description
技术领域
本发明属于数据储存的技术领域，具体涉及一种基于统一接口的大数据策略化储存系统。
背景技术
用户需要根据数据类型的不同，人工制定存储策略，调用不同存储文件系统的数据访问接口，实现数据的存储。存储到各文件系统中的数据，没有有效地分类实现数据的高效和分类存储。随着大数据时代数据类型的多样化，用户需要花费大量的精力和时间在人工制定存储策略和熟悉不同存储文件系统的数据访问接口上，造成大数据存储的学习成本极高；同时由于存储在不同文件系统中的数据没有有效分类和统一管理，造成大数据存储后续的检索应用成本极高。
发明内容
本发明的目的在于：解决上述现有技术中的不足，提供一种基于统一接口的大数据策略化储存系统。
为了实现上述目的，本发明采用的技术方案为：提供一种基于统一接口的大数据策略化储存系统，包括系统配置模块、储存服务模块和访问服务模块；
所述访问服务模块与所述储存模块通信连接用以将所需储存的大数据文件传输至储存服务模块中且所述访问服务模块具有统一的访问接口；
所述系统配置模块与所述储存模块通信连接，所述系统配置模块包括对象配置模块、储存服务配置模块和策略配置模块；
其中，所述对象配置模块用于将所需储存的大数据文件对象化，并配置对象名称和对象自定义属性，将对象名称和自定义属性保存到配置数据库中；
所述储存服务配置模块用于配置储存服务的名称、IP、端口和文件系统类型并保存到配置数据库中；
所述策略配置模块用于预设定一种储存策略，并且配置储存策略的名称、储存策略关联的对象和储存策略关联的文件系统以将上述三者保存到配置数据库中。
进一步的，所述系统配置模块还包括租户配置模块，所述租户配置模块用于将访问访问服务模块的用于定义为租户，并配置租户的名称、租户访问资源路径和租户访问权限以将上述三者保存到配置数据库中。
进一步地，所述访问服务模块通过协调服务模块与所述储存服务模块通信连接，所述系统配置模块通过协调服务模块与所述储存服务模块通信连接。
本发明还提供了一种应用于基于统一接口的大数据策略化储存系统的基于统一接口的大数据策略化储存方法，其包括以下步骤：
S1，系统配置模块中的对象配置模块将所需储存的大数据文件对象化处理，配置对象名称和自定义属性，随后将对象名称和自定义属性保存到配置数据库中；系统配置模块中的储存服务配置模块对储存服务的名称、端口和文件系统类型进行配置并保存到配置数据库中；系统配置模块中的策略配置模块将预设定一种储存策略，并配置储存策略的名称、储存策略关联的对象和储存策略关联的文件系统，随后将上述三者保存到配置数据库中；
S2，储存服务模块从配置数据库读取系统配置模块中的配置信息；
S3，用户将所需储存的大数据文件由访问服务模块的统一访问接口接入到访问服务模块中，访问服务模块提取大数据文件中的对象自定义属性和对象名称等参数；
S4，访问服务模块将所需储存的大数据文件的对象名称和对象自定义属性等参数发送至储存服务模块中；
S5，储存服务模块将所需储存的大数据文件的对象名称与储存服务模块中的配置信息比对，若储存服务模块中存在所需储存的大数据文件的对象名称则储存服务模块同意该大数据文件写入；反之，则拒绝该大数据文件写入；
S6，储存模块通过其配置信息与所需储存的大数据文件的对象名称和对象自定义属性进行比对后查找储存模块中与该大数据文件的对象名称和对象自定义属性符合的储存策略，大数据文件储存到符合策略中对应的文件系统中。
进一步的，所述S1还包括一个步骤：租户配置模块将访问访问服务模块的用户定义为租户，并配置租户的名称、租户访问资源路径和租户访问权限，随后将上述三者保存到配置数据库中，最后储存服务模块读取配置数据库中的配置信息。
进一步的，所述S1和S2之间还包括一个步骤：配置数据库的配置信息更新后协调服务模块会接收到更新的信息并通知储存服务模块读取最新的配置信息。
进一步的，所述S3和S4之间还包括一个步骤：访问服务模块向协调服务模块发起储存服务模块地址请求，协调服务返回储存服务地址给访问服务模块。
进一步的，所述S4中访问服务模块还将提取用户的租户名称、租户访问资源路径和资源访问权限；所述S5中储存服务模块会对租户的名称、租户访问资源路径和租户访问权限进行比对，若储存服务模块读取的配置库数据中含有对应的租户名称，并且租户访问资源路径和租户访问权限对应则租户验证通过。
由于采用了上述技术方案，本发明的有益效果是：
本发明提供的方法通过将不同的用户租户化，不同的数据类型对象化，不同文件系统的数据访问接口统一化，不同对象的存储策略化，使得用户不再关心各文件系统的数据访问细节，也不需要人工制定存储策略，并且将数据统一存储和管理起来，大幅降低了学习成本，提高了数据的易用性。
附图说明
图1为本发明的框架图；
图2为本发明的流程示意图；
图3为本发明租户配置模块的示意图；
图4为本发明的对象配置模块示意图；
图5为本发明的储存池模块示意图；
图6为本发明策略配置模块的示意图。
具体实施方式
参照附图，对本发明的实施方式做具体的说明。
本发明提供了首先提供了一种基于统一接口的大数据策略化储存系统，如图1-6所示，包括系统配置模块、储存服务模块和访问服务模块；
所述访问服务模块与所述储存模块通信连接用以将所需储存的大数据文件传输至储存服务模块中且所述访问服务模块具有统一的访问接口；
所述系统配置模块与所述储存模块通信连接，所述系统配置模块包括对象配置模块、储存服务配置模块和策略配置模块；
其中，所述对象配置模块用于将所需储存的大数据文件对象化，并配置对象名称和对象自定义属性，将对象名称和自定义属性保存到配置数据库中；对象是待存储数据的逻辑分类，通过建立不同的对象和描述对象的自定义属性，映射不同的待存储数据，实现数据的对象化管理。
所述储存服务配置模块用于配置储存服务的名称、IP、端口和文件系统类型并保存到配置数据库中；储存服务配置模块在储存服务模块中定义出储存池的概念，并且配置储存池的名称、IP、端口和文件系统类型。
所述策略配置模块用于预设定一种储存策略，并且配置储存策略的名称、储存策略关联的对象和储存策略关联的文件系统以将上述三者保存到配置数据库中。
优选地，所述系统配置模块还包括租户配置模块，所述租户配置模块用于将访问访问服务模块的用户定义为租户，并配置租户的名称、租户访问资源路径和租户访问权限以将上述三者保存到配置数据库中。
优选地，所述访问服务模块通过协调服务模块与所述储存服务模块通信连接，所述系统配置模块通过协调服务模块与所述储存服务模块通信连接。
本发明还提供了一种基于统一接口的大数据策略储存方法，其包括以下步骤：
S1，系统配置模块中的对象配置模块将所需储存的大数据文件对象化处理，配置对象名称和自定义属性，随后将对象名称和自定义属性保存到配置数据库中；系统配置模块中的储存服务配置模块对储存服务的名称、端口和文件系统类型进行配置并保存到配置数据库中；系统配置模块中的策略配置模块将预设定一种储存策略，并配置储存策略的名称、储存策略关联的对象和储存策略关联的文件系统，随后将上述三者保存到配置数据库中，储存策略是基于对象和存储池中的文件系统建立的存储规则，符合规则的对象化数据将自动存储在特定的文件系统中；租户配置模块将访问访问服务模块的用户定义为租户，并配置租户的名称、租户访问资源路径和租户访问权限，随后将上述三者保存到配置数据库中。举例来说，新增策略为“小图片存储策略”，关联的对象为“监控图片”，该对象的自定义属性为“Size”(大小)，关联的文件系统为“T001存储”(某FastDFS文件系统)。规则为为Size<10MB的“监控图片”对象存储在“T001存储”文件系统中，则用户在写入大小小于10MB的文件，并且该文件对象化为“监控图片”对象时，系统会自动将文件存储到“T001存储”文件系统中。
S2，协调服务模块检测到配置数据库中的配置信息更新后协调服务模块会接收到更新的信息并通知储存服务模块读取最新的配置信息。当重新配置对象、策略、储存服务和租户的信息后协调服务模块能够监测到配置信息的更新，协调服务模块能够通知储存服务模块从配置数据库中读取最新的配置信息。
S3，储存服务模块从配置数据库读取配置信息。
S3，用户将所需储存的大数据文件由访问服务模块的统一访问接口接入到访问服务模块中，访问服务模块提取大数据文件中对象的自定义属性和对象名称，同时还会提取用户的租户信息和租户的虚拟路径；
S4，访问服务模块将所需储存的大数据文件的对象名称和对象自定义属性等参数发送至储存服务模块中。
S5，储存服务模块将所需储存的大数据文件的对象名称与储存服务模块中的配置信息比对，若储存服务模块中存在所需储存的大数据文件的对象名称则储存服务模块同意该大数据文件写入；反之，则拒绝该大数据文件写入。
S6，储存模块通过其配置信息与所需储存的大数据文件的对象名称和对象自定义属性进行比对后查找储存模块中与该大数据文件的对象名称和对象自定义属性符合的储存策略，大数据文件储存到符合策略中对应的文件系统中。
Claims (8)
1.一种基于统一接口的大数据策略化储存系统，其特征在于，包括：系统配置模块、储存服务模块和访问服务模块；
所述访问服务模块与所述储存模块通信连接用以将所需储存的大数据文件传输至储存服务模块中且所述访问服务模块具有统一的访问接口；
所述系统配置模块与所述储存服务模块通信连接，所述系统配置模块包括对象配置模块、储存服务配置模块和策略配置模块；
其中，所述对象配置模块用于将所需储存的大数据文件对象化，并配置对象名称和对象自定义属性，将对象名称和自定义属性保存到配置数据库中；
所述储存服务配置模块用于配置储存服务的名称、IP、端口和文件系统类型并保存到配置数据库中；
所述策略配置模块用于预设定一种储存策略，并且配置储存策略的名称、储存策略关联的对象和储存策略关联的文件系统以将上述三者保存到配置数据库中。
2.根据权利要求1所述的基于统一接口的大数据策略化储存系统，其特征在于：所述系统配置模块还包括租户配置模块，所述租户配置模块用于将访问访问服务模块的用户定义为租户，并配置租户的名称、租户访问资源路径和租户访问权限以将上述三者保存到配置数据库中。
3.根据权利要求1所述的基于统一接口的大数据策略化储存系统，其特征在于：所述访问服务模块通过协调服务模块与所述储存服务模块通信连接，所述系统配置模块通过协调服务模块与所述储存服务模块通信连接。
4.一种基于统一接口的大数据策略化储存方法，应用于如权利要求1-3任意一项所述的一种基于统一接口的大数据策略发储存系统，其特征在于：包括以下步骤，
S1，系统配置模块中的对象配置模块将所需储存的大数据文件对象化处理，配置对象名称和自定义属性，随后将对象名称和自定义属性保存到配置数据库中；系统配置模块中的储存服务配置模块对储存服务的名称、端口和文件系统类型进行配置并保存到配置数据库中；系统配置模块中的策略配置模块将预设定一种储存策略，并配置储存策略的名称、储存策略关联的对象和储存策略关联的文件系统，随后将上述三者保存到配置数据库中；
S2，储存服务模块从配置数据库读取系统配置模块中的配置信息；
S3，用户将所需储存的大数据文件由访问服务模块的统一访问接口接入到访问服务模块中，访问服务模块提取大数据文件中的对象自定义属性和对象名称等参数；
S4，访问服务模块将所需储存的大数据文件的对象名称和对象自定义属性等参数发送至储存服务模块中；
S5，储存服务模块将所需储存的大数据文件的对象名称与储存服务模块中的配置信息比对，若储存服务模块中存在所需储存的大数据文件的对象名称则储存服务模块同意该大数据文件写入；反之，则拒绝该大数据文件写入；
S6，储存模块通过其配置信息与所需储存的大数据文件的对象名称和对象自定义属性进行比对后查找储存模块中与该大数据文件的对象名称和对象自定义属性符合的储存策略，大数据文件储存到符合策略中对应的文件系统中。
5.根据权利要求4所述的基于统一接口的大数据策略化储存方法，其特征在于，所述S1还包括一个步骤：租户配置模块将访问访问服务模块的用户定义为租户，并配置租户的名称、租户访问资源路径和租户访问权限，随后将上述三者保存到配置数据库中，最后储存服务模块读取配置数据库中的配置信息。
6.根据权利要求1所述的基于统一接口的大数据策略化储存方法，其特征是，所述S1和S2之间还包括一个步骤：配置数据库的配置信息更新后协调服务模块会接收到更新的信息并通知储存服务模块读取最新的配置信息。
7.根据权利要求1所述的基于统一接口的大数据策略化储存方法，其特征是，所述S3和S4之间还包括一个步骤：访问服务模块向协调服务模块发起储存服务模块地址请求，系诶套服务返回储存服务地址给访问服务模块。
8.根据权利要求4所述的基于统一接口的大数据策略化储存方法，其特征在于：所述S4中访问服务模块还将提取用户的租户名称、租户访问资源路径和资源访问权限；所述S5中储存服务模块会对租户的名称、租户访问资源路径和租户访问权限进行比对，若储存服务模块读取的配置库数据中含有对应的租户名称，并且租户访问资源路径和租户访问权限对应则租户验证通过。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811028244.5A CN109388611B (zh) | 2018-09-04 | 2018-09-04 | 一种基于统一接口的大数据策略化储存系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811028244.5A CN109388611B (zh) | 2018-09-04 | 2018-09-04 | 一种基于统一接口的大数据策略化储存系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109388611A true CN109388611A (zh) | 2019-02-26 |
| CN109388611B CN109388611B (zh) | 2021-09-10 |
Family
ID=65418754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811028244.5A Active CN109388611B (zh) | 2018-09-04 | 2018-09-04 | 一种基于统一接口的大数据策略化储存系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109388611B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112380178A (zh) * | 2020-11-25 | 2021-02-19 | 北京明略软件系统有限公司 | 文件存储与管理方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105959709A (zh) * | 2016-04-26 | 2016-09-21 | 北京数智源科技股份有限公司 | 多媒体视频融合应用云平台 |
| CN106164859A (zh) * | 2014-04-09 | 2016-11-23 | 微软技术许可有限责任公司 | 设备策略管理器 |
| US20170124100A1 (en) * | 2012-12-04 | 2017-05-04 | Pixia Corp. | Method and system of storing data files |
| CN106980672A (zh) * | 2017-03-28 | 2017-07-25 | 中国电子科技集团公司第二十九研究所 | 一种异构环境下面向对象的数据存储系统及方法 |
| CN108304715A (zh) * | 2017-12-28 | 2018-07-20 | 上海你我贷互联网金融信息服务有限公司 | 一种多租户基于策略的访问控制方法 |
| CN108363741A (zh) * | 2018-01-22 | 2018-08-03 | 中国平安人寿保险股份有限公司 | 大数据统一接口方法、装置、设备及存储介质 |
-
2018
- 2018-09-04 CN CN201811028244.5A patent/CN109388611B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170124100A1 (en) * | 2012-12-04 | 2017-05-04 | Pixia Corp. | Method and system of storing data files |
| CN106164859A (zh) * | 2014-04-09 | 2016-11-23 | 微软技术许可有限责任公司 | 设备策略管理器 |
| CN105959709A (zh) * | 2016-04-26 | 2016-09-21 | 北京数智源科技股份有限公司 | 多媒体视频融合应用云平台 |
| CN106980672A (zh) * | 2017-03-28 | 2017-07-25 | 中国电子科技集团公司第二十九研究所 | 一种异构环境下面向对象的数据存储系统及方法 |
| CN108304715A (zh) * | 2017-12-28 | 2018-07-20 | 上海你我贷互联网金融信息服务有限公司 | 一种多租户基于策略的访问控制方法 |
| CN108363741A (zh) * | 2018-01-22 | 2018-08-03 | 中国平安人寿保险股份有限公司 | 大数据统一接口方法、装置、设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112380178A (zh) * | 2020-11-25 | 2021-02-19 | 北京明略软件系统有限公司 | 文件存储与管理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109388611B (zh) | 2021-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109936571B (zh) | 一种海量数据共享方法、开放共享平台及电子设备 | |
| US20180157761A1 (en) | Accessing databases | |
| CN105144159B (zh) | Hive表链接 | |
| CN105930446B (zh) | 一种基于Hadoop分布式技术的电信客户标签生成方法 | |
| CN101453472B (zh) | 关系信息的公开、获取方法及系统 | |
| CN107169083A (zh) | 公安卡口海量车辆数据存储与检索方法及装置、电子设备 | |
| CN107465692A (zh) | 统一用户身份认证方法、系统以及存储介质 | |
| CN106126540A (zh) | 数据库访问系统及其访问方法 | |
| CN111966866A (zh) | 一种数据资产管理的方法和装置 | |
| CN101442558A (zh) | 一种为p2sp网络提供索引服务的方法和系统 | |
| CN103116642A (zh) | 电力系统知识管理及应用的调度百科系统 | |
| CN103577483A (zh) | 数据存储方法和系统以及数据访问的方法和系统 | |
| GB2565542A (en) | Systems and methods for selecting datasets | |
| CN106202254A (zh) | 一种查询方法及数据查询系统 | |
| CN106354882A (zh) | 一种查询服务平台及其查询方法 | |
| US10515106B1 (en) | Systems and methods for processing a database query | |
| US20040054665A1 (en) | Apparatus for sharing and storing mass video data in video geographic information system and management method thereof | |
| CN109388611A (zh) | 一种基于统一接口的大数据策略化储存系统 | |
| CN106506647A (zh) | 一种客户端具有数据备份装置的智慧社区云存储系统 | |
| CN110134698A (zh) | 数据管理方法及相关产品 | |
| CN107045466A (zh) | 业务数据的稽核方法、装置及系统 | |
| CN108681588A (zh) | 一种接口访问实时统计方法及系统 | |
| CN102929628B (zh) | 支持多互联网服务中心构建和运营的服务框架 | |
| CN111949649B (zh) | 一种动态本体存储系统、存储方法、数据查询方法 | |
| US20140317008A1 (en) | Method and system for providing and controlling access to candidate information in collections of partner companies |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |