CN110990469B - 基于数据仓库的数据授权和数据自助提取的方法和装置 - Google Patents
基于数据仓库的数据授权和数据自助提取的方法和装置 Download PDFInfo
- Publication number
- CN110990469B CN110990469B CN201911125896.5A CN201911125896A CN110990469B CN 110990469 B CN110990469 B CN 110990469B CN 201911125896 A CN201911125896 A CN 201911125896A CN 110990469 B CN110990469 B CN 110990469B
- Authority
- CN
- China
- Prior art keywords
- data
- module
- enterprise
- extraction
- authorization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013475 authorization Methods 0.000 title claims abstract description 33
- 238000000605 extraction Methods 0.000 title claims abstract description 26
- 238000004519 manufacturing process Methods 0.000 claims abstract description 27
- 238000013075 data extraction Methods 0.000 claims abstract description 25
- 238000002474 experimental method Methods 0.000 claims abstract description 9
- 230000001133 acceleration Effects 0.000 claims description 11
- 238000011161 development Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000000586 desensitisation Methods 0.000 claims description 4
- 238000011981 development test Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 6
- 238000007405 data analysis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于数据仓库的数据授权和数据自助提取的装置和方法，所述装置包括：数据仓库；企业专区；所述企业专区包括：实验模块；生产模块；报表模块；所述数据仓库将数据进行脱敏后授权给企业专区。所述方法包括以下步骤：S1：执行数据开放；S2：执行数据提取。所述装置和方法能够快速、灵活、安全、细粒度的开放数据给数据使用者，提升数据流通速度，并且数据使用者能够方便、快捷的提取数据，节省数据获取成本。
Description
技术领域
本发明涉及数据仓库，具体涉及基于数据仓库的数据授权和数据自助提取的方法和装置。
背景技术
伴随着信息技术与数据智能发展的大环境下，数据仓库在软硬件领域、Internet和企业内部网解决方案以及数据库方面提供了许多经济高效的计算资源，可以保存极大量的数据供分析使用，且允许使用多种数据访问技术。随着网络和信息技术的不断发展，企业在生产过程中产生的数据量正在呈指数级增长，为更好的支撑运营决策，大部分企业都会筹建自己的数据仓库。但在数据仓库的使用过程中，还面临着诸多的困难，导致数据仓库数据共享效率低下、数据获取成本高，所以快速、灵活、安全、细粒度的将数据授权给数据使用者以及数据使用者在不借助数据仓库工程师的帮助下提取数据是目前亟需解决的问题。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的是提供基于数据仓库的数据授权和数据自助提取的方法和装置，能够快速、灵活、安全、细粒度的开放数据给数据使用者，提升数据流通速度，并且数据使用者能够方便、快捷的提取数据，节省数据获取成本。
为了实现上述目的，本发明第一方面实施例的基于数据仓库的数据授权和数据自助提取的装置，包括：数据仓库；企业专区；所述企业专区包括：实验模块；生产模块；报表模块；所述数据仓库将数据进行脱敏后授权给企业专区。
另外，根据本发明上述应用于基于数据仓库的数据授权和数据自助提取的装置还可以具有如下附加的技术特征：
在本发明的一个实施例中，所述企业专区：为企业或部门提供数据服务的数据专区，每个企业或部门具有不同的账户和数据专区，不同数据专区间数据相互隔离。
在本发明的一个实施例中，所述实验模块：企业专区中的开发环境，承载开放给企业专区的样本数据，提供可视化查询界面，主要用于数据开发，验证。
在本发明的一个实施例中，所述生产模块：企业专区中的生产环境，承载开放给企业专区的全量数据，主要用于已发布报表的周期性更新。
在本发明的一个实施例中，所述报表模块：企业专区中的报表模块，主要用于发布数据的对外开放和提取。
在本发明的一个实施例中，用户在实验模块进行测试，在生产模块进行发布。在本发明的一个实施例中，所述生产模块的数据进入报表模块的过程为加速过程。
所述发布：实验模块数据开发测试完成后，生产数据报表的过程，是数据提取的前提条件。
所述加速：数据由生产区一次性或周期性更新到报表区的过程。
在本发明的一个实施例中，所述用户在报表模块进行数据下载或API调用。
本发明的第二个目的是提供基于数据仓库的数据授权和数据自助提取的方法，以能够快速、灵活、安全、细粒度的开放数据给数据使用者，提升数据流通速度，并且数据使用者能够方便、快捷的提取数据，节省数据获取成本。
为了实现上述目的，本发明第二方面实施例的基于数据仓库的数据授权和数据自助提取的方法，包括以下步骤：S1：执行数据开放；S2：执行数据提取。
另外，根据本发明上述应用于基于数据仓库的数据授权和数据自助提取的方法还可以具有如下附加的技术特征：
在本发明的一个实施例中，所述步骤S1具体步骤如下：步骤100：接收到数据授权请求；步骤101：判断所述请求中是否具有限制条件，若是执行步骤102-105，若否执行步骤103；步骤102：增加条件限制，以及细粒度授权；步骤103：判断是否具有敏感信息；若是，则执行步骤104-105；若否则执行步骤105；步骤104：数据脱敏处理；步骤105：授权至企业专区。
在本发明的一个实施例中，所述步骤S2具体步骤如下：步骤200：接收数据查询请求；步骤201：企业专区实验模块接收查询请求；步骤202：判断是否返回正确查询结果，若是执行步骤203-206；若否，则返回步骤201；步骤203：判断是否进入数据提取流程；若否则过程结束；若是，则执行后续步骤；步骤204：企业专区生产模块接收提取请求；步骤205：所述请求的结果数据经过加速进入企业专区报表模块；步骤206：执行数据提取，结束。
本发明的有益效果在于：1.能够快速、灵活、安全、细粒度的开放数据给数据使用者，提升数据流通速度。
2.数据使用者能够方便、快捷的提取数据，节省数据获取成本。
附图说明
图1现有技术中的数据仓库体系结构；
图2是根据本发明一个实施例的基于数据仓库的数据授权和数据自助提取的装置示意图；
图3是根据本发明一个实施例的一种基于数据仓库的数据授权的方法流程图；
图4是根据本发明一个实施例的一种基于数据仓库的数据提取的方法流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述根据本发明实施例的基于数据仓库的数据授权和数据自助提取的装置和方法。
软件模块解释：
企业专区：为企业或部门提供数据服务的数据专区，每个企业或部门具有不同的账户和数据专区，不同数据专区间数据相互隔离。
实验区：企业专区中的开发环境，承载开放给企业专区的样本数据，提供可视化查询界面，主要用于数据开发，验证。
生产区：企业专区中的生产环境，承载开放给企业专区的全量数据，主要用于已发布报表的周期性更新。
报表区：企业专区中的报表区，主要用于发布数据的对外开放和提取。
软件名词解释：
发布：实验区数据开发测试完成后，生产数据报表的过程。是数据提取的前提条件。
加速：数据由生产区一次性或周期性更新到报表区的过程。
图2是根据本发明一个实施例的基于数据仓库的数据授权和数据自助提取的装置示意图。如图1所示，该装置包括：
数据仓库；企业专区；所述企业专区包括：实验模块；生产模块；报表模块；所述数据仓库将数据进行脱敏后授权给企业专区。
另外，根据本发明上述应用于基于数据仓库的数据授权和数据自助提取的装置还可以具有如下附加的技术特征：
在本发明的一个实施例中，所述企业专区：为企业或部门提供数据服务的数据专区，每个企业或部门具有不同的账户和数据专区，不同数据专区间数据相互隔离。
在本发明的一个实施例中，所述实验模块：企业专区中的开发环境，承载开放给企业专区的样本数据，提供可视化查询界面，主要用于数据开发，验证。
在本发明的一个实施例中，所述生产模块：企业专区中的生产环境，承载开放给企业专区的全量数据，主要用于已发布报表的周期性更新。
在本发明的一个实施例中，所述报表模块：企业专区中的报表模块，主要用于发布数据的对外开放和提取。
在本发明的一个实施例中，用户在实验模块进行测试，在生产模块进行发布。在本发明的一个实施例中，所述生产模块的数据进入报表模块的过程为加速过程。
所述发布：实验模块数据开发测试完成后，生产数据报表的过程，是数据提取的前提条件。
所述加速：数据由生产区一次性或周期性更新到报表区的过程。
在本发明的一个实施例中，所述用户在报表模块进行数据下载或API调用。
图3是根据本发明一个实施例的一种基于数据仓库的数据授权的方法流程图。如图2所示，该方法包括以下步骤：
S1：执行数据开放；S2：执行数据提取。
另外，根据本发明上述应用于基于数据仓库的数据授权和数据自助提取的方法还可以具有如下附加的技术特征：
在本发明的一个实施例中，所述步骤S1具体步骤如下：步骤100：接收到数据授权请求；步骤101：判断所述请求中是否具有限制条件，若是执行步骤102-105，若否执行步骤103；步骤102：增加条件限制，以及细粒度授权；步骤103：判断是否具有敏感信息；若是，则执行步骤104-105；若否则执行步骤105；步骤104：数据脱敏处理；步骤105：授权至企业专区。
图4是根据本发明一个实施例的一种基于数据仓库的数据提取的方法流程图
在本发明的一个实施例中，所述步骤S2具体步骤如下：步骤200：接收数据查询请求；步骤201：企业专区实验模块接收查询请求；步骤202：判断是否返回正确查询结果，若是执行步骤203-206；若否，则返回步骤201；步骤203：判断是否进入数据提取流程；若否则过程结束；若是，则执行后续步骤；步骤204：企业专区生产模块接收提取请求；步骤205：所述请求的结果数据经过加速进入企业专区报表模块；步骤206：执行数据提取，结束。
实现过程简述：
数据开放流程：企业专区用户提出数据授权申请，数据仓库管理员接到申请后，判断申请的数据是否有条件限制(例如：时间范围2018年之后；地域范围北京市等)，如果有条件限制，数据仓库管理员在申请的数据上添加条件限制，最细粒度可以具体到每条记录。数据仓库管理员根据企业专区用户性质(例如：外部企业或本单位部门)判断对申请的数据是否进行脱敏处理(例如：身份证号、手机号等)，如果需要进行脱敏，程序会用不可逆加密算法对敏感信息加密处理，保证数据安全性。上述步骤完成后即可将数据开放到对应的企业专区中(流程如图3)，整个数据开放流程全部通过可视化界面操作，能够细粒度、安全快速的将数据开放到对应企业专区中。
现有技术：如图1所示传统数据仓库开放数据的过程，数据仓库工程师需要提前将数据组织成数据立方体或服务，提供给数据使用人员，该过程需要通过研发手段干预，甚至需要定制开发，数据开放流程漫长且灵活性不足。
本发明：如图2-4，整个数据开放流程全部通过可视化界面操作，在保证数据安全的前提下，能够快速、灵活的开放数据，提升了数据流通的速度。
数据提取流程：企业专区用户可以在自已所属的专区中进行数据分析和数据自助提取，具体流程为：专区用户自己编写完查询语句(Sql)后，提交到专区中的实验区中运行，根据运行结果的正确性与否，判断是否进入数据提取流程，否则调整查询语句继续执行，是则进入数据提取流程，企业专区中的生产区接收到数据提取请求后(发布过程)，根据查询语句将数据加速到报表区中，加速完成后，企业专区用户可以通过Api方式或文件下载方式提取数据(流程如图4)。
现有技术：如图1所示最右侧，数据分析人员只能在提前提供好的数据集或服务中进行数据分析和挖掘，数据提取方式单一，太局限性(例如：只能通过报表平台下载，数据集或服务中没有的数据获取获取不灵活等)。
本发明：如图2-4，数据分析人员可以通过sql的方式灵活定制属于自己的报表，报表发布后，可以灵活快速的提取数据(例如：文件下载、Api调用等方式)，对于专区中没有的数据，可以通过数据开放流程快速获取。
本发明的有益效果在于：本发明通过数据开放流程和数据提取流程，解决目前数据仓库面临的数据流通速度慢，数据提取不灵活的问题，解决日益严重的数据孤岛问题，做到数据及时的开放和共享。
1.能够快速、灵活、安全、细粒度的开放数据给数据使用者，提升数据流通速度。
2.数据使用者能够方便、快捷的提取数据，节省数据获取成本。
虽然已经参考优选实施例对本发明进行了描述，但在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，各个实施例中所提到的各项技术特征均可以任意方式组合起来。以上仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (7)
1.基于数据仓库的数据授权和数据自助提取的方法，其特征在于，包括以下步骤：S1：执行数据开放；S2：执行数据提取；
所述步骤S1具体步骤如下：步骤100：接收到数据授权请求；步骤101：判断所述请求中是否具有限制条件，若是执行步骤102-105，若否执行步骤103；步骤102：增加条件限制，以及细粒度授权；步骤103：判断是否具有敏感信息；若是，则执行步骤104-105；若否则执行步骤105；步骤104：数据脱敏处理；步骤105：授权至企业专区；所述企业专区：为企业或部门提供数据服务的数据专区，每个企业或部门具有不同的账户和数据专区，不同数据专区间数据相互隔离；
所述步骤S2具体步骤如下：步骤200：接收数据查询请求；步骤201：企业专区实验模块接收查询请求；步骤202：判断是否返回正确查询结果，若是执行步骤203-206；若否，则返回步骤201；步骤203：判断是否进入数据提取流程；若否则过程结束；若是，则执行后续步骤；步骤204：企业专区生产模块接收提取请求；步骤205：所述请求的结果数据经过加速进入企业专区报表模块，所述加速过程为数据由生产区一次性或周期性更新到报表区的过程；步骤206：执行数据提取，结束。
2.基于数据仓库的数据授权和数据自助提取的装置，其特征在于，应用权利要求1所述的基于数据仓库的数据授权和数据自助提取的方法，具体包括：数据仓库；企业专区；所述企业专区：为企业或部门提供数据服务的数据专区，每个企业或部门具有不同的账户和数据专区，不同数据专区间数据相互隔离；所述企业专区包括：实验模块；生产模块；报表模块；所述数据仓库将数据进行脱敏后授权给企业专区。
3.如权利要求2所述的基于数据仓库的数据授权和数据自助提取的装置，其特征在于，所述实验模块：企业专区中的开发环境，承载开放给企业专区的样本数据，提供可视化查询界面，主要用于数据开发，验证。
4.如权利要求3所述的基于数据仓库的数据授权和数据自助提取的装置，其特征在于，所述生产模块：企业专区中的生产环境，承载开放给企业专区的全量数据，主要用于已发布报表的周期性更新。
5.如权利要求4所述的基于数据仓库的数据授权和数据自助提取的装置，其特征在于，所述报表模块：企业专区中的报表模块，主要用于发布数据的对外开放和提取。
6.如权利要求5所述的基于数据仓库的数据授权和数据自助提取的装置，其特征在于，用户在实验模块进行测试，在生产模块进行发布；所述生产模块的数据进入报表模块的过程为加速过程；所述发布：实验模块数据开发测试完成后，生产数据报表的过程，是数据提取的前提条件。
7.如权利要求6所述的基于数据仓库的数据授权和数据自助提取的装置，其特征在于，所述用户在报表模块进行数据下载或API调用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911125896.5A CN110990469B (zh) | 2019-11-18 | 2019-11-18 | 基于数据仓库的数据授权和数据自助提取的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911125896.5A CN110990469B (zh) | 2019-11-18 | 2019-11-18 | 基于数据仓库的数据授权和数据自助提取的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110990469A CN110990469A (zh) | 2020-04-10 |
| CN110990469B true CN110990469B (zh) | 2024-02-20 |
Family
ID=70084829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911125896.5A Active CN110990469B (zh) | 2019-11-18 | 2019-11-18 | 基于数据仓库的数据授权和数据自助提取的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110990469B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485101A (zh) * | 2015-08-24 | 2017-03-08 | 阿里巴巴集团控股有限公司 | 一种云计算环境下数据的访问方法和装置 |
| CN109272155A (zh) * | 2018-09-11 | 2019-01-25 | 郑州向心力通信技术股份有限公司 | 一种基于大数据的企业行为分析系统 |
| CN110083647A (zh) * | 2019-03-31 | 2019-08-02 | 广州建皓信息技术有限公司 | 一种大数据管理平台 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9514440B2 (en) * | 2015-02-06 | 2016-12-06 | Bank Of America Corporation | Methods and apparatus for providing data warehousing with respect to, inter alia, interactive hierarchical entitlements |
-
2019
- 2019-11-18 CN CN201911125896.5A patent/CN110990469B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485101A (zh) * | 2015-08-24 | 2017-03-08 | 阿里巴巴集团控股有限公司 | 一种云计算环境下数据的访问方法和装置 |
| CN109272155A (zh) * | 2018-09-11 | 2019-01-25 | 郑州向心力通信技术股份有限公司 | 一种基于大数据的企业行为分析系统 |
| CN110083647A (zh) * | 2019-03-31 | 2019-08-02 | 广州建皓信息技术有限公司 | 一种大数据管理平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110990469A (zh) | 2020-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11403413B2 (en) | Avoiding user session misclassification using configuration and activity fingerprints | |
| CN101310286B (zh) | 改进的单点登录 | |
| US9626816B2 (en) | Physical access request authorization | |
| US20150143494A1 (en) | Continuous identity authentication method for computer users | |
| US20180196875A1 (en) | Determining repeat website users via browser uniqueness tracking | |
| CN110516418A (zh) | 一种操作用户识别方法、装置及设备 | |
| US20230077445A1 (en) | Automated tiered security for confidential information and confidential information sharing and methods thereof | |
| CN112367338A (zh) | 恶意请求检测方法及装置 | |
| US12118843B2 (en) | Providing digital identifications generated for checkpoint validation based on biometric identification | |
| CN106020923B (zh) | SELinux策略的编译方法及系统 | |
| CN110990469B (zh) | 基于数据仓库的数据授权和数据自助提取的方法和装置 | |
| CN112822676B (zh) | 一种访问应用的方法及装置 | |
| US10752212B2 (en) | Cloud based cognitive radio frequency intrusion detection audit and reporting | |
| CN116312513B (zh) | 一种智能语音控制系统 | |
| US10521652B1 (en) | Enhancing capabilities by cooperatively using identity systems and identification databases | |
| Zhu | [Retracted] Interoperability of Multimedia Network Public Opinion Knowledge Base Group Based on Multisource Text Mining | |
| CN114238908B (zh) | 页面重复登录方法、装置、设备及存储介质 | |
| US11599620B2 (en) | Securing access to group accounts on a computer system | |
| US20240031386A1 (en) | Digital Security Violation System | |
| US20240126922A1 (en) | Access Manager That Limits Access to User Information Using Authentication and Verification | |
| Ebbers et al. | Real-Time Fraud Detection Analytics on IBM System Z | |
| Edge et al. | A policy distribution service for proactive fraud management over financial data streams | |
| CN115150122A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN117592119A (zh) | 用于对微观数据使用进行安全管控的方法和系统 | |
| CN116801250A (zh) | 基于sim卡的数字身份认证方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |