CN110990469A - 基于数据仓库的数据授权和数据自助提取的方法和装置 - Google Patents

基于数据仓库的数据授权和数据自助提取的方法和装置 Download PDF

Info

Publication number
CN110990469A
CN110990469A CN201911125896.5A CN201911125896A CN110990469A CN 110990469 A CN110990469 A CN 110990469A CN 201911125896 A CN201911125896 A CN 201911125896A CN 110990469 A CN110990469 A CN 110990469A
Authority
CN
China
Prior art keywords
data
enterprise
authorization
module
warehouse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911125896.5A
Other languages
English (en)
Other versions
CN110990469B (zh
Inventor
赵兴申
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiyun Information Technology Co Ltd
Original Assignee
Beijing Xiyun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiyun Information Technology Co Ltd filed Critical Beijing Xiyun Information Technology Co Ltd
Priority to CN201911125896.5A priority Critical patent/CN110990469B/zh
Publication of CN110990469A publication Critical patent/CN110990469A/zh
Application granted granted Critical
Publication of CN110990469B publication Critical patent/CN110990469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于数据仓库的数据授权和数据自助提取的装置和方法,所述装置包括:数据仓库;企业专区;所述企业专区包括:实验模块;生产模块;报表模块;所述数据仓库将数据进行脱敏后授权给企业专区。所述方法包括以下步骤:S1:执行数据开放;S2:执行数据提取。所述装置和方法能够快速、灵活、安全、细粒度的开放数据给数据使用者,提升数据流通速度,并且数据使用者能够方便、快捷的提取数据,节省数据获取成本。

Description

基于数据仓库的数据授权和数据自助提取的方法和装置
技术领域
本发明涉及数据仓库,具体涉及基于数据仓库的数据授权和数据自助提取的方法和装置。
背景技术
伴随着信息技术与数据智能发展的大环境下,数据仓库在软硬件领域、Internet和企业内部网解决方案以及数据库方面提供了许多经济高效的计算资源,可以保存极大量的数据供分析使用,且允许使用多种数据访问技术。随着网络和信息技术的不断发展,企业在生产过程中产生的数据量正在呈指数级增长,为更好的支撑运营决策,大部分企业都会筹建自己的数据仓库。但在数据仓库的使用过程中,还面临着诸多的困难,导致数据仓库数据共享效率低下、数据获取成本高,所以快速、灵活、安全、细粒度的将数据授权给数据使用者以及数据使用者在不借助数据仓库工程师的帮助下提取数据是目前亟需解决的问题。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的一个目的是提供基于数据仓库的数据授权和数据自助提取的方法和装置,能够快速、灵活、安全、细粒度的开放数据给数据使用者,提升数据流通速度,并且数据使用者能够方便、快捷的提取数据,节省数据获取成本。
为了实现上述目的,本发明第一方面实施例的基于数据仓库的数据授权和数据自助提取的装置,包括:数据仓库;企业专区;所述企业专区包括:实验模块;生产模块;报表模块;所述数据仓库将数据进行脱敏后授权给企业专区。
另外,根据本发明上述应用于基于数据仓库的数据授权和数据自助提取的装置还可以具有如下附加的技术特征:
在本发明的一个实施例中,所述企业专区:为企业或部门提供数据服务的数据专区,每个企业或部门具有不同的账户和数据专区,不同数据专区间数据相互隔离。
在本发明的一个实施例中,所述实验模块:企业专区中的开发环境,承载开放给企业专区的样本数据,提供可视化查询界面,主要用于数据开发,验证。
在本发明的一个实施例中,所述生产模块:企业专区中的生产环境,承载开放给企业专区的全量数据,主要用于已发布报表的周期性更新。
在本发明的一个实施例中,所述报表模块:企业专区中的报表模块,主要用于发布数据的对外开放和提取。
在本发明的一个实施例中,用户在实验模块进行测试,在生产模块进行发布。在本发明的一个实施例中,所述生产模块的数据进入报表模块的过程为加速过程。
所述发布:实验模块数据开发测试完成后,生产数据报表的过程,是数据提取的前提条件。
所述加速:数据由生产区一次性或周期性更新到报表区的过程。
在本发明的一个实施例中,所述用户在报表模块进行数据下载或API调用。
本发明的第二个目的是提供基于数据仓库的数据授权和数据自助提取的方法,以能够快速、灵活、安全、细粒度的开放数据给数据使用者,提升数据流通速度,并且数据使用者能够方便、快捷的提取数据,节省数据获取成本。
为了实现上述目的,本发明第二方面实施例的基于数据仓库的数据授权和数据自助提取的方法,包括以下步骤:S1:执行数据开放;S2:执行数据提取。
另外,根据本发明上述应用于基于数据仓库的数据授权和数据自助提取的方法还可以具有如下附加的技术特征:
在本发明的一个实施例中,所述步骤S1具体步骤如下:步骤100:接收到数据授权请求;步骤101:判断所述请求中是否具有限制条件,若是执行步骤102-105,若否执行步骤103;步骤102:增加条件限制,以及细粒度授权;步骤103:判断是否具有敏感信息;若是,则执行步骤104-105;若否则执行步骤105;步骤104:数据脱敏处理;步骤105:授权至企业专区。
在本发明的一个实施例中,所述步骤S2具体步骤如下:步骤200:接收数据查询请求;步骤201:企业专区实验模块接收查询请求;步骤202:判断是否返回正确查询结果,若是执行步骤203-206;若否,则返回步骤201;步骤203:判断是否进入数据提取流程;若否则过程结束;若是,则执行后续步骤;步骤204:企业专区生产模块接收提取请求;步骤205:所述请求的结果数据经过加速进入企业专区报表模块;步骤206:执行数据提取,结束。
本发明的有益效果在于:1.能够快速、灵活、安全、细粒度的开放数据给数据使用者,提升数据流通速度。
2.数据使用者能够方便、快捷的提取数据,节省数据获取成本。
附图说明
图1现有技术中的数据仓库体系结构;
图2是根据本发明一个实施例的基于数据仓库的数据授权和数据自助提取的装置示意图;
图3是根据本发明一个实施例的一种基于数据仓库的数据授权的方法流程图;
图4是根据本发明一个实施例的一种基于数据仓库的数据提取的方法流程图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述根据本发明实施例的基于数据仓库的数据授权和数据自助提取的装置和方法。
软件模块解释:
企业专区:为企业或部门提供数据服务的数据专区,每个企业或部门具有不同的账户和数据专区,不同数据专区间数据相互隔离。
实验区:企业专区中的开发环境,承载开放给企业专区的样本数据,提供可视化查询界面,主要用于数据开发,验证。
生产区:企业专区中的生产环境,承载开放给企业专区的全量数据,主要用于已发布报表的周期性更新。
报表区:企业专区中的报表区,主要用于发布数据的对外开放和提取。
软件名词解释:
发布:实验区数据开发测试完成后,生产数据报表的过程。是数据提取的前提条件。
加速:数据由生产区一次性或周期性更新到报表区的过程。
图2是根据本发明一个实施例的基于数据仓库的数据授权和数据自助提取的装置示意图。如图1所示,该装置包括:
数据仓库;企业专区;所述企业专区包括:实验模块;生产模块;报表模块;所述数据仓库将数据进行脱敏后授权给企业专区。
另外,根据本发明上述应用于基于数据仓库的数据授权和数据自助提取的装置还可以具有如下附加的技术特征:
在本发明的一个实施例中,所述企业专区:为企业或部门提供数据服务的数据专区,每个企业或部门具有不同的账户和数据专区,不同数据专区间数据相互隔离。
在本发明的一个实施例中,所述实验模块:企业专区中的开发环境,承载开放给企业专区的样本数据,提供可视化查询界面,主要用于数据开发,验证。
在本发明的一个实施例中,所述生产模块:企业专区中的生产环境,承载开放给企业专区的全量数据,主要用于已发布报表的周期性更新。
在本发明的一个实施例中,所述报表模块:企业专区中的报表模块,主要用于发布数据的对外开放和提取。
在本发明的一个实施例中,用户在实验模块进行测试,在生产模块进行发布。在本发明的一个实施例中,所述生产模块的数据进入报表模块的过程为加速过程。
所述发布:实验模块数据开发测试完成后,生产数据报表的过程,是数据提取的前提条件。
所述加速:数据由生产区一次性或周期性更新到报表区的过程。
在本发明的一个实施例中,所述用户在报表模块进行数据下载或API调用。
图3是根据本发明一个实施例的一种基于数据仓库的数据授权的方法流程图。如图2所示,该方法包括以下步骤:
S1:执行数据开放;S2:执行数据提取。
另外,根据本发明上述应用于基于数据仓库的数据授权和数据自助提取的方法还可以具有如下附加的技术特征:
在本发明的一个实施例中,所述步骤S1具体步骤如下:步骤100:接收到数据授权请求;步骤101:判断所述请求中是否具有限制条件,若是执行步骤102-105,若否执行步骤103;步骤102:增加条件限制,以及细粒度授权;步骤103:判断是否具有敏感信息;若是,则执行步骤104-105;若否则执行步骤105;步骤104:数据脱敏处理;步骤105:授权至企业专区。
图4是根据本发明一个实施例的一种基于数据仓库的数据提取的方法流程图
在本发明的一个实施例中,所述步骤S2具体步骤如下:步骤200:接收数据查询请求;步骤201:企业专区实验模块接收查询请求;步骤202:判断是否返回正确查询结果,若是执行步骤203-206;若否,则返回步骤201;步骤203:判断是否进入数据提取流程;若否则过程结束;若是,则执行后续步骤;步骤204:企业专区生产模块接收提取请求;步骤205:所述请求的结果数据经过加速进入企业专区报表模块;步骤206:执行数据提取,结束。
实现过程简述:
数据开放流程:企业专区用户提出数据授权申请,数据仓库管理员接到申请后,判断申请的数据是否有条件限制(例如:时间范围2018年之后;地域范围北京市等),如果有条件限制,数据仓库管理员在申请的数据上添加条件限制,最细粒度可以具体到每条记录。数据仓库管理员根据企业专区用户性质(例如:外部企业或本单位部门)判断对申请的数据是否进行脱敏处理(例如:身份证号、手机号等),如果需要进行脱敏,程序会用不可逆加密算法对敏感信息加密处理,保证数据安全性。上述步骤完成后即可将数据开放到对应的企业专区中(流程如图3),整个数据开放流程全部通过可视化界面操作,能够细粒度、安全快速的将数据开放到对应企业专区中。
现有技术:如图1所示传统数据仓库开放数据的过程,数据仓库工程师需要提前将数据组织成数据立方体或服务,提供给数据使用人员,该过程需要通过研发手段干预,甚至需要定制开发,数据开放流程漫长且灵活性不足。
本发明:如图2-4,整个数据开放流程全部通过可视化界面操作,在保证数据安全的前提下,能够快速、灵活的开放数据,提升了数据流通的速度。
数据提取流程:企业专区用户可以在自已所属的专区中进行数据分析和数据自助提取,具体流程为:专区用户自己编写完查询语句(Sql)后,提交到专区中的实验区中运行,根据运行结果的正确性与否,判断是否进入数据提取流程,否则调整查询语句继续执行,是则进入数据提取流程,企业专区中的生产区接收到数据提取请求后(发布过程),根据查询语句将数据加速到报表区中,加速完成后,企业专区用户可以通过Api方式或文件下载方式提取数据(流程如图4)。
现有技术:如图1所示最右侧,数据分析人员只能在提前提供好的数据集或服务中进行数据分析和挖掘,数据提取方式单一,太局限性(例如:只能通过报表平台下载,数据集或服务中没有的数据获取获取不灵活等)。
本发明:如图2-4,数据分析人员可以通过sql的方式灵活定制属于自己的报表,报表发布后,可以灵活快速的提取数据(例如:文件下载、Api调用等方式),对于专区中没有的数据,可以通过数据开放流程快速获取。
本发明的有益效果在于:本发明通过数据开放流程和数据提取流程,解决目前数据仓库面临的数据流通速度慢,数据提取不灵活的问题,解决日益严重的数据孤岛问题,做到数据及时的开放和共享。
1.能够快速、灵活、安全、细粒度的开放数据给数据使用者,提升数据流通速度。
2.数据使用者能够方便、快捷的提取数据,节省数据获取成本。
虽然已经参考优选实施例对本发明进行了描述,但在不脱离本发明的范围的情况下,可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是,只要不存在结构冲突,各个实施例中所提到的各项技术特征均可以任意方式组合起来。以上仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。

Claims (10)

1.基于数据仓库的数据授权和数据自助提取的装置,其特征在于,包括:数据仓库;企业专区;所述企业专区包括:实验模块;生产模块;报表模块;所述数据仓库将数据进行脱敏后授权给企业专区。
2.如权利要求1所述的基于数据仓库的数据授权和数据自助提取的装置,其特征在于,所述企业专区:为企业或部门提供数据服务的数据专区,每个企业或部门具有不同的账户和数据专区,不同数据专区间数据相互隔离。
3.如权利要求1所述的基于数据仓库的数据授权和数据自助提取的装置,其特征在于,所述实验模块:企业专区中的开发环境,承载开放给企业专区的样本数据,提供可视化查询界面,主要用于数据开发,验证。
4.如权利要求1所述的基于数据仓库的数据授权和数据自助提取的装置,其特征在于,所述生产模块:企业专区中的生产环境,承载开放给企业专区的全量数据,主要用于已发布报表的周期性更新。
5.如权利要求1所述的基于数据仓库的数据授权和数据自助提取的装置,其特征在于,所述报表模块:企业专区中的报表模块,主要用于发布数据的对外开放和提取。
6.如权利要求1所述的基于数据仓库的数据授权和数据自助提取的装置,其特征在于,用户在实验模块进行测试,在生产模块进行发布;所述生产模块的数据进入报表模块的过程为加速过程;所述发布:实验模块数据开发测试完成后,生产数据报表的过程,是数据提取的前提条件;所述加速:数据由生产区一次性或周期性更新到报表区的过程。
7.如权利要求1所述的基于数据仓库的数据授权和数据自助提取的装置,其特征在于,所述用户在报表模块进行数据下载或API调用。
8.基于数据仓库的数据授权和数据自助提取的方法,其特征在于,包括以下步骤:S1:执行数据开放;S2:执行数据提取。
9.如权利要求8所述的基于数据仓库的数据授权和数据自助提取的方法,所述步骤S1具体步骤如下:步骤100:接收到数据授权请求;步骤101:判断所述请求中是否具有限制条件,若是执行步骤102-105,若否执行步骤103;步骤102:增加条件限制,以及细粒度授权;步骤103:判断是否具有敏感信息;若是,则执行步骤104-105;若否则执行步骤105;步骤104:数据脱敏处理;步骤105:授权至企业专区。
10.如权利要求8所述的基于数据仓库的数据授权和数据自助提取的方法,所述步骤S2具体步骤如下:步骤200:接收数据查询请求;步骤201:企业专区实验模块接收查询请求;步骤202:判断是否返回正确查询结果,若是执行步骤203-206;若否,则返回步骤201;步骤203:判断是否进入数据提取流程;若否则过程结束;若是,则执行后续步骤;步骤204:企业专区生产模块接收提取请求;步骤205:所述请求的结果数据经过加速进入企业专区报表模块;步骤206:执行数据提取,结束。
CN201911125896.5A 2019-11-18 2019-11-18 基于数据仓库的数据授权和数据自助提取的方法和装置 Active CN110990469B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911125896.5A CN110990469B (zh) 2019-11-18 2019-11-18 基于数据仓库的数据授权和数据自助提取的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911125896.5A CN110990469B (zh) 2019-11-18 2019-11-18 基于数据仓库的数据授权和数据自助提取的方法和装置

Publications (2)

Publication Number Publication Date
CN110990469A true CN110990469A (zh) 2020-04-10
CN110990469B CN110990469B (zh) 2024-02-20

Family

ID=70084829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911125896.5A Active CN110990469B (zh) 2019-11-18 2019-11-18 基于数据仓库的数据授权和数据自助提取的方法和装置

Country Status (1)

Country Link
CN (1) CN110990469B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160232493A1 (en) * 2015-02-06 2016-08-11 Bank Of America Corporation Methods and apparatus for providing data warehousing with respect to, inter alia, interactive hierarchical entitlements
CN106485101A (zh) * 2015-08-24 2017-03-08 阿里巴巴集团控股有限公司 一种云计算环境下数据的访问方法和装置
CN109272155A (zh) * 2018-09-11 2019-01-25 郑州向心力通信技术股份有限公司 一种基于大数据的企业行为分析系统
CN110083647A (zh) * 2019-03-31 2019-08-02 广州建皓信息技术有限公司 一种大数据管理平台

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160232493A1 (en) * 2015-02-06 2016-08-11 Bank Of America Corporation Methods and apparatus for providing data warehousing with respect to, inter alia, interactive hierarchical entitlements
CN106485101A (zh) * 2015-08-24 2017-03-08 阿里巴巴集团控股有限公司 一种云计算环境下数据的访问方法和装置
CN109272155A (zh) * 2018-09-11 2019-01-25 郑州向心力通信技术股份有限公司 一种基于大数据的企业行为分析系统
CN110083647A (zh) * 2019-03-31 2019-08-02 广州建皓信息技术有限公司 一种大数据管理平台

Also Published As

Publication number Publication date
CN110990469B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN109753800B (zh) 融合频繁项集与随机森林算法的Android恶意应用检测方法及系统
US11068583B2 (en) Management of login information affected by a data breach
US20130036462A1 (en) Method and apparatus for using a multi-factor password or a dynamic password for enhanced security on a device
US20150040193A1 (en) Physical Interaction Style Based User Authentication for Mobile Computing Devices
US20220164423A1 (en) Method and apparatus for user recognition
CN111949992B (zh) Web应用程序的自动化安全监测方法及系统
CN110675263B (zh) 交易数据的风险识别方法以及装置
CN105550628A (zh) 指纹录入方法及装置
CN109377611A (zh) 基于生物识别的访客管理方法、系统、计算机设备及存储介质
US10951770B2 (en) Systems and methods for utilizing machine learning to detect and determine whether call forwarding is authorized
CN113706158A (zh) 一种基于云支付的大数据入侵防护分析方法及系统
CN113378167A (zh) 一种基于改进朴素贝叶斯算法和门控循环单元混合的恶意软件检测方法
US10752212B2 (en) Cloud based cognitive radio frequency intrusion detection audit and reporting
CN110990469A (zh) 基于数据仓库的数据授权和数据自助提取的方法和装置
Congyi et al. Method for detecting Android malware based on ensemble learning
CN113542238B (zh) 一种基于零信任的风险判定方法及系统
CN112822676B (zh) 一种访问应用的方法及装置
CN110943982B (zh) 单据数据加密的方法、装置、电子设备和存储介质
CN112417007A (zh) 一种数据分析方法、装置、电子设备及存储介质
CN114584616B (zh) 一种消息推送方法、装置、电子设备及存储介质
US20240031386A1 (en) Digital Security Violation System
RU2796211C1 (ru) СПОСОБ И УСТРОЙСТВО ФОРМИРОВАНИЯ СТАТИЧНОГО ИДЕНТИФИКАТОРА МОБИЛЬНЫХ УСТРОЙСТВ ПОД УПРАВЛЕНИЕМ iOS, СПОСОБ И СИСТЕМА ВЫЯВЛЕНИЯ МОШЕННИЧЕСКИХ ТРАНЗАКЦИЙ С ПОМОЩЬЮ СТАТИЧНОГО ИДЕНТИФИКАТОРА
US11599620B2 (en) Securing access to group accounts on a computer system
US20240095740A1 (en) Multi-factor authentication using location data
CN117992966A (zh) 漏洞检测方法、模型训练方法及对应装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant