CN117972785A - 一种数据管控处理方法和系统 - Google Patents
一种数据管控处理方法和系统 Download PDFInfo
- Publication number
- CN117972785A CN117972785A CN202410164995.9A CN202410164995A CN117972785A CN 117972785 A CN117972785 A CN 117972785A CN 202410164995 A CN202410164995 A CN 202410164995A CN 117972785 A CN117972785 A CN 117972785A
- Authority
- CN
- China
- Prior art keywords
- data source
- database
- account
- sub
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013523 data management Methods 0.000 title claims abstract description 27
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000013475 authorization Methods 0.000 claims abstract description 19
- 238000007726 management method Methods 0.000 claims description 77
- 238000012423 maintenance Methods 0.000 claims description 24
- 230000004044 response Effects 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012795 verification Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000011161 development Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 7
- 238000012217 deletion Methods 0.000 description 7
- 230000037430 deletion Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000002955 isolation Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013070 change management Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据管控处理方法和系统,涉及数据处理技术领域。该方法的一具体实施方式包括:接收应用配置的元数据,点击发布选项,显示数据源名称列表,选择其中一个或多个数据源名称;获取与每个数据源名称对应的数据源配置信息,基于其数据库连接地址和主账号信息,连接并登录每个数据源对应的数据库,基于元数据创建表结构;表结构创建完毕触发授权,确定应用在每个数据源的子账号信息,在每个数据库中通过主账号授权子账号对表结构具有特定操作权限,将每个数据源下应用对元数据的操作权限清单同步至本地。该实施方式在数据源中实现应用对元数据的权限管控,后续应用访问数据源下数据时,根据子账号可确保访问的数据不超过其权限范围。
Description
技术领域
本发明涉及大数据领域的数据处理技术领域,尤其涉及一种数据管控处理方法和系统。
背景技术
为了进行数据的开发使用,应用开发人员需要定义数据源、发布元数据,或是从数据库采集已经存在的元数据清单及结构。这种开发方式在大数据平台上存在明显的问题:大数据平台通常融合了数据湖、数据仓库的使用场景,一张数据库表被多个应用项目组使用是较为常见的情况,主管应用(即实际业务数据的管理维护方)通过授权不同的数据库账号来为不同的应用提供湖仓中这些共享数据的访问控制,以实现权限的隔离。
这就导致在大数据平台上使用这些共享的数据时,每个应用都得定义一个数据源以进行访问,因为他们使用的物理层数据库账号是不同的,然后基于不同的数据源去采集数据库表的元数据信息,落在各自的数据源下,因而无法一个数据源中实现多个应用对元数据的使用管控以及授权,同时也造成元数据重复冗余情况发生。
发明内容
有鉴于此,本发明实施例提供一种数据管控处理方法和系统,至少能够解决现有技术中应用权限管控难、元数据重复冗余的现象。
为实现上述目的,根据本发明实施例的一个方面,提供了一种数据管控处理方法,包括:接收应用在元数据发布管理页面中配置的元数据,响应于对发布选项的选择操作,显示数据源名称列表,以接收对其中一个或多个数据源名称的选择操作;获取与每个数据源名称对应的数据源配置信息,基于每个数据源配置信息中的数据库连接地址和主账号信息,连接并登录每个数据源对应的数据库,在每个数据库中基于所述元数据创建表结构;其中,一个数据源仅对应一个数据库,且仅设置一个数据库主账号信息,主账号信息包括主账号和密码;响应于表结构创建完毕,触发授权操作,确定应用在每个数据源的子账号信息,以在每个数据库中通过主账号授权子账号对所述表结构具有特定操作权限,以及将每个数据源下应用对所述元数据的操作权限清单同步至本地。
可选地,所述方法还包括:响应于对元数据发布管理页面中第一数据源的元数据同步选项的点击操作,显示第一数据源下所有应用列表,接收对其中一个或多个应用的选择操作;获取与第一数据源的名称对应的第一数据源配置信息,基于第一数据源配置信息中的第一数据库连接地址和第一主账号信息,连接并登录第一数据库,以从第一数据库中获取元数据清单;响应于获取元数据清单成功,确定每个应用在第一数据源的子账号信息,使用子账号信息和第一数据库地址连接第一数据库,以从第一数据库中获取每个应用对每个元数据的操作权限清单;将第一数据源、所述所有元数据清单、所述每个应用对每个元数据的操作权限清单存储到本地。
可选地,所述方法还包括:响应于在数据权限管理页面中输入的第二数据源的名称,从本地获取第二数据源对应的元数据清单并显示,以接收对其中一个或多个元数据的选择操作;以及显示第二数据源下所有应用列表,以接收对其中一个或多个应用的选择操作;以及针对每个应用和每个元数据选择特定操作权限;获取第二数据源的名称对应的第二数据源配置信息,基于第二数据源配置信息中的第二数据库连接地址和第二主账号信息,连接并登录第二数据库;获取每个应用在第二数据源的子账号信息,以通过第二主账号将每个元数据的特定操作权限授权给相应子账号,以及更新本地第二数据源下每个应用对每个元数据的操作权限清单。
可选地,所述方法还包括:接收应用对第三数据源下有操作权限的表清单获取请求,从本地确定每个数据源下应用有操作权限的表清单并返回展示,以接收从表清单中选取一个或多个表;接收对每个表中数据的操作指令,获取应用在第三数据源的子账号信息,使用子账号信息连接第三数据源对应的第三数据库;响应于子账号对第三数据库中表的特定操作权限包括操作指令中的操作,对表执行所述操作指令的操作;响应于子账号对第三数据库中表的特定操作权限不包括操作指令中的操作,弹出权限不足的提示信息。
可选地,获取与数据源名称对应的数据源配置信息的过程,包括:调用不带应用名称的查询接口,从与数据源名称对应的数据源配置信息表中,获取数据库连接地址和主账号信息。
可选地,确定应用在数据源的子账号信息的过程,包括:调用带应用名称的查询接口,从数据源名称对应的数据源中,获取与应用名称对应的子账号信息,以及从数据源名称对应的数据源配置信息表中,获取数据库连接地址。
可选地,所述方法还包括:响应于应用对第四数据源的配置子账号选项的选择操作,显示子账号维护页面;响应于对子账号维护页面中自定义账号选项的选择操作,显示自定义账号选项,以接收应用输入的子账号信息,建立应用与子账号信息的映射关系,并存储到第四数据源中;响应于对子账号维护页面中自动生成账号选项的选择操作,从与第四数据源的名称对应的第四数据源配置信息中,获取第四数据库连接地址和第四主账号信息;基于第四数据库连接地址连接第四数据库,使用第四主账号信息登录第四数据库进行是否具备创建子账号的权限校验;接收第四数据库返回的校验结果,响应于校验结果为具备,调用创建账号方式创建子账号信息,建立应用与子账号信息的映射关系,并存储到第四数据源中;响应于校验结果为不具备,返回失败信息。
为实现上述目的,根据本发明实施例的另一方面,提供了一种数据管控处理系统,包括:数据源管理模块,用于管理并保存数据源的配置信息;元数据发布管理模块,用于接收应用在元数据发布管理页面中配置的元数据,响应于对发布选项的选择操作,显示数据源名称列表,以接收对其中一个或多个数据源名称的选择操作;基于每个数据源配置信息中的数据库连接地址和主账号信息,连接并登录每个数据源对应的数据库,在每个数据库中基于所述元数据创建表结构;其中,一个数据源仅对应一个数据库,且仅设置一个数据库主账号信息,主账号信息包括主账号和密码;响应于表结构创建完毕,使用主账号信息和数据库连接地址连接每个数据库,通过数据权限管理模块,触发在每个数据库中通过主账号授权子账号操作;数据源查询模块,用于获取与每个数据源名称对应的数据源配置信息,确定应用在每个数据源的子账号信息;数据权限管理模块,用于在每个数据库中通过主账号授权子账号对所述表结构具有特定操作权限,以及将每个数据源下应用对所述元数据的操作权限清单同步至本地。
可选地,所述元数据发布管理模块,还用于:响应于对元数据发布管理页面中第一数据源的元数据同步选项的点击操作,显示第一数据源下所有应用列表,接收对其中一个或多个应用的选择操作;获取与第一数据源的名称对应的第一数据源配置信息,基于第一数据源配置信息中的第一数据库连接地址和第一主账号信息,连接并登录第一数据库,以从第一数据库中获取元数据清单;响应于获取元数据清单成功,确定每个应用在第一数据源的子账号信息,使用子账号信息和第一数据库地址连接第一数据库,以从第一数据库中获取每个应用对每个元数据的操作权限清单;将第一数据源、所述所有元数据清单、所述每个应用对每个元数据的操作权限清单存储到本地。
可选地,所述数据权限管理模块,还用于:响应于在数据权限管理页面中输入的第二数据源的名称,从本地获取第二数据源对应的元数据清单并显示,以接收对其中一个或多个元数据的选择操作;以及显示第二数据源下所有应用列表,以接收对其中一个或多个应用的选择操作;以及针对每个应用和每个元数据选择特定操作权限;获取第二数据源的名称对应的第二数据源配置信息,基于第二数据源配置信息中的第二数据库连接地址和第二主账号信息,连接并登录第二数据库;获取每个应用在第二数据源的子账号信息,以通过第二主账号将每个元数据的特定操作权限授权给相应子账号,以及更新本地第二数据源下每个应用对每个元数据的操作权限清单。
可选地,所述数据权限管理模块,还用于:接收应用对第三数据源下有操作权限的表清单获取请求,从本地确定每个数据源下应用有操作权限的表清单并返回展示,以接收从表清单中选取一个或多个表;所述数据源查询模块,还用于:接收对每个表中数据的操作指令,获取应用在第三数据源的子账号信息;数据操作模块,用于使用子账号信息连接第三数据源对应的第三数据库,响应于子账号对第三数据库中表的特定操作权限包括操作指令中的操作,对表执行所述操作指令的操作;响应于子账号对第三数据库中表的特定操作权限不包括操作指令中的操作,弹出权限不足的提示信息。
可选地,所述数据源查询模块,用于:调用不带应用名称的查询接口,从与数据源名称对应的数据源配置信息表中,获取数据库连接地址和主账号信息。
可选地,所述数据源查询模块,用于:调用带应用名称的查询接口,从数据源名称对应的数据源中,获取与应用名称对应的子账号信息,以及从数据源名称对应的数据源配置信息表中,获取数据库连接地址。
可选地,所述系统还包括数据源子账号处理模块,用于:响应于应用对第四数据源的配置子账号选项的选择操作,显示子账号维护页面;响应于对子账号维护页面中自定义账号选项的选择操作,显示自定义账号选项,以接收应用输入的子账号信息,建立应用与子账号信息的映射关系,并存储到第四数据源中;响应于对子账号维护页面中自动生成账号选项的选择操作,从与第四数据源的名称对应的第四数据源配置信息中,获取第四数据库连接地址和第四主账号信息;基于第四数据库连接地址连接第四数据库,使用第四主账号信息登录第四数据库进行是否具备创建子账号的权限校验;接收第四数据库返回的校验结果,响应于校验结果为具备,调用创建账号方式创建子账号信息,建立应用与子账号信息的映射关系,并存储到第四数据源中;响应于校验结果为不具备,返回失败信息。
为实现上述目的,根据本发明实施例的再一方面,提供了一种数据管控处理电子设备。
本发明实施例的电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述任一所述的数据管控处理方法。
为实现上述目的,根据本发明实施例的再一方面,提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现上述任一所述的数据管控处理方法。
为实现上述目的,根据本发明实施例的又一个方面,提供了一种计算程序产品。本发明实施例的一种计算程序产品,包括计算机程序,所述程序被处理器执行时实现本发明实施例提供的数据管控处理方法。
根据本发明所述提供的方案,上述发明中的一个实施例具有如下优点或有益效果:在一个场景下一个数据源仅对应一个数据库,针对一个数据源仅设置一个数据库主账号,针对不同应用定义不同的数据库子账号,在不增加额外复杂度的前提下,允许通过一个数据源进行跨应用的数据使用与授权,并且将权限同步到物理数据库层面,以此实现多账号融合的数据库安全管控目的,元数据仅在大数据平台存储一份,避免元数据冗余情况发生。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1(a)是为现有各应用独享数据源的示意图;
图1(b)是为现有各应用共享数据源的示意图;
图1(c)是本方案多应用多账号融合在一个数据源的示意图;
图2是根据本发明实施例的一种数据管控处理方法的主要流程示意图;
图3是根据本发明实施例的一种可选的数据管控处理方法的流程示意图;
图4是根据本发明实施例的另一种可选的数据管控处理方法的流程示意图;
图5是根据本发明实施例的又一种可选的数据管控处理方法的流程示意图;
图6是根据本发明实施例的又一种可选的数据管控处理方法的流程示意图;
图7是根据本发明实施例的一种数据管控处理系统的主要模块示意图;
图8是本发明实施例可以应用于其中的示例性系统架构图;
图9是适于用来实现本发明实施例的移动设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
需要指出的是,在不冲突的情况下,本发明中的实施例以及实施例中的特征可以互相组合。本发明的技术方案中,所涉及的用户个人信息的采集、分析、使用、传输、存储等方面,均符合相关法律法规的规定,被用于合法且合理的用途,不在这些合法使用等方面之外共享、泄露或出售,并且接受监管部门的监督管理。应当对用户个人信息采取必要措施,以防止对此类个人信息数据的非法访问,确保有权访问个人信息数据的人员遵守相关法律法规的规定,确保用户个人信息安全。
一旦不再需要这些用户个人信息数据,应当通过限制甚至禁止数据收集和/或删除数据的方式将风险降至最低。当适用时,包括在某些相关应用程序中,通过对数据去标识来保护用户隐私,例如在适用时通过移除特定标识符(例如,出生日期等)、控制所存储数据的量或特异性(例如,在城市级别而不是在具体地址级别收集位置数据)、控制数据如何被存储、和/或其他方法去标识。
此处对本方案涉及的词语做解释如下:
数据湖:指一种存储结构,可以存储来自各种来源的各种格式的数据,而无需对数据进行预处理或清理。数据湖通常存储在廉价的、非结构化的数据存储中,如Hadoop分布式文件系统。
元数据:指描述数据的数据,例如数据库表的结构信息。
Restful:表述性状态转移。
数据源:指连接物理数据库的信息,包括数据的访问地址和使用的数据库账号。同时也用于元数据的定位,即通过“数据源名.表名”的方式来明确访问的是哪一张表。
数据权限:指数据源下表访问的权限控制手段。
大数据平台会提供各种开发类的组件,以支持数据的开发使用,例如数据采集组件用于将大数据平台外的数据接入大数据平台;数据集成/复制组件用于对大数据中的相关表进行加工处理以满足特定的业务场景需要;数据服务组件,以服务的形式(Restful接口)暴露对数据库表的使用。而这些组件能在整个平台中协同工作的前提,是有统一的数据安全管控的机制。这个机制通常由三个要素构成:
1、元数据:指数据库中的库表信息,例如数据表名称、数据表包含的字段、字段类型、字段长度等。除了单张表结构定义,元数据通常还会提供元数据的目录清单以供其他组件查询使用。
2、数据源:数据源通常包含两层含义,第一层含义是连接物理数据库的信息,通常包含数据的访问地址,以及使用的数据库账号。其他组件通过查询数据源的配置获取物理数据库的连接信息,然后才能到物理数据库上进行数据操作。数据源的另一个作用,是用于元数据的定位,即通过“数据源名.表名”的方式来明确访问的是哪一张表。不同物理数据库可以存在同名的表,通过数据源的前缀定位,能识别到真正对应具体物理数据库的表。
3、数据权限:除了元数据清单、结构以及数据源的访问外,还需要有相应的权限控制手段,数据源下的表并不是所有的应用都能访问,需要具备特定的权限。
为了进行数据的开发使用,应用开发人员需要定义数据源、发布元数据,或是从数据库采集已经存在的元数据清单及结构。这种开发方式在应用级的开发上可行,应用只关注自身可以使用的数据,没有企业级整体的元数据使用与管控视角。但是在大数据平台上就会存在明显的问题。
参见图1(a)所示,为现有各应用独享数据源的示意图。各应用使用独立账号创建数据源,即使是访问同一个物理数据库也得定义不同的数据源。通过此方案可以明确控制数据的使用范围,每个应用使用独立的账号访问数据。
但这种方式,不支持直接在大数据平台进行数据的授权,需要在物理数据库层面授权后,再反向同步到大数据平台,操作复杂。需要建立大量的数据源,并且每一个数据源下会存在大量重复的元数据。这不仅会造成元数据的重复冗余登记,且在进行统计类操作时,可能会出现明显的错误,因为这些表被重复计算了多次,或是本应识别为同一张表的元数据,因为在不同的数据源下而被认为成不同的表。由于元数据大量冗余登记,对分析、统计信息计算存在重大影响。元数据的变更无法及时在各个数据源同步。
参见图1(b)所示,为现有各应用共享单账号数据源的示意图。平台上只创建一个数据源使用,各应用之间可以共享数据源,但是也共享数据源关联的数据库账号。通过该数据源可以将数据源下的元数据授权给其他应用使用,但是这种授权只能达到逻辑上的数据权限管控,在真正访问数据库时,各应用使用的是同一个数据库账号。
这种方式会造成审计上的困难,无法实现权限的物理层面隔离,一个数据源下只有一个账号,在出现问题时无法快速定位是因为哪个应用的使用引起的。因为使用同一个账号,无法针对不同的应用赋予不同的资源优先级管控。主管应用无法将数据源下的表授权给其他账号,只能登录到后台数据库,执行数据授权操作到其他的应用账号,不仅操作复杂,而且容易出错。
参见图1(c)所示,为本方案多账号融合示意图。大数据平台设置数据源子账号处理模块,用于针对每一个数据源,提供子账号的管理维护功能。具体来说,在一个数据源中,为需要使用该数据源的应用创建一个子账号及对应的密码,并进行保存。即允许通过一个数据源进行跨应用的数据使用与授权,并且将权限同步到物理数据库层面,即使脱离大数据平台,也能够实现数据访问账号隔离,从而实现高效、合规、安全的数据使用与管控。
参见图2,示出的是本发明实施例提供的一种数据管控处理方法的主要流程图,包括如下步骤:
S201:接收应用在元数据发布管理页面中配置的元数据,响应于对发布选项的选择操作,显示数据源名称列表,以接收对其中一个或多个数据源名称的选择操作;
S202:获取与每个数据源名称对应的数据源配置信息,基于每个数据源配置信息中的数据库连接地址和主账号信息,连接并登录每个数据源对应的数据库,在每个数据库中基于所述元数据创建表结构;其中,一个数据源仅对应一个数据库,且仅设置一个数据库主账号信息,主账号信息包括主账号和密码;
S203:响应于表结构创建完毕,触发授权操作,确定应用在每个数据源的子账号信息,以在每个数据库中通过主账号授权子账号对所述表结构具有特定操作权限,以及将每个数据源下应用对所述元数据的操作权限清单同步至本地。
上述实施方式中,数据源和应用通常是数据处理流程中的两个重要组成部分。数据源是一个抽象的概念,其作用是配置“物理数据库”的连接信息,以便后续能通过这个连接信息访问到物理数据库,具体来说,一个数据源通常包含如下表1信息。应用是指利用数据进行数据分析、处理或展示的应用程序、系统或人。
表1数据源配置信息表
对于步骤S201,在大数据平台的库表管理页面中设置元数据输入框,应用可以基于该输入框设计元数据,之后点击“发布”选项,比如在输入框右侧设置“发布”选项。其中元数据指描述数据的数据,例如数据库表的结构信息。
在应用点击发布选项后,跳转至运行态页面,页面中至少包括数据源类型框、数据源名称框两个选项,应用需要选择数据源类型,如Mysql,则数据源名称框会筛选出与Mysql对应的数据源名称列表,应用可以从中选择一个或多个数据源名称,作为待发布元数据的数据源。之后点击运行态页面的“确定”选项,进入发布元数据流程。
对于步骤S202,在通过上述操作选择待发布的元数据以及待发布的数据源后,进行元数据发布操作。本方案设置元数据发布管理模块、数据源查询模块、数据源管理模块,整个发布元数据发布操作通过元数据发布管理模块执行完毕,前述数据源配置信息设置在数据源管理模块中。数据源查询模块提供两个接口,一个不带应用名称的查询接口,一个带应用名称的查询接口。
元数据发布管理模块通过不带应用名称的查询接口,获取数据源配置信息,此处的数据源配置信息主要包括数据库连接地址和主账号信息(包括主账号和密码),基于数据库连接地址连接到数据库,基于主账号和密码登录数据库,需要说明的是,本方案针对每个数据库仅设置一个主账号信息,防止出现多个主账号信息导致登录混乱的情况发生。
对于步骤S203,需要说明的是,数据源的名称在不同环境下都不会改变,但不同环境下可能对应不同的数据库,但同一个环境下,仅对应一个数据库,本方案不考虑跨环境情况,因而限定一个数据源仅对应一个数据库,两者呈一对一的关系。
在连接数据库后,在数据库上执行数据库的变更操作,以基于应用配置的元数据创建表结构,至此元数据变更完成。表结构创建完成后,触发授权操作,本方案还设置数据权限管理模块,通过数据权限管理模块的接口,设置该应用对该表有全部数据操作权限(增、删、改、查权限)。
但应用对表的权限,体现在应用的子账号与表之间权限的映射关系,因而本方案还需要获取该应用在数据源的子账号信息。调用数据源查询模块的带应用名称的查询接口,从数据源中获取应用和子账号信息的对应关系,确定该应用的子账号信息,使用主账号登录数据库,以在数据库中通过主账号授权子账号,使得子账号对表结构具有特定操作权限。
此外,还可以在权限管理模块同步记录应用对该元数据的访问权限,以对大数据平台的本地操作权限清单进行更新,便于后续应用访问该元数据时,其访问权限处于设置的操作权限范围内,简化权限控制操作。且一个数据库可能关联多个应用,不同应用对同一元数据可能具有不同的操作权限,比如有些仅具备查询权限,有些还可以具备增删改权限,因此数据源可以通过主账号对不同应用的操作权限进行管控,进而实现跨应用权限管控的目的。
记录该表的应用为发布应用。后续只有该应用能对该表进行元数据变更维护、删除操作,以及将表的增删改查权限授权给其他应用。需要说明的是,上述操作通常是主管应用操作的,主管应用即数据源的管理维护方。
上述实施例所提供的方法,在一个场景下一个数据源仅对应一个数据库,针对一个数据源仅设置一个主账号,针对不同应用定义不同的数据库子账号,通过主账号连接数据库定义元数据,元数据可以共享,但数据权限体现在子账号上,需要主账号对子账号进行授权,以此实现了权限的物理层面隔离,使得权限的管控逻辑简单化。
参见图3,示出了根据本发明实施例的一种可选的数据管控处理方法流程示意图,包括如下步骤:
S301:响应于对元数据发布管理页面中第一数据源的元数据同步选项的点击操作,显示第一数据源下所有应用列表,接收对其中一个或多个应用的选择操作;
S302:获取与第一数据源的名称对应的第一数据源配置信息,基于第一数据源配置信息中的第一数据库连接地址和第一主账号信息,连接并登录第一数据库,以从第一数据库中获取元数据清单;
S303:响应于获取元数据清单成功,确定每个应用在第一数据源的子账号信息,使用子账号信息和第一数据库地址连接第一数据库,以从第一数据库中获取每个应用对每个元数据的操作权限清单;
S304:将第一数据源、所述所有元数据清单、所述每个应用对每个元数据的操作权限清单存储到本地。
上述实施方式中,元数据发布管理模块除了上述元数据配置发布功能外,还可用于从数据库获取存量数据库表以及元数据,以同步到大数据平台本地。
对于步骤S301,大数据平台中设置数据源管理页面,页面中会显示所有数据源,比如显示10个数据源,并设置新增数据源和批量删除选项,以实现数据源的新增和删除功能。对于现存每个数据源,在每个数据源的右侧设置操作选项,包括但不限于“授权”、“元数据同步”等。
响应于对其中第一数据源的选择操作,点击该第一数据源右侧操作功能的“元数据同步”按钮,触发元数据同步操作,以显示第一数据源下的所有应用列表,用户可以从中选择一个或多个应用。
对于步骤S302,元数据发布管理模块通过不带应用名称的查询接口,获取第一数据源的数据源配置信息,此处的数据源配置信息主要包括第一数据库连接地址和第一主账号信息(包括第一主账号和第一密码),基于第一数据库连接地址连接到第一数据库,基于第一主账号和第一密码登录第一数据库,以从第一数据库获取表清单以及表结构,并进行记录。
对于步骤S303和S304,在元数据清单获取成功的情况下,调用数据源查询模块的带应用名称的查询接口,从数据源中获取应用和子账号信息的对应关系,以确定该应用的子账号信息。之后使用子账号信息和第一数据库连接地址连接第一数据库,根据数据库语法查询子账号有操作权限的表清单。此处子账号可能对每个元数据的操作权限不同,比如有些仅为查看权限,有些则为增、删权限。
将上述第一数据源、所有元数据清单、选择的每个应用对每个元数据的操作权限清单,提交到数据大数据平台的权限管理模块进行存储记录,实现大数据平台中记录的权限信息与物理数据库的权限信息的一致性。
上述实施例所提供的方法,同一个数据库下的元数据清单,只会在大数据平台本地中存储一份,避免元数据的冗余存储,从而进一步提升元数据的质量,实现大数据平台中记录的权限信息与物理数据库的权限信息的一致性。
参见图4,示出了根据本发明实施例的另一种可选的数据管控处理方法流程示意图,包括如下步骤:
S401:响应于在数据权限管理页面中输入的第二数据源的名称,从本地获取第二数据源对应的元数据清单并显示,以接收对其中一个或多个元数据的选择操作;以及显示第二数据源下所有应用列表,以接收对其中一个或多个应用的选择操作;以及针对每个应用和每个元数据选择特定操作权限;
S402:获取第二数据源的名称对应的第二数据源配置信息,基于第二数据源配置信息中的第二数据库连接地址和第二主账号信息,连接并登录第二数据库;
S403:获取每个应用在第二数据源的子账号信息,以通过第二主账号将每个元数据的特定操作权限授权给相应子账号,以及更新本地第二数据源下每个应用对每个元数据的操作权限清单。
上述实施方式中,大数据平台的数据权限管理模块,主要用于将数据的读写权限授权给某一应用。
对于步骤S401,通过图3所示描述,可知将数据源对应的数据库中所有元数据清单、每个应用对每个元数据的操作权限清单,存储到大数据平台本地。响应于对数据权限管理页面中输入的第二数据源的名称,根据第二数据源的名称,查询其对应的第二数据库下的所有元数据清单,之后用户可以从中选择一个或多个元数据,作为待授权元数据。
以及,显示第二数据源下的所有应用列表,用户也可以从中选择一个或多个应用,作为待授权应用。另外,考虑不同应用可能对同一表有不同操作权限,因而可以根据应用和元数据,选择特定操作权限。
对于步骤S402和S403,根据第二数据源的名称,调用“数据源查询模块”不带应用名称的查询接口,以获取第二数据源配置信息,主要使用第二数据库连接地址和第二主账号信息。以及调用带应用名称的查询接口,获取每个应用子账号信息。如果子账号信息不存在,则弹出提示错误信息,如“查询不存在该应用的子账号信息,请先维护处理”。
基于第二数据库连接地址连接到第二数据库,基于第二主账号和第二密码登录第二数据库。使用第二数据库对应的授权语法,将这些元数据的权限分别授权给对应的应用子账号。并在权限管理模块同步记录应用对元数据的访问权限,以对本地操作权限清单进行更新。
上述实施例所提供的方法,一个数据源设置一个数据库主账号,针对不同应用设置不同数据库账号,主账号用于元数据变更以及子账号维护、子账号权限管理,子账号信息用于不同应用连接数据库进行数据操作,以此使得权限的管控逻辑简单化。
参见图5,示出了根据本发明实施例的又一种可选的数据管控处理方法流程示意图,包括如下步骤:
S501:接收应用对第三数据源下有操作权限的表清单获取请求,从本地确定每个数据源下应用有操作权限的表清单并返回展示,以接收从表清单中选取一个或多个表;
S502:接收对每个表中数据的操作指令,获取应用在第三数据源的子账号信息,使用子账号信息连接第三数据源对应的第三数据库;
S503:响应于子账号对第三数据库中表的特定操作权限包括操作指令中的操作,对表执行所述操作指令的操作;
S504:响应于子账号对第三数据库中表的特定操作权限不包括操作指令中的操作,弹出权限不足的提示信息。
上述实施方式中,对于步骤S501,通过图3所示描述,可知将数据源对应的数据库中所有元数据清单、每个应用对每个元数据的操作权限清单,存储到大数据平台本地。因而,可以响应于应用对第三数据源下有操作权限的表清单获取请求,根据第三数据源的名称,查询应用在其下有操作权限的表清单,之后可以从中选择一个或多个表,作为待操作的表。
对于步骤S502~S504,接受应用对表中数据的操作指令,根据选取的数据源,确定应用在数据源的子账号信息,使用子账号信息连接目标数据源对应的目标数据库,以对所述表结构中的数据执行特定操作权限的操作。具体地,使用应用在第三数据源的子账号连接第三数据库。
如果子账号在第三数据库中具备操作指令的权限,则表示可以执行操作,以对第三数据库中选择的表执行操作指令的操作。但如果对应的子账号不具备相应的权限,则第三数据库将提示权限不足,否则就能正常进行数据的读写操作。
上述实施方式可适用于多种需要操作数据的场景,比如数据同步场景,此处的第三数据源是可以包括两个的,比如数据源A和数据源B,基于本地获取数据源A下应用有操作权限的表,以从中选择一个或多个表,假设选择表a,同理,对数据源B下选择了表b。点击运行按钮后,基于应用在数据源A的子账号连接数据库A,在数据源B的子账号连接数据库B,然后基于操作指令进行真正的数据操作,比如读取表a中的数据以写入表b中。
上述实施例提供的方法,在实现大数据平台中记录的权限信息与物理数据库的权限信息的一致性后,可以快速获取应用对数据源下有操作权限的表,进而快速对表进行数据操作。
参见图6,示出了根据本发明实施例的又一种可选的数据管控处理方法流程示意图,包括如下步骤:
S601:响应于应用对第四数据源的配置子账号选项的选择操作,显示子账号维护页面;
S602:响应于对子账号维护页面中自定义账号选项的选择操作,显示自定义账号选项,以接收应用输入的子账号信息,建立应用与子账号信息的映射关系,并存储到第四数据源中;
S603:响应于对子账号维护页面中自动生成账号选项的选择操作,从与第四数据源的名称对应的第四数据源配置信息中,获取第四数据库连接地址和第四主账号信息;
S604:基于第四数据库连接地址连接第四数据库,使用第四主账号信息登录第四数据库进行是否具备创建子账号的权限校验;
S605:接收第四数据库返回的校验结果,响应于校验结果为具备,调用创建账号方式创建子账号信息,建立应用与子账号信息的映射关系,并存储到第四数据源中;响应于校验结果为不具备,返回失败信息。
上述实施方式中,对于步骤S601,大数据平台中设置数据源管理页面,页面中会显示所有数据源,比如显示10个数据源,并设置新增数据源和批量删除选项,以实现数据源的新增和删除功能。对于现存每个数据源,在每个数据源的右侧设置操作选项,包括但不限于“配置子账号”等。
应用选择第四数据源,并点击该第四数据源右侧的“配置子账号”选项,跳转显示子账号维护页面。子账号维护页面中设置自定义账号选项和自动生成账号选项,应用可以基于其需求选择其中一个。
对于步骤S602,对于某些企业在特定数据库不具备能创建子账号权限时,可以提供一个子账号维护页面,由各应用录入自己的数据库子账号和密码。此处的密码是访问数据库的密码,不同的项目使用不同的账号访问数据库,必然需要不同的密码。由此可以建立应用在第四数据源下的子账号和密码。
对于步骤S603~S605,对于自动生成账号场景,根据第四数据源的名称,调用“数据源查询模块”不带应用名称的查询接口,以获取第四数据源配置信息,主要使用第四数据库连接地址和第四主账号信息。基于第四数据库连接地址连接到第四数据库,基于第四主账号和第四密码登录第四数据库。
是否具备创建子账号的权限,取决于配置在数据源中的账号是否具备创建子账号的权限。通常来说,只有数据库的DBA账号(即数据库管理员的账号)才会有创建子账号权限。通过第四数据源中针对第四数据库配置的主账号和密码,连接到第四数据库进行登录校验。
若第四数据库具备创建子账号的权限,校验通过后,创建用户一般的语法为create user‘username’identified by‘password’,即创建账号方式。如果没有权限,一般会提示access denied for user登录账号,表示创建子账号失败。此种情况下,应用可以选择自定义账号选项,以重新设置子账号和密码。
上述实施例所提供的方法,针对不同应用定义不同的数据库子账号,由此将子账号的维护过程嵌入在大数据的开发授权过程,且设计自定义子账号功能和自动配置子账号功能,整体未对应用造成额外的负担,降低对开发人员的专业要求。
本方案还提供有其他组件的数据操作模块。大数据平台中在进行的元数据发布以及数据授权后,后续需要根据这些表及权限进行数据访问及处理,列举两个典型的场景:
1.数据服务组件,应用选取有权限的表,发布成restful服务,在接受读取数据请求时,根据对应数据源信息以及表权限,连接到数据库读取数据,并返回;
2.数据复制组件,分别选取源端数据表、目标端数据表进行数据复制,在选取以及执行数据复制时,需要判断应用有没有数据源对应子账号,以及是否具备对源表的读取权限以及目标表的写入权限。
还有其他的组件,场景类似不再赘述。整体而言,这些数据操作场景的典型执行流程为:
在开发阶段:这些组件调用数据源查询模块、数据权限管理模块,获取有权限的源以及元数据清单。基于这些有权限的元数据清单进行开发并保存发布成服务或作业。
在运行阶段:1)根据数据源、应用获取基于子账号的数据源连接信息,如果子账号不存在则报错。2)使用获取的子账号连接数据库,进行数据的读取写入,如果对应的子账号不具备相应的权限,则数据库将提示权限不足,否则就能正常进行数据的读写操作。
本发明实施例提供的方法,应用于需要安全可控同时又高效进行数据开发与安全使用的场景,相比现有技术至少存在如下有益效果:
1、在一个场景下,一个数据源仅对应一个数据库,针对不同应用定义不同的数据库子账号,由此将子账号的维护过程嵌入在大数据的开发授权过程,未对应用造成额外的负担,降低对开发人员的专业要求。通过一个数据源融合多个应用子账号连接数据库,以此在元数据共享的前提下,实现了权限的物理层面隔离。
2、一个数据源设置一个主账号,主账号用于元数据变更以及子账号维护,子账号用于不同应用连接数据库操作数据。通过数据源查询模块使得在不同场景下返回不同账号,以此使得权限的管控逻辑简单化。
3、同一个数据库下的元数据清单,只会在大数据平台中存储一份,避免元数据的冗余存储,从而进一步提升元数据的质量。即使脱离大数据平台,本方案执行的账号权限体系仍然能够独立可靠运行。
为了达到既能实现安全管控,同时又能高效的管理元数据以及应用数据授权等使用场景,本方案提供了一种融合多个账号的数据安全管控的思路,支持在一个数据源中实现多个应用对元数据的使用管控以及授权,将原本需要通过多个数据源才能实现的场景,在满足合规的前提下,简化为单个数据源即可完成所有的操作,以此既保持了数据使用控制的安全性,同时又提升了应用以及项目的开发体验,满足统一数据使用以及管控的要求。
参见图7,示出了本发明实施例提供的一种数据管控处理系统700的主要模块示意图,包括:
数据源管理模块701,用于管理并保存数据源的配置信息;
元数据发布管理模块702,用于接收应用在元数据发布管理页面中配置的元数据,响应于对发布选项的选择操作,显示数据源名称列表,以接收对其中一个或多个数据源名称的选择操作;基于每个数据源配置信息中的数据库连接地址和主账号信息,连接并登录每个数据源对应的数据库,在每个数据库中基于所述元数据创建表结构;其中,一个数据源仅对应一个数据库,且仅设置一个数据库主账号信息,主账号信息包括主账号和密码;响应于表结构创建完毕,使用主账号信息和数据库连接地址连接每个数据库,通过数据权限管理模块704,触发在每个数据库中通过主账号授权子账号操作;
数据源查询模块703,用于获取与每个数据源名称对应的数据源配置信息,确定应用在每个数据源的子账号信息;
1)不带应用名称的查询接口。在这种场景中,返回“数据源管理模块”中配置的数据源信息,即返回的是主账号信息。这个接口获取的数据源配置信息通常用于元数据的变更管理操作。
2)带应用名称的数据源查询接口。该接口首先需要校验数据源名称与应用名称是否填写,如未填写可直接报错。然后通过“数据源管理模块”获取元数据数据源配置信息(不含主账号),再通过“数据源子账号处理模块”获取应用对应的子账号信息,如果应用对应的子账号信息不存在,则报错,提示无权限。按照接口1组装响应报文,报文中的账号为应用对应的子账号。
所谓接口就是一个链接,接收请求进行处理,然后返回结果。所以通常来说,会有请求报文跟响应报文。例如请求报文:{“数据源配置信息”:“ds1”},请求ds1数据源下的配置信息。响应报文:{“count”:2,账号account:[{“account”:“account 1”,type:“global”},{“account”:“account2”,type:”app”}]},总共两个账号,分别是主账号account 1和子账号account 2。通过本模块,不同的使用场景、不同的应用在获取数据源配置时,可以取得不同的账号信息。
数据权限管理模块704,用于在每个数据库中通过主账号授权子账号对所述表结构具有特定操作权限,以及将每个数据源下应用对所述元数据的操作权限清单同步至本地。
本发明实施系统中,所述元数据发布管理模块702,还用于:
响应于对元数据发布管理页面中第一数据源的元数据同步选项的点击操作,显示第一数据源下所有应用列表,接收对其中一个或多个应用的选择操作;
获取与第一数据源的名称对应的第一数据源配置信息,基于第一数据源配置信息中的第一数据库连接地址和第一主账号信息,连接并登录第一数据库,以从第一数据库中获取元数据清单;
响应于获取元数据清单成功,确定每个应用在第一数据源的子账号信息,使用子账号信息和第一数据库地址连接第一数据库,以从第一数据库中获取每个应用对每个元数据的操作权限清单;
将第一数据源、所述所有元数据清单、所述每个应用对每个元数据的操作权限清单存储到本地。
本发明实施系统中,所述数据权限管理模块704,还用于:
响应于在数据权限管理页面中输入的第二数据源的名称,从本地获取第二数据源对应的元数据清单并显示,以接收对其中一个或多个元数据的选择操作;以及显示第二数据源下所有应用列表,以接收对其中一个或多个应用的选择操作;以及针对每个应用和每个元数据选择特定操作权限;
获取第二数据源的名称对应的第二数据源配置信息,基于第二数据源配置信息中的第二数据库连接地址和第二主账号信息,连接并登录第二数据库;
获取每个应用在第二数据源的子账号信息,以通过第二主账号将每个元数据的特定操作权限授权给相应子账号,以及更新本地第二数据源下每个应用对每个元数据的操作权限清单。
本发明实施系统中,所述数据权限管理模块704,还用于:接收应用对第三数据源下有操作权限的表清单获取请求,从本地确定每个数据源下应用有操作权限的表清单并返回展示,以接收从表清单中选取一个或多个表;
所述数据源查询模块703,还用于:接收对每个表中数据的操作指令,获取应用在第三数据源的子账号信息;
数据操作模块,用于使用子账号信息连接第三数据源对应的第三数据库,响应于子账号对第三数据库中表的特定操作权限包括操作指令中的操作,对表执行所述操作指令的操作;
响应于子账号对第三数据库中表的特定操作权限不包括操作指令中的操作,弹出权限不足的提示信息。
本发明实施系统中,所述数据源查询模块703,用于:调用不带应用名称的查询接口,从与数据源名称对应的数据源配置信息表中,获取数据库连接地址和主账号信息。
本发明实施系统中,所述数据源查询模块703,用于:调用带应用名称的查询接口,从数据源名称对应的数据源中,获取与应用名称对应的子账号信息,以及从数据源名称对应的数据源配置信息表中,获取数据库连接地址。
本发明实施系统中,所述系统还包括数据源子账号处理模块,用于:响应于应用对第四数据源的配置子账号选项的选择操作,显示子账号维护页面;
响应于对子账号维护页面中自定义账号选项的选择操作,显示自定义账号选项,以接收应用输入的子账号信息,建立应用与子账号信息的映射关系,并存储到第四数据源中;
响应于对子账号维护页面中自动生成账号选项的选择操作,从与第四数据源的名称对应的第四数据源配置信息中,获取第四数据库连接地址和第四主账号信息;
基于第四数据库连接地址连接第四数据库,使用第四主账号信息登录第四数据库进行是否具备创建子账号的权限校验;
接收第四数据库返回的校验结果,响应于校验结果为具备,调用创建账号方式创建子账号信息,建立应用与子账号信息的映射关系,并存储到第四数据源中;响应于校验结果为不具备,返回失败信息。
另外,在本发明实施例中所述系统的具体实施内容,在上面所述方法中已经详细说明了,故在此重复内容不再说明。
图8示出了可以应用本发明实施例的示例性系统架构800,包括终端设备801、802、803,网络804和服务器805(仅仅是示例)。
终端设备801、802、803可以是具有显示屏并且支持网页浏览的各种电子设备,安装有各种通讯客户端应用,用户可以使用终端设备801、802、803通过网络804与服务器805交互,以接收或发送消息等。
网络804用以在终端设备801、802、803和服务器805之间提供通信链路的介质。网络804可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
服务器805可以是提供各种服务的服务器,需要说明的是,本发明实施例所提供的方法一般由服务器805执行,相应地,装置一般设置于服务器805中。
应该理解,图8中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图9,其示出了适于用来实现本发明实施例的终端设备的计算机系统900的结构示意图。图9示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示,计算机系统900包括中央处理单元(CPU)901,其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中,还存储有系统900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905:包括键盘、鼠标等的输入部分906;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907;包括硬盘等的存储部分908;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器910上,以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分909从网络上被下载和安装,和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括数据源管理模块、数据源子账号处理模块、数据源查询模块、元数据发布管理模块、数据权限管理模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定。
1)数据源管理模块,用于保存数据源的配置信息;2)数据源子账号处理模块,进行应用与数据库子账号的映射关系管理,以及数据库子账号的创建删除维护;3)数据源查询模块,根据不同的场景返回适配的数据源信息;4)元数据发布管理模块,进行元数据的发布或采集工作,同时给应用赋予对应的数据操作权限;5)数据权限管理模块,进行真正的应用权限往数据库对应账号的落地权限。6)数据操作模块,根据组件的功能场景进行数据的加工处理操作。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备执行上述任一所述的数据管控处理方法。
本发明的计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现本发明实施例中的数据管控处理方法。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (11)
1.一种数据管控处理方法,其特征在于,包括:
接收应用在元数据发布管理页面中配置的元数据,响应于对发布选项的选择操作,显示数据源名称列表,以接收对其中一个或多个数据源名称的选择操作;
获取与每个数据源名称对应的数据源配置信息,基于每个数据源配置信息中的数据库连接地址和主账号信息,连接并登录每个数据源对应的数据库,在每个数据库中基于所述元数据创建表结构;其中,一个数据源仅对应一个数据库,且仅设置一个数据库主账号信息,主账号信息包括主账号和密码;
响应于表结构创建完毕,触发授权操作,确定应用在每个数据源的子账号信息,以在每个数据库中通过主账号授权子账号对所述表结构具有特定操作权限,以及将每个数据源下应用对所述元数据的操作权限清单同步至本地。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于对元数据发布管理页面中第一数据源的元数据同步选项的点击操作,显示第一数据源下所有应用列表,接收对其中一个或多个应用的选择操作;
获取与第一数据源的名称对应的第一数据源配置信息,基于第一数据源配置信息中的第一数据库连接地址和第一主账号信息,连接并登录第一数据库,以从第一数据库中获取元数据清单;
响应于获取元数据清单成功,确定每个应用在第一数据源的子账号信息,使用子账号信息和第一数据库地址连接第一数据库,以从第一数据库中获取每个应用对每个元数据的操作权限清单;
将第一数据源、所述所有元数据清单、所述每个应用对每个元数据的操作权限清单存储到本地。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
响应于在数据权限管理页面中输入的第二数据源的名称,从本地获取第二数据源对应的元数据清单并显示,以接收对其中一个或多个元数据的选择操作;以及显示第二数据源下所有应用列表,以接收对其中一个或多个应用的选择操作;以及针对每个应用和每个元数据选择特定操作权限;
获取第二数据源的名称对应的第二数据源配置信息,基于第二数据源配置信息中的第二数据库连接地址和第二主账号信息,连接并登录第二数据库;
获取每个应用在第二数据源的子账号信息,以通过第二主账号将每个元数据的特定操作权限授权给相应子账号,以及更新本地第二数据源下每个应用对每个元数据的操作权限清单。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
接收应用对第三数据源下有操作权限的表清单获取请求,从本地确定每个数据源下应用有操作权限的表清单并返回展示,以接收从表清单中选取一个或多个表;
接收对每个表中数据的操作指令,获取应用在第三数据源的子账号信息,使用子账号信息连接第三数据源对应的第三数据库;
响应于子账号对第三数据库中表的特定操作权限包括操作指令中的操作,对表执行所述操作指令的操作;
响应于子账号对第三数据库中表的特定操作权限不包括操作指令中的操作,弹出权限不足的提示信息。
5.根据权利要求1-4中任一项所述的方法,其特征在于,获取与数据源名称对应的数据源配置信息的过程,包括:
调用不带应用名称的查询接口,从与数据源名称对应的数据源配置信息表中,获取数据库连接地址和主账号信息。
6.根据权利要求1-4中任一项所述的方法,其特征在于,确定应用在数据源的子账号信息的过程,包括:
调用带应用名称的查询接口,从数据源名称对应的数据源中,获取与应用名称对应的子账号信息,以及从数据源名称对应的数据源配置信息表中,获取数据库连接地址。
7.根据权利要求5所述的方法,其特征在于,所述方法还包括:
响应于应用对第四数据源的配置子账号选项的选择操作,显示子账号维护页面;
响应于对子账号维护页面中自定义账号选项的选择操作,显示自定义账号选项,以接收应用输入的子账号信息,建立应用与子账号信息的映射关系,并存储到第四数据源中;
响应于对子账号维护页面中自动生成账号选项的选择操作,从与第四数据源的名称对应的第四数据源配置信息中,获取第四数据库连接地址和第四主账号信息;
基于第四数据库连接地址连接第四数据库,使用第四主账号信息登录第四数据库进行是否具备创建子账号的权限校验;
接收第四数据库返回的校验结果,响应于校验结果为具备,调用创建账号方式创建子账号信息,建立应用与子账号信息的映射关系,并存储到第四数据源中;响应于校验结果为不具备,返回失败信息。
8.一种数据管控处理系统,其特征在于,包括:
数据源管理模块,用于管理并保存数据源的配置信息;
元数据发布管理模块,用于接收应用在元数据发布管理页面中配置的元数据,响应于对发布选项的选择操作,显示数据源名称列表,以接收对其中一个或多个数据源名称的选择操作;
基于每个数据源配置信息中的数据库连接地址和主账号信息,连接并登录每个数据源对应的数据库,在每个数据库中基于所述元数据创建表结构;其中,一个数据源仅对应一个数据库,且仅设置一个数据库主账号信息,主账号信息包括主账号和密码;
响应于表结构创建完毕,使用主账号信息和数据库连接地址连接每个数据库,通过数据权限管理模块,触发在每个数据库中通过主账号授权子账号操作;
数据源查询模块,用于获取与每个数据源名称对应的数据源配置信息,确定应用在每个数据源的子账号信息;
数据权限管理模块,用于在每个数据库中通过主账号授权子账号对所述表结构具有特定操作权限,以及将每个数据源下应用对所述元数据的操作权限清单同步至本地。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
11.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410164995.9A CN117972785A (zh) | 2024-02-05 | 2024-02-05 | 一种数据管控处理方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410164995.9A CN117972785A (zh) | 2024-02-05 | 2024-02-05 | 一种数据管控处理方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117972785A true CN117972785A (zh) | 2024-05-03 |
Family
ID=90851224
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410164995.9A Pending CN117972785A (zh) | 2024-02-05 | 2024-02-05 | 一种数据管控处理方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117972785A (zh) |
-
2024
- 2024-02-05 CN CN202410164995.9A patent/CN117972785A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113711536B (zh) | 从区块链网络中提取数据 | |
CN113169952B (zh) | 一种基于区块链技术的容器云管理系统 | |
US5966715A (en) | Application and database security and integrity system and method | |
US8819068B1 (en) | Automating creation or modification of database objects | |
US10447737B2 (en) | Delegating administration rights using application containers | |
CN102947797B (zh) | 使用横向扩展目录特征的在线服务访问控制 | |
US8706692B1 (en) | Corporate infrastructure management system | |
CN107196951B (zh) | 一种hdfs系统防火墙的实现方法和防火墙系统 | |
US10733238B2 (en) | Script manager for distributed systems | |
US10592829B2 (en) | Integrating action requests from a plurality of spoke systems at a hub system | |
US10817387B2 (en) | Auto point in time data restore for instance copy | |
US20200084201A1 (en) | Saml sso ux improvements | |
CN109587233A (zh) | 多云容器管理方法、设备及计算机可读存储介质 | |
US10311248B1 (en) | Managing delegated access permissions | |
US8903889B2 (en) | Method, system and article for mobile metadata software agent in a data-centric computing environment | |
US10104163B1 (en) | Secure transfer of virtualized resources between entities | |
US11799839B2 (en) | Cross-regional replication of keys | |
US20140201135A1 (en) | Access Control List (ACL) Generation for Replicated Data | |
You et al. | [Retracted] Research and Design of Docker Technology Based Authority Management System | |
US20230351288A1 (en) | Attachment and detachment of compute instances owned by different tenancies | |
CN117972785A (zh) | 一种数据管控处理方法和系统 | |
US20230063458A1 (en) | Restricted operations due to attachment of compute instances owned by different tenancies | |
US20180069859A1 (en) | Mobile terminal and control method thereof | |
EP3142320B1 (en) | Remote modification of a document database by a mobile telephone device | |
US11995102B2 (en) | Bidirectional data replication with wait for data function |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |