CN117194533A - 一种元数据服务发布方法和系统 - Google Patents
一种元数据服务发布方法和系统 Download PDFInfo
- Publication number
- CN117194533A CN117194533A CN202311473610.9A CN202311473610A CN117194533A CN 117194533 A CN117194533 A CN 117194533A CN 202311473610 A CN202311473610 A CN 202311473610A CN 117194533 A CN117194533 A CN 117194533A
- Authority
- CN
- China
- Prior art keywords
- service
- metadata
- data
- information
- current use
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012800 visualization Methods 0.000 claims abstract description 13
- 238000012216 screening Methods 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 7
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 6
- 230000010354 integration Effects 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及计算机技术领域,提供一种元数据服务发布方法和系统。该方法包括:接入业务系统数据库,采集元数据信息,以建立表元数据信息;根据所述表元数据信息,利用可视化工具构建主题数据集;在接收到当前使用请求时,对当前使用请求进行审批;基于通过审批的当前使用请求,自动配置相应元数据服务发布信息,以实现元数据服务发布,自动配置相应元数据服务发布信息包括:根据当前使用请求中的需求参数,确定发布服务方式;动态生成数据访问服务;生成服务使用信息、服务权限审批。本发明实现了元数据管理与数据服务管理同系统运行及从资源申请到服务的生成、发布的自动化流程,解决了元数据无法直接发布成服务问题和减少服务发布操作流程。
Description
技术领域
本发明涉及计算机技术领域,特别涉及一种元数据服务发布方法和系统。
背景技术
元数据是关于数据的组织、数据域及其关系的信息,简言之,元数据就是描述数据的数据。元数据与数据的不同之处在于:元数据描述的不是特定的实例或记录,IT部门和业务部门都需要高质量的元数据来理解现有数据;元数据是比一般意义上的数据范畴更加广泛的数据,不仅表示数据的类型、名称、值等信息,还提供数据的上下文描述,比如数据的所属业务域、取值范围、数据间的关系、业务规则、数据来源等。按照不同应用领域或功能,元数据一般大致可分为三类:业务元数据、技术元数据和操作元数据。
现有元数据管理系统和服务发布系统大多都是分开独立部署、运行的系统,在将数据对外提供共享时,需要服务发布系统重新配置数据源,将数据源中的数据表发布成服务。而无法基于元数据信息直接发布成服务,也无法基于现有元数据信息构建新的数据集来发布服务。现有方法只解决了单一数据源单表发布服务的问题。事实上,仍存在以下问题:元数据管理系统与数据服务管理系统独立运行,数据之间无法无缝流转,无法直接基于采集的元数据信息发布服务;数据发布过于单一或操作门槛较高,只能基于现有数据源中的表结构或者由数据库管理员编写SQL语句,而自定义的主题数据集无法发布成服务,数据难以发挥更大的价值。此外,元数据维护复杂,表发生变动后元数据管理系统和服务发布系统均需要维护。
因此,有必要提供一种新的元数据服务发布方法,以解决上述问题。
发明内容
本发明意在提供一种元数据服务发布方法和系统,以解决现有技术中因元数据管理系统与数据服务管理系统独立运行造成数据之间无法无缝流转、无法直接基于采集的元数据信息发布服务,自定义的主题数据集无法发布成服务,以及元数据维护复杂等的技术问题,本发明要解决的技术问题通过以下技术方案来实现。
本发明第一方面提出一种元数据服务发布方法,包括:接入业务系统数据库,采集元数据信息,以建立表元数据信息;根据所述表元数据信息,利用可视化工具构建主题数据集;在接收到数据使用者发起的当前使用请求时,对所述当前使用请求进行审批;基于通过审批的当前使用请求,自动配置相应元数据服务发布信息,以实现元数据服务发布,所述自动配置相应元数据服务发布信息包括:根据当前使用请求中的需求参数,确定发布服务方式;动态生成数据访问服务;生成服务使用信息、服务权限审批。
根据可选的实施方式,所述自动配置相应元数据服务发布信息,包括:将元数据服务与表或主题数据集、权限参数、服务请求方法相关联;根据各元数据服务生成时所绑定的元数据,生成服务使用信息,服务使用信息包括返回提示信息,所述返回提示信息包括信息参数、传递参数、调用参数;通过预设模版与数据库中数据服务相关记录信息,组装完成服务使用信息。
根据可选的实施方式,所述根据所述表元数据信息,利用可视化工具构建主题数据集,包括:利用可视化拖拽界面,选择对应的表,通过以下数据处理或数据运算,构建主题数据集:关联、过滤、设置定值参数、限定传输参数;根据筛选条件,筛选元数据以生成相应子数据集。
根据可选的实施方式,在自动配置相应元数据服务发布信息之前,对通过审批的当前使用请求进行主动发布服务和被动发布服务的判断。
根据可选的实施方式,所述接入业务系统数据库,包括:通过配置各数据库的名称、请求地址、端口号、数据库账号的登录名、密码,根据不同的数据源类型,选择不同的驱动来实现对各数据库的接入。
根据可选的实施方式,所述利用可视化工具构建主题数据集,包括:在可视化拖拽界面上,对不同表之间建立关联;创建筛选条件,对特定字段进行筛选,得到满足所述筛选条件的数据集,以用于构建主题数据集。
根据可选的实施方式,根据元数据信息,动态生成数据访问服务,以供用户使用;在生成数据访问服务时,同时绑定相应元数据。
根据可选的实施方式,提供数据资源门户,使得可将不同元数据的数据资源进行目录化展示。
根据可选的实施方式,为所述当前使用请求的数据使用用户提供数据读取接口,以用于提供与所述当前使用请求相对应的数据服务。
本发明第二方面提供一种元数据服务发布系统,采用本发明第一方面所述的元数据服务发布方法,所述元数据服务发布系统包括:元数据管理模块,用于接入业务系统数据库,采集元数据信息,以建立表元数据信息;根据所述表元数据信息,利用可视化工具构建主题数据集;元数据服务管理模块,在接收到数据使用者发起的当前使用请求时,对所述当前使用请求进行审批;基于通过审批的当前使用请求,自动配置相应元数据服务发布信息,以实现元数据服务发布,所述自动配置相应元数据服务发布信息包括:根据当前使用请求中的需求参数,确定发布服务方式;动态生成数据访问服务;生成服务使用信息、服务权限审批;数据资源门户,用于将不同元数据的数据资源进行目录化展示,使得数据使用者查看或定位所需的数据资源,并用于发起数据订阅申请。
本发明第三方面提供一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明第一方面所述的方法。
本发明第四方面提供一种计算机可读介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现本发明第一方面所述的方法。
本发明实施例包括以下优点:
与现有技术相比,本发明基于表的元数据信息通过关联、筛选、运算构建主题数据集,支持表的元数据信息和主题数据集发布成相应服务,通过参数配置、参数限定,能够有效保证数据安全;通过自动配置相应元数据服务发布信息,能够有效实现元数据服务发布,能够实现从元数据采集到元数据发布在同系统的一体化。
附图说明
图1是本发明的元数据服务发布方法的一示例的步骤流程图;
图2是本发明的元数据服务发布方法的一具体应用示例的示意图;
图3是应用本发明的元数据服务发布方法中可视化拖拽界面的一示例的示意图;
图4是应用本发明的元数据服务发布方法中主题数据集管理的界面的一示例的示意图;
图5是本发明的元数据服务发布系统的一示例的结构框图;
图6是本发明的一个实施例的计算机设备的结构示意图;
图7是本发明的一个实施例的计算机程序产品的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
鉴于上述问题,本发明提出一种元数据服务发布方法,基于表的元数据信息通过关联、筛选、运算构建主题数据集,支持表的元数据信息和主题数据集发布成相应服务,通过参数配置、参数限定,能够有效保证数据安全;通过自动配置相应元数据服务发布信息,能够有效实现元数据服务发布;能够实现从元数据采集到元数据发布在同系统的一体化。下面参照图1、图2、图3和图4,将对本发明的内容进行详细说明。
图1是本发明的元数据服务发布方法的一示例的步骤流程图。图2是本发明的元数据服务发布方法的一具体应用示例的示意图。
如图1所示,本发明的元数据服务发布方法包括以下步骤。
首先,在步骤S101中,接入业务系统数据库,采集元数据信息,以建立表元数据信息。
在图2的示例中,将业务系统数据库接入数据元管理模块。具体通过配置各数据库的名称、请求地址、端口号、数据库账号的登录名、密码,根据不同的数据源类型,选择不同的JDBC(java database connectivity)驱动来实现对各数据库的接入。
对于不同类型的数据源,其元数据会存储在不同的位置。例如mysql数据库的元数据在information_schema中,postgresql数据库的元数据存储在pg_class等位置中,根据不同类型的数据源从不同的位置获取所需要的元数据,并存入业务系统中各自业务数据库的对应表。
通过接入不同业务系统数据库,采集不同的元数据及元数据信息。
进一步根据不同的元数据及元数据信息,建立表元数据信息。将所采集的元数据及元数据信息存储到元数据库。
需要说明的是,在本发明中,元数据包括业务元数据、技术元数据、操作元数据。所述业务元数据包括:业务定义、业务术语解释等;业务指标名称、计算口径、衍生指标等;业务引擎的规则、数据质量检测规则、数据挖掘算法等;数据的安全或敏感级别等。技术元数据是结构化处理后的数据,方便计算机或数据库对数据进行识别、存储、传输和交换。技术元数据可服务于开发人员,让开发人员更加明确数据的存储、结构,从而为应用开发和系统集成奠定基础。技术元数据也可服务于业务人员,通过元数据厘清数据关系,让业务人员更快速地找到想要的数据,进而对数据的来源和去向进行分析,支持数据血缘追溯和影响分析。所述技术元数据包括:物理数据库表名称、列名称、字段长度、字段类型、约束信息、数据依赖关系等;数据存储类型、位置、数据存储文件格式或数据压缩类型等;字段级血缘关系、SQL脚本信息、ETL信息、接口程序等;调度依赖关系、进度和数据更新频率等。所述操作元数据描述数据的操作属性,包括管理部门、管理责任人等。
需要说明的是,上述仅作为可选示例进行说明,不能理解成对本发明的限制。
接下来,在步骤S102中,根据所述表元数据信息,利用可视化工具构建主题数据集。
在一具体实施方式中,利用可视化拖拽界面,选择对应的表,通过以下数据处理或数据运算,构建主题数据集:关联、过滤、设置定值参数、限定传输参数;根据筛选条件,筛选元数据以生成相应子数据集。
具体地,在可视化拖拽界面上,对不同表之间建立关联。例如,如图3所示的可视化拖拽界面上,对表B1(例如测试学生表)和对表B2(例如测试结果表)建立左联关系,并进行过滤。
例如,所述关联包括左联、右联、内联、外联、笛卡尔积,等等。
所述过滤例如为大于指定值、小于指定值、等于指定值、指定值非空、指定值为空。所述指定值例如为在上文过滤的时所设定的值。所述限定传输参数是指是否使用分页查询的操作,即在select语句后面使用limit和offset从句。当不使用限定传输参数时,则返回例如限制数量的返回结果。例如limit和offset所设置的返回结果为数量和偏移量,比如limit所设置的数量为10,offset所设置的数量为20(具体表示从第21条开始获取10条结果)。当不指定传输参数时,则不会对返回结果中的数量进行限制。可选地,返回结果的结构不发生变化。
所述构建主题数据集还包括创建筛选条件。具体对特定字段进行筛选,得到满足所述筛选条件的数据集,以用于构建主题数据集。
例如,A表中有人员ID、姓名、性别、年龄字段,B表中有人员ID、姓名、公司名称字段。建立30岁以上人员就职单位主题数据集,需要将A表和B表关联,通过人员ID字段进行关联。
所述创建筛选条件包括将年龄设置为大于指定年龄,例如年龄>30岁。根据所述筛选条件,可生成满足所述筛选条件的数据集。
需要说明的是,在本示例中,本发明的系统中只保存数据集的逻辑,不存储相关数据。上述仅作为可选示例进行说明,不能理解成对本发明的限制。
在一可选实施方式中,还包括对所构建的主题数据集进行管理。具体包括对不同主题数据集的分类管理。例如通过在可视化界面上进行新增、修改、查询、删除的操作,以完成对各主题数据集的新增、修改、删除、查询的操作。例如,在图4所示的主题数据集管理的界面中,左侧是主题数据集的分类展示与管理,右侧是主题数据集的展示与管理。
在另一可选实施方式中,还包括对不同元数据的数据源进行管理。可接入支持各类关系型数据库、半结构化文件、NoSql数据库等数据源。例如系统内部包括支持各类数据源的访问引擎来支撑对各类型数据源的访问。
通过采集元数据信息实现元数据信息的采集,同时支持元数据业务描述信息(即业务元数据)的维护,由此能够帮助用户查询和使用各元数据。
需要说明的是,上述仅作为可选示例进行说明,不能理解成对本发明的限制。
接下来,在步骤S103中,在接收到数据使用者发起的当前使用请求时,对所述当前使用请求进行审批。
具体地,所述数据使用者例如为上游业务系统开发人员、业务分析人员、管理系统的管理人员等。
在一具体实施方式中,在接收到数据使用者发起的当前使用请求时,向数据使用者返回填写界面,在所述填写界面上,数据使用者可在相应位置填写申请人、邮箱号、使用时间等信息。例如通过管理员完成当前使用请求的审批。对于通过审批的使用请求,会动态创建相应数据服务。而对于未通过审批的使用请求,则向数据使用者返回例如请求失败等信息。
需要说明的是,上述仅作为可选示例进行说明,不能理解成对本发明的限制。
接下来,在步骤S104中,基于通过审批的当前使用请求,自动配置相应元数据服务发布信息,以实现元数据服务发布,所述自动配置相应元数据服务发布信息包括:根据当前使用请求中的需求参数,确定发布服务方式;动态生成数据访问服务;生成服务使用信息、服务权限审批。
在一具体实施方式中,根据当前使用请求中的需求参数,确定发布服务方式;动态生成数据访问服务;生成服务使用信息、服务权限审批。
具体地,所述发布服务方式包括主动发布服务方式和被动发布服务方式。所述主动发布服务由数据提供者进行操作,例如数据提供者登录系统,选择指定的元数据信息或者主题数据集,通过设置服务名称、设置服务请求地址、设置服务访问权限、设置服务有效时间,完成上述操作后即成功发布服务。所述被动发布服务由数据使用者发起,例如通过数据提供者确认。数据使用者登录系统,选择需要请求的数据,填写申请单。例如数据提供者登录系统,对包含使用请求的申请单进行审批,审批通过后,自动完成服务发布。
在一可选实施方式中,在自动配置相应元数据服务发布信息之前,对通过审批的当前使用请求进行主动发布服务和被动发布服务的判断。
具体地,根据当前使用请求中的需求参数(例如用户参数、所需的元数据类型),确定发布服务方式。
具体将元数据服务与表或主题数据集、权限参数、服务请求方法相关联。根据各元数据服务生成时所绑定的元数据,生成服务使用信息,服务使用信息包括返回提示信息,所述返回提示信息包括信息参数、传递参数、调用参数。
具体地,所述信息参数例如为接口返回的提示信息(诸如调用成功,服务信息有误,无效授权,表不存在等信息),接口调用的状态码(例如为0,1,2,3等)。传递参数包括与名称、人名等相关的参数。例如现在有一个可以获取人员信息的服务,例如具体想获取名称叫“小*”的用户信息,则在传递参数里设置name=小*即可。调用参数包括当前请求的页面、页面的限制数量、等与页面相关的参数。例如使用page、limit等表示。
通过预设模版与数据库(例如业务系统数据库)中数据服务相关记录信息,组装完成服务使用信息。
接着,根据元数据信息,动态生成数据访问服务,以供用户使用。
具体地,所述动态生成数据服务例如采用程序完成。具体地,在spring boot(java平台的开源应用框架)开发中正常情况下,每个服务都需要开发一个RestController与之对应,本发明通过一个共用的RestController,通过获取url中的PathVariable,去匹配存储在数据库中的服务代码,然后再进行这个服务代码涉及到的各类操作。
以下面地址为例:http://122.168***/backend/rest/student,其中student即是PathVariable,在编写程序时,与@RequestMapping("/backend/rest/{name}")注解配合使用,通过在参数列表中使用注解@PathVariable("name"),来获取student这个服务代码。
需要说明的是,在本发明中,无论是主动发布服务方式,或是被动发布服务方式,都需要在数据库里记录例如数据访问服务的相对请求地址,数据访问服务关联的表或主题数据集、所需的元数据、权限参数、服务请求方法等。此外,RestCongtroller是springboot中的一个注解,用于使用在类上,表明这个类是用来处理restful风格的请求,且返回的结果会自动封装为json的数据格式。上述仅作为可选示例进行说明,不能理解成对本发明的限制。
对于服务权限审批,通过权限参数进行服务权限审批,以实现对服务调用的控制。对于一个需要权限才能调用的服务,需要在请求该服务时候提供token,当未提供token时将报错。
当调用数据访问服务时,根据当前使用请求(例如请求url),从相应表中获得当前使用请求(例如该请求url对应的服务)的相关描述信息。例如根据数据访问服务的数据源类型,来选择不同类型的执行引擎,再根据数据访问服务的例如请求方法、所需元数据等其他参数,来完成元数据的增加、删除、修改、查看等操作。
具体地,在生成数据访问服务时,同时绑定与所述数据访问服务相对应的元数据(即相应元数据)。
在一可选实施方式中,提供数据资源门户,可将不同元数据的数据资源进行目录化展示,以便于数据使用者查看和定位所需的数据资源。并且,还可在数据资源门户发起数据订阅申请等。
优选地,为所述当前使用请求的数据使用用户提供数据读取接口,以用于提供与所述当前使用请求相对应的数据服务。
在一具体实施方式中,例如管理员通过收集数据使用者的需求,主动完成服务发布的配置,根据所需求的元数据,选择对应的表或者主题数据集,设置服务名称和服务代码,筛选所需要的元数据,设置权限,最终完成服务发布。
需要说明的是,上述仅作为可选示例进行说明,不能理解成对本发明的限制。此外,附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以例如在多个模块中同步或异步执行的。
与现有技术相比,本发明基于表的元数据信息通过关联、筛选、运算构建主题数据集,支持表的元数据信息和主题数据集发布成相应服务,通过参数配置、参数限定,能够有效保证数据安全;通过自动配置相应元数据服务发布信息,能够有效实现元数据服务发布,能够实现从元数据采集到元数据发布在同系统的一体化。
下述为本发明系统实施例,可以用于执行本发明方法实施例。对于本发明系统实施例中未披露的细节,请参照本发明方法实施例。
图5是根据本发明的元数据服务发布系统的一示例的结构示意图。
参照图5,本公开第二方面提供一种元数据服务发布系统500,采用本发明第一方面所述的元数据服务发布方法,所述元数据服务发布系统500包括元数据管理模块510、元数据服务管理模块520和数据资源门户530。
在一具体实施方式中,所述元数据服务发布系统500还包括位于前端的可视化界面540。元数据管理模块510用于接入业务系统数据库,采集元数据信息,以建立表元数据信息。根据所述表元数据信息,利用可视化工具构建主题数据集。元数据服务管理模块520在接收到数据使用者发起的当前使用请求时,对所述当前使用请求进行审批;基于通过审批的当前使用请求,自动配置相应元数据服务发布信息,以实现元数据服务发布,所述自动配置相应元数据服务发布信息包括:根据当前使用请求中的需求参数,确定发布服务方式;动态生成数据访问服务;生成服务使用信息、服务权限审批。数据资源门户530用于将不同元数据的数据资源进行目录化展示,使得数据使用者查看或定位所需的数据资源,并用于发起数据订阅申请。
在一可选实施方式中,元数据服务管理模块520可接入支持各类关系型数据库、半结构化文件、NoSql数据库等数据源,所述元数据服务发布系统500的内部需要实现各类数据源的访问引擎来支撑对各类型数据源的访问。
进一步地,元数据服务管理模块520包括动态生成数据服务、生成服务使用信息、进行服务权限审批、确定服务调用的执行引擎等功能。
在一具体实施方式中,采用元数据服务管理模块520接入一个业务系统数据库,通过表管理功能采集业务系统的表元数据信息,并对所采集的表添加业务描述信息。用户可根据采集的元数据信息创建数据集,数据集可在同一个数据源中选择不同的表,通过表之间的关联、数据筛选等操作形成新的业务主题数据集。例如表元数据信息和主题数据集可通过元数据服务管理模块520创建数据服务。
此外,所述元数据服务管理模块520还可对外提供数据读取接口。
可选地,元数据信息和主题数据集可通过数据资源门户530对外展示。在数据使用者发起申请时会动态创建数据服务,提供数据读取接口,为其他应用系统提供数据服务。
将元数据服务与表或主题数据集、权限参数、服务请求方法相关联。
根据各元数据服务生成时所绑定的元数据,生成服务使用信息,服务使用信息包括返回提示信息,所述返回提示信息包括信息参数、传递参数、调用参数;通过预设模版与数据库中数据服务相关记录信息,组装完成服务使用信息。
在一可选实施方式中,所述根据所述表元数据信息,利用可视化工具构建主题数据集,具体包括利用可视化拖拽界面,选择对应的表,通过以下数据处理或数据运算,构建主题数据集:关联、过滤、设置定值参数、限定传输参数;根据筛选条件,筛选元数据以生成相应子数据集。
在一可选实施方式中,在自动配置相应元数据服务发布信息之前,对通过审批的当前使用请求进行主动发布服务和被动发布服务的判断。
在一可选实施方式中,通过配置各数据库的名称、请求地址、端口号、数据库账号的登录名、密码,根据不同的数据源类型,选择不同的驱动来实现对各数据库的接入。
在一可选实施方式中,在可视化拖拽界面上,对不同表之间建立关联;创建筛选条件,对特定字段进行筛选,得到满足所述筛选条件的数据集,以用于构建主题数据集。在一可选实施方式中,根据元数据信息,动态生成数据访问服务,以供用户使用。在生成数据访问服务时,同时绑定相应元数据。
在一可选实施方式中,所述元数据服务发布系统为所述当前使用请求的数据使用用户提供数据读取接口,以用于提供与所述当前使用请求相对应的数据服务。
通过在同一个系统上进行元数据采集,利用可视化拖拽界面,选择对应的表,通过以下数据处理或数据运算,构建主题数据集:关联、过滤、设置定值参数、限定传输参数;根据筛选条件,筛选元数据以生成相应子数据集;;在数据使用者发起申请时会动态创建数据服务,提供数据读取接口,为其他应用系统提供数据服务;基于通过审批的当前使用请求,自动配置相应元数据服务发布信息,以实现元数据服务发布;还提供可视化界面以用于显示各元数据、数据服务等。由此,本发明的元数据服务发布系统实现了从元数据采集到元数据发布在同系统的一体化。
需要说明的是,由于所述元数据服务发布系统执行的元数据服务发布方法与图1中的元数据服务发布方法大致相同,因此,省略了对该相同部分的说明。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于系统中,也可以进行相应变化唯一不同于本实施例的一个或多个系统中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
下面描述本发明的计算机设备实施例,该计算机设备可以视为对于上述本发明的方法和系统实施例的具体实体实施方式。对于本发明计算机设备实施例中描述的细节,应视为对于上述方法或系统实施例的补充;对于在本发明计算机设备实施例中未披露的细节,可以参照上述方法或系统实施例来实现。
图6是本发明的一个实施例的计算机设备的结构示意图,该计算机设备包括处理器和存储器,所述存储器用于存储计算机可执行程序,当所述计算机程序被所述处理器执行时,所述处理器执行图1的方法。
如图6所示,计算机设备以通用计算设备的形式表现。其中处理器可以是一个,也可以是多个并且协同工作。本发明也不排除进行分布式处理,即处理器可以分散在不同的实体设备中。本发明的计算机设备并不限于单一实体,也可以是多个实体设备的总和。
所述存储器存储有计算机可执行程序,通常是机器可读的代码。所述计算机可读程序可以被所述处理器执行,以使得计算机设备能够执行本发明的方法,或者方法中的至少部分步骤。
所述存储器包括易失性存储器,例如随机存取存储单元(RAM)和/或高速缓存存储单元,还可以是非易失性存储器,如只读存储单元(ROM)。
可选的,该实施例中,计算机设备还包括有I/O接口,其用于计算机设备与外部的设备进行数据交换。I/O接口可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
应当理解,图6显示的计算机设备仅仅是本发明的一个示例,本发明的计算机设备中还可以包括上述示例中未示出的元件或组件。例如,有些计算机设备中还包括有显示屏等显示单元,有些计算机设备还包括人机交互元件,例如按钮、键盘等。只要该计算机设备能够执行存储器中的计算机可读程序以实现本发明方法或方法的至少部分步骤,均可认为是本发明所涵盖的计算机设备。
图7是本发明的一个实施例的计算机程序产品的示意图。如图7所示,计算机程序产品中存储有计算机可执行程序,所述计算机可执行程序被执行时,实现本发明上述方法。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
通过以上对实施方式的描述,本领域的技术人员易于理解,本发明可以由能够执行特定计算机程序的硬件来实现,例如本发明的系统,以及系统中包含的电子处理单元、服务器、客户端、手机、控制单元、处理器等。本发明也可以由执行本发明的方法的计算机软件来实现,例如由微处理器、电子控制单元,客户端、服务器端等执行的控制软件来实现。但需要说明的是,执行本发明的方法的计算机软件并不限于由一个或特定个的硬件实体中执行,其也可以是由不特定具体硬件的以分布式的方式来实现。对于计算机软件,软件产品可以存储在一个计算机可读的存储介质(可以是CD-ROM,U盘,移动硬盘等)中,也可以分布式存储于网络上,只要其能使得计算机设备执行根据本发明的方法。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,本发明不与任何特定计算机、虚拟装置或者计算机设备固有相关,各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种元数据服务发布方法,其特征在于,包括:
接入业务系统数据库,采集元数据信息,以建立表元数据信息;
根据所述表元数据信息,利用可视化工具构建主题数据集;
在接收到数据使用者发起的当前使用请求时,对所述当前使用请求进行审批;
基于通过审批的当前使用请求,自动配置相应元数据服务发布信息,以实现元数据服务发布,所述自动配置相应元数据服务发布信息包括:根据当前使用请求中的需求参数,确定发布服务方式;动态生成数据访问服务;生成服务使用信息、服务权限审批。
2.根据权利要求1所述的元数据服务发布方法,其特征在于,所述自动配置相应元数据服务发布信息,包括:
将元数据服务与表或主题数据集、权限参数、服务请求方法相关联;
根据各元数据服务生成时所绑定的元数据,生成服务使用信息,服务使用信息包括返回提示信息,所述返回提示信息包括信息参数、传递参数、调用参数;
通过预设模版与数据库中数据服务相关记录信息,组装完成服务使用信息。
3.根据权利要求1所述的元数据服务发布方法,其特征在于,所述根据所述表元数据信息,利用可视化工具构建主题数据集,包括:
利用可视化拖拽界面,选择对应的表,通过以下数据处理或数据运算,构建主题数据集:关联、过滤、设置定值参数、限定传输参数;
根据筛选条件,筛选元数据以生成相应子数据集。
4.根据权利要求1所述的元数据服务发布方法,其特征在于,
在自动配置相应元数据服务发布信息之前,对通过审批的当前使用请求进行主动发布服务和被动发布服务的判断。
5.根据权利要求1所述的元数据服务发布方法,其特征在于,所述接入业务系统数据库,包括:
通过配置各数据库的名称、请求地址、端口号、数据库账号的登录名、密码,根据不同的数据源类型,选择不同的驱动来实现对各数据库的接入。
6.根据权利要求1所述的元数据服务发布方法,其特征在于,所述利用可视化工具构建主题数据集,包括:
在可视化拖拽界面上,对不同表之间建立关联;
创建筛选条件,对特定字段进行筛选,得到满足所述筛选条件的数据集,以用于构建主题数据集。
7.根据权利要求1所述的元数据服务发布方法,其特征在于,
根据元数据信息,动态生成数据访问服务,以供用户使用;
在生成数据访问服务时,同时绑定相应元数据。
8.根据权利要求1所述的元数据服务发布方法,其特征在于,
提供数据资源门户,使得可将不同元数据的数据资源进行目录化展示。
9.根据权利要求1所述的元数据服务发布方法,其特征在于,
为所述当前使用请求的数据使用用户提供数据读取接口,以用于提供与所述当前使用请求相对应的数据服务。
10.一种元数据服务发布系统,采用权利要求1至9中任一项所述的元数据服务发布方法,其特征在于,所述元数据服务发布系统包括:
元数据管理模块,用于接入业务系统数据库,采集元数据信息,以建立表元数据信息;根据所述表元数据信息,利用可视化工具构建主题数据集;
元数据服务管理模块,在接收到数据使用者发起的当前使用请求时,对所述当前使用请求进行审批;基于通过审批的当前使用请求,自动配置相应元数据服务发布信息,以实现元数据服务发布,所述自动配置相应元数据服务发布信息包括:根据当前使用请求中的需求参数,确定发布服务方式;动态生成数据访问服务;生成服务使用信息、服务权限审批;
数据资源门户,用于将不同元数据的数据资源进行目录化展示,使得数据使用者查看或定位所需的数据资源,并用于发起数据订阅申请。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311473610.9A CN117194533A (zh) | 2023-11-08 | 2023-11-08 | 一种元数据服务发布方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311473610.9A CN117194533A (zh) | 2023-11-08 | 2023-11-08 | 一种元数据服务发布方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117194533A true CN117194533A (zh) | 2023-12-08 |
Family
ID=88990992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311473610.9A Pending CN117194533A (zh) | 2023-11-08 | 2023-11-08 | 一种元数据服务发布方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117194533A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101669113A (zh) * | 2007-04-27 | 2010-03-10 | 微软公司 | 从表单和表元数据中导出web服务接口的方法 |
CN107622055A (zh) * | 2016-07-13 | 2018-01-23 | 航天科工智慧产业发展有限公司 | 一种快速实现数据服务发布的方法 |
US20180307856A1 (en) * | 2017-04-19 | 2018-10-25 | Electronics And Telecommunications Research Institute | System and method for managing metadata |
CN109739893A (zh) * | 2018-12-28 | 2019-05-10 | 上海连尚网络科技有限公司 | 一种元数据管理方法、设备及计算机可读介质 |
CN114036130A (zh) * | 2021-11-09 | 2022-02-11 | 中国建设银行股份有限公司 | 一种元数据分析处理方法及装置 |
CN115905225A (zh) * | 2022-11-14 | 2023-04-04 | 广州市玄武无线科技股份有限公司 | 一种数据服务的发布系统、方法、设备和计算机存储介质 |
CN116521865A (zh) * | 2023-03-31 | 2023-08-01 | 广东南方财经控股有限公司 | 一种基于自动识别技术的元数据分类方法、存储介质及系统 |
CN116561114A (zh) * | 2022-12-09 | 2023-08-08 | 贵州乌江水电开发有限责任公司 | 一种基于元数据的管理方法 |
-
2023
- 2023-11-08 CN CN202311473610.9A patent/CN117194533A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101669113A (zh) * | 2007-04-27 | 2010-03-10 | 微软公司 | 从表单和表元数据中导出web服务接口的方法 |
CN107622055A (zh) * | 2016-07-13 | 2018-01-23 | 航天科工智慧产业发展有限公司 | 一种快速实现数据服务发布的方法 |
US20180307856A1 (en) * | 2017-04-19 | 2018-10-25 | Electronics And Telecommunications Research Institute | System and method for managing metadata |
CN109739893A (zh) * | 2018-12-28 | 2019-05-10 | 上海连尚网络科技有限公司 | 一种元数据管理方法、设备及计算机可读介质 |
CN114036130A (zh) * | 2021-11-09 | 2022-02-11 | 中国建设银行股份有限公司 | 一种元数据分析处理方法及装置 |
CN115905225A (zh) * | 2022-11-14 | 2023-04-04 | 广州市玄武无线科技股份有限公司 | 一种数据服务的发布系统、方法、设备和计算机存储介质 |
CN116561114A (zh) * | 2022-12-09 | 2023-08-08 | 贵州乌江水电开发有限责任公司 | 一种基于元数据的管理方法 |
CN116521865A (zh) * | 2023-03-31 | 2023-08-01 | 广东南方财经控股有限公司 | 一种基于自动识别技术的元数据分类方法、存储介质及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10291704B2 (en) | Networked solutions integration using a cloud business object broker | |
CN102770849B (zh) | 当应用基于用户的安全性时优化数据高速缓存 | |
US10002170B2 (en) | Managing a table of a database | |
US20150310049A1 (en) | Managing an index of a table of a database | |
JP7266354B2 (ja) | データ匿名化 | |
US11720825B2 (en) | Framework for multi-tenant data science experiments at-scale | |
JP2014194813A (ja) | ワークフロー生成、配置、及び/又は実行のためのシステム、方法、及びグラフィカルユーザインターフェイス | |
CN108509339A (zh) | 基于浏览器和思维导图的测试用例生成方法、装置及设备 | |
CN109074265A (zh) | 移动云服务的预先形成的指令 | |
CN113987541A (zh) | 数据访问控制方法、装置及电子设备 | |
US20170140160A1 (en) | System and method for creating, tracking, and maintaining big data use cases | |
CN111177671A (zh) | 一种数据管理平台、方法及电子设备 | |
US11263267B1 (en) | Apparatuses, methods, and computer program products for generating interaction vectors within a multi-component system | |
CN113220633A (zh) | 统一文件编码管理方法及系统 | |
US10152315B1 (en) | Live rule deployment with deployment log | |
CN110362630A (zh) | 数据管理方法、装置、设备与计算机可读存储介质 | |
CN114239511A (zh) | 填充数据的方法和填充数据的装置 | |
US20110289041A1 (en) | Systems and methods for managing assignment templates | |
US11709750B2 (en) | Dynamically mapping software infrastructure utilization | |
US20210248152A1 (en) | Data prioritization based on determined time sensitive attributes | |
CN112905978A (zh) | 权限管理方法和装置 | |
US20210035115A1 (en) | Method and system for provisioning software licenses | |
Dissanayake | A study on real-time database technology and its applications | |
CN117194533A (zh) | 一种元数据服务发布方法和系统 | |
US20220337569A1 (en) | Systems, methods, and devices for automation and integration of credentialing and authentication in workflows associated with computing platforms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20231208 |
|
RJ01 | Rejection of invention patent application after publication |