CN110795422A - 一种数据服务管理方法及系统 - Google Patents
一种数据服务管理方法及系统 Download PDFInfo
- Publication number
- CN110795422A CN110795422A CN201910866751.4A CN201910866751A CN110795422A CN 110795422 A CN110795422 A CN 110795422A CN 201910866751 A CN201910866751 A CN 201910866751A CN 110795422 A CN110795422 A CN 110795422A
- Authority
- CN
- China
- Prior art keywords
- data
- standard
- central
- type
- shared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据服务管理方法,包括:设定并发布数据标准;审核数据提供方注册的共享数据模型,建立标准数据表;通过标准数据表获取数据提供方的上传的原始数据;对原始数据进行质量管理操作;构建中心库数据关系表;根据中心库数据关系表对标准数据进行数据集成操作,将中心库数据表存储于中心库;根据中心库数据表及共享数据模型建立资源共享目录;审核数据需求方通过资源共享目录上传的权限申请,向通过审核的数据需求方发送数据。相应地,本发明公开了一种数据服务管理系统。采用本发明,能及时维护数据标准,提高数据整合度及数据质量,减少管理员的工作量,同时提高共享数据的传输效率,优化数据共享体验。
Description
技术领域
本发明涉及数据库技术,尤其涉及一种数据服务管理方法及系统
背景技术
当前各大高校在信息化基础设施、信息系统、教育技术、用户服务方面取得了长足进展。普遍做法是基于国标收集业务系统数据形成统一标准中心库,再利用共享工具共享数据,基本解决了数据收集、处理、整合、共享等过程。
对比文件CN 105512167 B公开了一种基于混合数据库的多业务用户的数据管理方法,其特征在于,包括如下步骤:S1:将用户数据导入到系统出口入口模块;S2:对所述用户数据进行数据分类;S3:对经分类后的用户数据进行筛选和清洗;S4:对经筛选和清洗后的用户数据进行基础整合;S5:对经基础整合后的用户数据进行二次整合;S6:对经二次整合后的用户数据进行存储。
但是,现有的数据服务管理方法具有以下缺点:
1、数据标准线下记录,且数据标准差异大,维护工作量大。
2、数据来源众多且分散,缺少真正有效整合。
3、无法自动识别数据质量问题,往往等到使用部门在使用数据时遇到诸多问题时才进行反馈。
4、业务系统数据需求集中由管理员收集后进行相关处理完成数据交换,业务人员无法参与,加大数据管理员工作量。
5、不同业务部门的数据共享平台不统一,数据共享方式较为单一。
发明内容
本发明所要解决的技术问题在于,提供一种数据服务管理方法及系统,能及时维护数据标准,提高数据整合度及数据质量,减少管理员的工作量,同时提高共享数据的传输效率,优化数据共享体验。
为了解决上述技术问题,本发明提供一种数据服务管理方法,包括:设定并发布数据标准;根据数据标准审核数据提供方注册的共享数据模型,根据通过审核的共享数据模型建立标准数据表;通过标准数据表获取数据提供方的上传的原始数据;对原始数据进行质量管理操作,生成标准数据;构建中心库数据关系表;根据中心库数据关系表对标准数据进行数据集成操作以生成中心库数据表,将中心库数据表存储于中心库;根据中心库数据表及共享数据模型建立资源共享目录;审核数据需求方通过资源共享目录上传的权限申请,向通过审核的数据需求方发送数据。
作为上述方案的改进,数据标准包括数据项标准及代码标准;根据数据标准审核数据提供方注册的共享数据模型的步骤包括:根据数据项标准对共享数据模型中的数据项进行标准化;对原始数据进行质量管理操作包括:根据代码标准对原始数据的代码内容进行标准化。
作为上述方案的改进,根据中心库数据关系表对标准数据进行数据集成操作以生成中心库数据表的步骤包括:逐一遍历中心库数据关系表,并判断中心库数据关系表的数据项是否存在于标准数据表中,判断为是时,将标准数据表的该数据项下的标准数据记录在中心库数据关系表的相应数据项下。
作为上述方案的改进,向通过审核的数据需求方发送数据的步骤包括:接收数据需求方的通过数据访问入口发送的访问请求,访问请求包括请求数据类型及需求方身份类型;提取访问请求中的请求数据类型,请求数据类型包括授权共享数据类型;判断请求数据类型是否为授权共享数据类型,判断为否时,根据访问请求发送数据给数据需求方,判断为是时,提取访问请求中的需求方身份类型,需求方身份类型包括有权类型,判断需求方身份类型是否为有权类型,判断为是时,根据访问请求发送数据给数据需求方。
作为上述方案的改进,向通过审核的数据需求方发送数据的步骤还包括:根据预设频率提取中心库中的标准化数据;将提取的标准化数据转发给数据需求方。
作为上述方案的改进,向通过审核的数据需求方发送数据的步骤还包括:判断中心库中的标准化数据是否更新,判断为是时,将更新的标准化数据转发给数据需求方。
相应地,本发明公开了一种数据服务管理系统,包括:标准设定模块,用于设定并发布数据标准;共享模型审核模块,用于根据数据标准审核数据提供方注册的共享数据模型,根据通过审核的共享数据模型建立标准数据表;原始数据获取模块,用于通过标准数据表获取数据提供方的上传的原始数据;数据质量管理模块,用于对原始数据进行质量管理操作,生成标准数据;中心表构建模块,用于构建中心库数据关系表;数据集成存储模块,用于根据中心库数据关系表对标准数据进行数据集成操作以生成中心库数据表,将中心库数据表存储于中心库;资源目录生成模块,用于根据中心库数据表及共享数据模型建立资源共享目录,资源共享目录包括数据访问入口;数据发送模块,用于审核数据需求方通过资源共享目录上传的权限申请,向通过审核的数据需求方发送数据。
作为上述方案的改进,数据标准包括数据项标准及代码标准;共享模型审核模块包括:数据项标准化单元,用于根据数据项标准对共享数据模型中的数据项进行标准化;数据质量管理模块包括:代码标准化单元,用于根据代码标准对原始数据的代码内容进行标准化。
作为上述方案的改进,数据集成存储模块包括:遍历判断单元,用于逐一遍历中心库数据关系表,并判断中心库数据关系表的数据项是否存在于标准数据表中;中心表记录单元,用于判断为是时,将标准数据表的该数据项下的标准数据记录在中心库数据关系表的相应数据项下。
作为上述方案的改进,数据发送模块包括请求反馈单元,请求反馈单元包括:请求接收子单元,用于接收数据需求方的通过数据访问入口发送的访问请求,访问请求包括请求数据类型及需求方身份类型;数据类型提取子单元,用于提取访问请求中的请求数据类型,请求数据类型包括授权共享数据类型;数据类型判断子单元,用于判断请求数据类型是否为授权共享数据类型;无条件共享发送子单元,用于判断为否时,根据访问请求发送数据给数据需求方;有条件共享发送子单元,用于判断为是时,提取访问请求中的需求方身份类型,需求方身份类型包括有权类型,判断需求方身份类型是否为有权类型,判断为是时,根据访问请求发送数据给数据需求方;数据发送模块还包括预设条件反馈单元,预设条件反馈单元包括:定期提取子单元,用于根据预设频率提取中心库中的标准化数据,并调用提取数据转发子单元;提取数据转发子单元,用于将提取的标准化数据转发给数据需求方;数据更新判断子单元,用于判断中心库中的标准化数据是否更新,判断为是时,调用更新数据转发子单元;更新数据转发子单元,用于将更新的标准化数据转发给数据需求方。
实施本发明,具有如下有益效果:
本发明数据服务管理方法及系统,能及时维护数据标准,提高数据整合度及数据质量,减少管理员的工作量,同时提高共享数据的传输效率,优化数据共享体验。
具体来说,第一,设定并发布数据标准,可让数据提供方及时了解数据标准,并在有需要的时候通知管理员修改有关数据标准,从而及时维护数据标准,并根据数据标准审核共享数据模型,使得数据提供方按照数据标准表上传原始数据,提供数据标准化程度。第二,获取数据提供方上传的原始数据,并对原始数据表进行质量管理操作,从而提高数据质量。第三,通过比对将标准数据表的数据整合到中心库中数据表中,从而提高了数据整合度。第四,中心库的更新,以及数据的共享,均有数据提供方的充分参与,有效减轻了管理员的工作量。
另外,构建资源共享目录,审核权限申请并向通过审核的需求方发送数据,有助于打破信息壁垒、消除信息孤岛,起到桥梁枢纽作用。所有数据提供方通过本发明数据服务管理方法,可实现数据在数据提供方及数据需求方之间顺畅地、实时地、批量地传输,并根据数据共享规则将数据汇入数据管理中心,形成中心库。
附图说明
图1是本发明数据服务管理方法的总体流程图;
图2是本发明数据服务管理方法的根据中心库数据关系表对标准数据表进行数据集成操作以生成中心库数据表的流程图;
图3是本发明数据服务管理方法的根据数据需求方发送的访问请求向数据需求方发送数据的流程图;
图4是本发明数据服务管理方法的根据预设频率向数据需求方发送数据的流程图;
图5是本发明数据服务管理方法的根据标准化数据更新情况向数据需求方发送数据的流程图;
图6是本发明数据服务管理系统的结构示意图;
图7是本发明数据服务管理系统的数据集成存储模块的结构示意图;
图8是本发明数据服务管理系统的数据发送模块的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述。仅此声明,本发明在文中出现或即将出现的上、下、左、右、前、后、内、外等方位用词,仅以本发明的附图为基准,其并不是对本发明的具体限定。
图1是本发明数据服务管理方法,包括:
S101、设定并发布数据标准。
需要说明的是,在建立数据标准地时候,需要进行数据质量调研分析、制定实施路径规划、建立数据治理体系、数据治理的配套机制和流程等规划工作,并完成各部门、各系统、各岗位有关的全生命周期业务流和数据流的梳理,从而建立数据关系管理模型以及统一的数据标准。
数据标准制定流程为业务部门发起,管理员审核并发布。在设定数据标准后进行发布,可让数据提供方及时了解数据标准,并在有需要的时候通知管理员修改有关数据标准,从而及时维护数据标准。
S102、根据数据标准审核数据提供方注册的共享数据模型,根据通过审核的共享数据模型建立标准数据表。
需要说明的是,管理员在服务器中为数据提供方分配收集数据的节点。然后数据提供方在资源共享目录中注册共享数据模型。管理员根据数据标准审核共享数据模型,审核通过后数据提供方的相应节点中按照该共享数据模型建立标准数据表。管理中心与数据提供方通过服务器的节点中对接数据,保障数据提供方系统安全,厘清管理中心与数据提供方之间的数据责任关系。
另外,通过共享数据模型,数据提供方也可不通过中心库进行数据共享。在共享数据模型通过注册审核后,资源共享目录就具有该共享数据模型的信息。以后数据提供方只需要共享数据模型中输入数据,即可进行数据共享。
S103、通过标准数据表获取数据提供方的上传的原始数据。
数据提供方在标准数据表注入原始数据,完成数据标准化及共享工作。管理员在共享数据模型的管理平台上可以展示原始数据。
S104、对原始数据进行质量管理操作,生成标准数据。
原始数据不一定与中心库兼容,需要对原始数据表进行质量管理操作,生成标准数据表,从而从源头抓起,严把数据入口关,确保源头采集数据的质量。
对原始数据进行质量管理操作时,制定数据质量检核规则,数据质量检核范围包括数据的真实性、准确性、一致性、完整性、可用性、时效性等方面。然后制定检核任务促使系统定期自动检核相关范围内数据。最后形成数据质量报告,及时了解数据情况,反馈给相关责任人,形成数据质量提升的体系。
S105、构建中心库数据关系表。
中心库是数据服务管理方法最核心的数据库,其存储了所有数据提供方提供数据,而且按照统一的数据格式进行组织,同时根据不同的数据应用,中心库会分为多个子数据库,每个子数据库中有多种数据表,中心库数据关系表体现了中心库的数据结构体系,对其进行构建是进行数据接收、质量管理、数据整合及数据共享的基础。
构建中心库数据关系表时,以业务系统的存储的数据对象为主数据对象,比如高校数据库中存储的教职工、学生、教学、科研、财务、资产等数据,通过战略发展调研、信息系统梳理、业务流程梳理、数据流梳理等手段,摸清各主数据的信息源头、数据关系、应用范围、数据标准、更新规则、授权规则、质量管控、数据维护等工作规程要素,建立数据关系模型,作为数据治理实施和基础数据库建设的重要依据。
S106、根据中心库数据关系表对标准数据进行数据集成操作以生成中心库数据表,将中心库数据表存储于中心库。
在具体操作中,先将服务器节点中的原始数据采集到原始库,然后将原始库中的原始数据集成到中心库,包含多表合成单表、单表拆分成多表。
S107、根据中心库数据表及共享数据模型建立资源共享目录。
构建资源共享目录体系,作为业务部门信息资源共享、公开和业务协同的基础和依据。数据提供方及中心库汇集共享实行目录,管理员负责编制所有业务部门信息的资源共享目录,并且进行实时维护与定期公开发布。按照“谁主管,谁提供,谁负责”的原则,数据提供方提供、维护和更新共享数据,保障数据的完整性、准确性,确保所提供的共享数据与数据提供方的数据一致。
资源共享目录中的数据资源分为无条件共享、有条件共享两种类型。
(一)无条件共享:无条件共享数据是指在特定范围内,无需授权、可直接提供给所有数据需求方共享使用的的数据资源。
(二)有条件共享:有条件共享数据是指在特定范围内,经管理员及数据提供方授权,或经协议提供给部分数据需求方共享使用的数据资源。
S108、审核数据需求方通过资源共享目录上传的权限申请,向通过审核的数据需求方发送数据。
资源共享目录包括权限申请接口。用户可以通过接口在资源共享目录上申请数据权限。
进一步地,数据标准包括数据项标准及代码标准。
根据数据标准审核数据提供方注册的共享数据模型的步骤包括:根据数据项标准对共享数据模型中的数据项进行标准化。
不同数据提供方对数据项属性,如中英文名称,字长等属性的规定都不尽相同,为了提高数据质量,尤其是便于对不同数据提供方提供的数据项不同但数据实质相同的数据进行整合,减少数据冗余,应当根据数据标准将不同数据提供方所规定的数据项进行标准化。
比如,在高校数据库中,有两个数据提供方对于学生名称这个数据项命名不同,第一个数据提供方用“名字”,第二个数据提供方用“姓名”。为了对数据项进行标准化,中心库统一使用“学生姓名”描述该数据项作为数据标准。当第一个数据提供方上传业务数据关系表时,根据数据标准将“名字”的数据项转为为“学生姓名”,当第二个数据提供方上传业务数据关系表时,根据数据标准将“姓名”转化为“学生姓名”,从而将不同数据提供方的提供的命名不同但实质为同一数据的两个数据项进行标准化。数据标准就是上述数据项属性或数据属性等内容进行标准化转化的规则。
对原始数据进行质量管理操作包括:根据代码标准对原始数据的代码内容进行标准化。
代码标准如用户编号,文件编号等,如有国家标准或国际标准,一律按照这些代码标准进行标准化转换,以提高数据的严谨性。
进一步地,如图2所示,根据中心库数据关系表对标准数据表进行数据集成操作以生成中心库数据表的步骤包括:
S201、逐一遍历中心库数据关系表,并判断中心库数据关系表的数据项是否存在于标准数据表中;
S202、判断为是时,将标准数据表的该数据项下的标准数据记录在中心库数据关系表的相应数据项下。
步骤S201至S202实际就是根据标准数据表对每个中心库数据关系表进行扫描,如果找到数据项同时存在于标准数据表与中心库数据关系表中,则将标准数据表的该数据项下的标准数据记录到中心库数据关系表中,从而将标准数据表中的标准数据存储至中心库中。
进一步地,如图3所示,向通过审核的数据需求方发送数据的步骤包括:
S301、接收数据需求方的通过数据访问入口发送的访问请求,访问请求包括请求数据类型及需求方身份类型。
请求数据类型用于判断数据需求方所请求的数据是否有访问权限的限制,因此访问请求的报文中都需要包含请求数据的类型信息,以提高数据传输的安全性。
S302、提取访问请求中的请求数据类型,请求数据类型包括授权共享数据类型。
授权共享数据类型意味着该类型数据只能被有权限的数据需求方获取,否则意味着该类型数据的获取无需授权,可自由获取。
S303、判断请求数据类型是否为授权共享数据类型,
S304、判断为否时,根据访问请求发送数据给数据需求方,
S305、判断为是时,提取访问请求中的需求方身份类型,需求方身份类型包括有权类型,判断需求方身份类型是否为有权类型,判断为是时,根据访问请求发送数据给数据需求方。
对于授权共享数据类型的数据的访问请求,需要对数据需求方的身份,只有数据需求方的身份属于有权类型,才能向其发送其请求访问的数据。
进一步地,如图4所示,向通过审核的数据需求方发送数据的步骤还包括:
S401、根据预设频率提取中心库中的标准化数据;
S402、将提取的标准化数据转发给数据需求方。
预设频率由用户根据需要设定,比如一天一次。当满足预设的频率条件时,提取中心库中的标准化数据,并将标准化数据发给数据需求方,无需数据需求方发起,这是一种主动的数据共享。
进一步地,如图5所示,向通过审核的数据需求方发送数据的步骤还包括:
S501、判断中心库中的标准化数据是否更新,
S502、判断为是时,将更新的标准化数据转发给数据需求方。
该方法以更新为转发数据条件。当中心库中的标准化数据更新时,将更新的标准化数据发给数据需求方,无需数据需求方发起,是一种主动的数据共享。
需要说明的是,步骤S301至S305的根据访问请求发送数据的方法、步骤S401至S402的根据频率转发数据的方法,以及步骤S501至S502的更新即转发数据的方法,数据需求方在通过数据权限审核后可以根据需要进行选择,也可以对上述方法组合使用。
相应地,本发明公开了一种数据服务管理系统。
图6是数据服务管理系统100的结构示意图,其包括:
标准设定模块1,用于设定并发布数据标准。
需要说明的是,标准设定模块1在建立数据标准地时候,需要进行数据质量调研分析、制定实施路径规划、建立数据治理体系、数据治理的配套机制和流程等规划工作,并完成各部门、各系统、各岗位有关的全生命周期业务流和数据流的梳理,从而建立数据关系管理模型以及统一的数据标准。
数据标准制定流程为业务部门发起,管理员通过标准设定模块1审核并发布。标准设定模块1在设定数据标准后进行发布,可让数据提供方及时了解数据标准,并在有需要的时候通知管理员修改有关数据标准,从而及时维护数据标准。
共享模型审核模块2,用于根据数据标准审核数据提供方注册的共享数据模型,根据通过审核的共享数据模型建立标准数据表。
需要说明的是,管理员在服务器中为数据提供方分配收集数据的节点。然后数据提供方在资源共享目录中注册共享数据模型。共享模型审核模块2根据数据标准审核共享数据模型,审核通过后数据提供方的相应节点中按照该共享数据模型建立标准数据表。管理中心与数据提供方通过服务器的节点中对接数据,保障数据提供方系统安全,厘清管理中心与数据提供方之间的数据责任关系。
另外,通过共享数据模型,数据提供方也可不通过中心库进行数据共享。在共享数据模型通过注册审核后,资源共享目录就具有该共享数据模型的信息。以后数据提供方只需要共享数据模型中输入数据,即可进行数据共享。
原始数据获取模块3,用于通过标准数据表获取数据提供方的上传的原始数据。
数据提供方在标准数据表注入原始数据,完成数据标准化及共享工作。管理员在共享数据模型的管理平台上可以展示原始数据。
数据质量管理模块4,用于对原始数据进行质量管理操作,生成标准数据。
原始数据不一定与中心库兼容,数据质量管理模块4需要对原始数据表进行质量管理操作,生成标准数据表,从而从源头抓起,严把数据入口关,确保源头采集数据的质量。
数据质量管理模块4对原始数据进行质量管理操作时,制定数据质量检核规则,数据质量检核范围包括数据的真实性、准确性、一致性、完整性、可用性、时效性等方面。然后制定检核任务促使系统定期自动检核相关范围内数据。最后形成数据质量报告,及时了解数据情况,反馈给相关责任人,形成数据质量提升的体系。
中心表构建模块5,用于构建中心库数据关系表。
中心库是数据服务管理方法最核心的数据库,其存储了所有数据提供方提供数据,而且按照统一的数据格式进行组织,同时根据不同的数据应用,中心库会分为多个子数据库,每个子数据库中有多种数据表,中心库数据关系表体现了中心库的数据结构体系,中心表构建模块5对其进行构建是进行数据接收、质量管理、数据整合及数据共享的基础。
中心表构建模块5构建中心库数据关系表时,以业务系统的存储的数据对象为主数据对象,比如高校数据库中存储的教职工、学生、教学、科研、财务、资产等数据,通过战略发展调研、信息系统梳理、业务流程梳理、数据流梳理等手段,摸清各主数据的信息源头、数据关系、应用范围、数据标准、更新规则、授权规则、质量管控、数据维护等工作规程要素,建立数据关系模型,作为数据治理实施和基础数据库建设的重要依据。
数据集成存储模块6,用于根据中心库数据关系表对标准数据进行数据集成操作以生成中心库数据表,将中心库数据表存储于中心库。
数据集成存储模块6在具体操作中,先将服务器节点中的原始数据采集到原始库,然后将原始库中的原始数据集成到中心库,包含多表合成单表、单表拆分成多表。
资源目录生成模块7,用于根据中心库数据表及共享数据模型建立资源共享目录,资源共享目录包括数据访问入口。
资源目录生成模块7构建资源共享目录体系,作为业务部门信息资源共享、公开和业务协同的基础和依据。数据提供方及中心库汇集共享实行目录,资源目录生成模块7编制所有业务部门信息的资源共享目录,并且进行实时维护与定期公开发布。按照“谁主管,谁提供,谁负责”的原则,数据提供方提供、维护和更新共享数据,保障数据的完整性、准确性,确保所提供的共享数据与数据提供方的数据一致。
资源共享目录中的数据资源分为无条件共享、有条件共享两种类型。
(一)无条件共享:无条件共享数据是指在特定范围内,无需授权、可直接提供给所有数据需求方共享使用的的数据资源。
(二)有条件共享:有条件共享数据是指在特定范围内,经管理员及数据提供方授权,或经协议提供给部分数据需求方共享使用的数据资源。
数据发送模块8,用于审核数据需求方通过资源共享目录上传的权限申请,向通过审核的数据需求方发送数据。
资源共享目录包括权限申请接口。用户可以通过接口在资源共享目录上申请数据权限。
数据标准包括数据项标准及代码标准。
共享模型审核模块2包括:
数据项标准化单元21,用于根据数据项标准对共享数据模型中的数据项进行标准化。
不同数据提供方对数据项属性,如中英文名称,字长等属性的规定都不尽相同,为了提高数据质量,尤其是便于对不同数据提供方提供的数据项不同但数据实质相同的数据进行整合,减少数据冗余,数据项标准化单元21根据数据标准将不同数据提供方所规定的数据项进行标准化。
比如,在高校数据库中,有两个数据提供方对于学生名称这个数据项命名不同,第一个数据提供方用“名字”,第二个数据提供方用“姓名”。为了对数据项进行标准化,中心库统一使用“学生姓名”描述该数据项作为数据标准。当第一个数据提供方上传业务数据关系表时,数据项标准化单元21根据数据标准将“名字”的数据项转为为“学生姓名”,当第二个数据提供方上传业务数据关系表时,数据项标准化单元21根据数据标准将“姓名”转化为“学生姓名”,从而将不同数据提供方的提供的命名不同但实质为同一数据的两个数据项进行标准化。数据标准就是上述数据项属性或数据属性等内容进行标准化转化的规则。
数据质量管理模块4包括:
代码标准化单元41,用于根据代码标准对原始数据的代码内容进行标准化。
代码标准如用户编号,文件编号等,如有国家标准或国际标准,代码标准化单元41一律按照这些代码标准进行标准化转换,以提高数据的严谨性。
图7是数据集成存储模块6的结构示意图,包括:
遍历判断单元61,用于逐一遍历中心库数据关系表,并判断中心库数据关系表的数据项是否存在于标准数据表中。
中心表记录单元62,用于判断为是时,将标准数据表的该数据项下的标准数据记录在中心库数据关系表的相应数据项下。
遍历判断单元61对每个中心库数据关系表进行扫描,如果找到数据项同时存在于标准数据表与中心库数据关系表中,中心表记录单元62将标准数据表的该数据项下的数据记录到中心库数据关系表中,从而将标准数据表中的数据存储至中心库中。
图8是数据发送模块8的结构示意图,其包括请求反馈单元81。
请求反馈单元81包括:
请求接收子单元811,用于接收数据需求方的通过数据访问入口发送的访问请求,访问请求包括请求数据类型及需求方身份类型。
请求数据类型用于判断数据需求方所请求的数据是否有访问权限的限制,因此访问请求的报文中都需要包含请求数据的类型信息,以提高数据传输的安全性。
数据类型提取子单元812,用于提取访问请求中的请求数据类型,请求数据类型包括授权共享数据类型。
授权共享数据类型意味着该类型数据只能被有权限的数据需求方获取,否则意味着该类型数据的获取无需授权,可自由获取。
数据类型判断子单元813,用于判断请求数据类型是否为授权共享数据类型。
无条件共享发送子单元814,用于判断为否时,根据访问请求发送数据给数据需求方。
有条件共享发送子单元815,用于判断为是时,提取访问请求中的需求方身份类型,需求方身份类型包括有权类型,判断需求方身份类型是否为有权类型,判断为是时,根据访问请求发送数据给数据需求方。
对于授权共享数据类型的数据的访问请求,有条件共享发送子单元815需要对数据需求方的身份,只有数据需求方的身份属于有权类型,才能向其发送其请求访问的数据。
数据发送模块8还包括预设条件反馈单元82,预设条件反馈单元82包括:
定期提取子单元821,用于根据预设频率提取中心库中的标准化数据,并调用提取数据转发子单元。
提取数据转发子单元822,用于将提取的标准化数据转发给数据需求方。
预设频率由用户根据需要设定,比如一天一次。当满足预设的频率条件时,定期提取子单元821提取中心库中的标准化数据,提取数据转发子单元822将标准化数据发给数据需求方,无需数据需求方发起,这是一种主动的数据共享。
数据更新判断子单元823,用于判断中心库中的标准化数据是否更新,判断为是时,调用更新数据转发子单元。
更新数据转发子单元824,用于将更新的标准化数据转发给数据需求方。
数据更新判断子单元823及更新数据转发子单元824以更新为转发数据条件。数据更新判断子单元823判断中心库中的标准化数据是否更新,如有更新,更新数据转发子单元824将更新的标准化数据转发给数据需求方,无需数据需求方发起,是一种主动的数据共享。
需要说明的是,请求反馈单元81根据访问请求发送数据的过程、定期提取子单元821及提取数据转发子单元822根据频率转发数据的过程,以及数据更新判断子单元823及更新数据转发子单元824在更新数据时转发数据的过程,数据需求方在通过数据权限审核后可以根据需要进行选择,也可以对上述过程组合使用。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种数据服务管理方法,其特征在于,包括:
设定并发布数据标准;
根据所述数据标准审核数据提供方注册的共享数据模型,根据通过审核的所述共享数据模型建立标准数据表;
通过所述标准数据表获取数据提供方的上传的原始数据;
对所述原始数据进行质量管理操作,生成标准数据;
构建中心库数据关系表;
根据所述中心库数据关系表对所述标准数据进行数据集成操作以生成中心库数据表,将所述中心库数据表存储于中心库;
根据所述中心库数据表及所述共享数据模型建立资源共享目录;
审核数据需求方通过所述资源共享目录上传的权限申请,向通过审核的所述数据需求方发送数据。
2.如权利要求1所述数据服务管理方法,其特征在于,所述数据标准包括数据项标准及代码标准;
所述根据数据标准审核数据提供方注册的共享数据模型的步骤包括:根据所述数据项标准对所述共享数据模型中的数据项进行标准化;
所述对原始数据进行质量管理操作包括:根据所述代码标准对所述原始数据的代码内容进行标准化。
3.如权利要求1所述数据服务管理方法,其特征在于,所述根据中心库数据关系表对标准数据进行数据集成操作以生成中心库数据表的步骤包括:
逐一遍历所述中心库数据关系表,并判断所述中心库数据关系表的数据项是否存在于所述标准数据表中,
判断为是时,将所述标准数据表的该数据项下的所述标准数据记录在所述中心库数据关系表的相应数据项下。
4.如权利要求1所述数据服务管理方法,其特征在于,所述向通过审核的所述数据需求方发送数据的步骤包括:
接收所述数据需求方的通过所述数据访问入口发送的访问请求,所述访问请求包括请求数据类型及需求方身份类型;
提取所述访问请求中的请求数据类型,所述请求数据类型包括授权共享数据类型;
判断所述请求数据类型是否为所述授权共享数据类型,
判断为否时,根据所述访问请求发送数据给所述数据需求方,
判断为是时,提取所述访问请求中的需求方身份类型,所述需求方身份类型包括有权类型,判断所述需求方身份类型是否为有权类型,判断为是时,根据所述访问请求发送数据给所述数据需求方。
5.如权利要求1所述数据服务管理方法,其特征在于,所述向通过审核的所述数据需求方发送数据的步骤还包括:
根据预设频率提取所述中心库中的标准化数据;
将提取的所述标准化数据转发给所述数据需求方。
6.如权利要求1所述数据服务管理方法,其特征在于,所述向通过审核的所述数据需求方发送数据的步骤还包括:
判断所述中心库中的标准化数据是否更新,
判断为是时,将更新的所述标准化数据转发给所述数据需求方。
7.一种数据服务管理系统,其特征在于,包括:
标准设定模块,用于设定并发布数据标准;
共享模型审核模块,用于根据所述数据标准审核数据提供方注册的共享数据模型,根据通过审核的所述共享数据模型建立标准数据表;
原始数据获取模块,用于通过所述标准数据表获取数据提供方的上传的原始数据;
数据质量管理模块,用于对所述原始数据进行质量管理操作,生成标准数据;
中心表构建模块,用于构建中心库数据关系表;
数据集成存储模块,用于根据所述中心库数据关系表对所述标准数据进行数据集成操作以生成中心库数据表,将所述中心库数据表存储于中心库;
资源目录生成模块,用于根据所述中心库数据表及所述共享数据模型建立资源共享目录,所述资源共享目录包括数据访问入口;
数据发送模块,用于审核数据需求方通过所述资源共享目录上传的权限申请,向通过审核的所述数据需求方发送数据。
8.如权利要求7所述数据服务管理系统,其特征在于,所述数据标准包括数据项标准及代码标准;
所述共享模型审核模块包括:
数据项标准化单元,用于根据所述数据项标准对所述共享数据模型中的数据项进行标准化;
所述数据质量管理模块包括:
代码标准化单元,用于根据所述代码标准对所述原始数据的代码内容进行标准化。
9.如权利要求7所述数据服务管理系统,其特征在于,所述数据集成存储模块包括:
遍历判断单元,用于逐一遍历所述中心库数据关系表,并判断所述中心库数据关系表的数据项是否存在于所述标准数据表中;
中心表记录单元,用于判断为是时,将所述标准数据表的该数据项下的所述标准数据记录在所述中心库数据关系表的相应数据项下。
10.如权利要求7所述数据服务管理系统,其特征在于,所述数据发送模块包括请求反馈单元,所述请求反馈单元包括:
请求接收子单元,用于接收所述数据需求方的通过所述数据访问入口发送的访问请求,所述访问请求包括请求数据类型及需求方身份类型;
数据类型提取子单元,用于提取所述访问请求中的请求数据类型,所述请求数据类型包括授权共享数据类型;
数据类型判断子单元,用于判断所述请求数据类型是否为所述授权共享数据类型;
无条件共享发送子单元,用于判断为否时,根据所述访问请求发送数据给所述数据需求方;
有条件共享发送子单元,用于判断为是时,提取所述访问请求中的需求方身份类型,所述需求方身份类型包括有权类型,判断所述需求方身份类型是否为有权类型,判断为是时,根据所述访问请求发送数据给所述数据需求方;
所述数据发送模块还包括预设条件反馈单元,所述预设条件反馈单元包括:
定期提取子单元,用于根据预设频率提取所述中心库中的标准化数据,并调用提取数据转发子单元;
提取数据转发子单元,用于将提取的所述标准化数据转发给所述数据需求方;
数据更新判断子单元,用于判断所述中心库中的标准化数据是否更新,判断为是时,调用更新数据转发子单元;
更新数据转发子单元,用于将更新的所述标准化数据转发给所述数据需求方。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910866751.4A CN110795422B (zh) | 2019-09-12 | 2019-09-12 | 一种数据服务管理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910866751.4A CN110795422B (zh) | 2019-09-12 | 2019-09-12 | 一种数据服务管理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110795422A true CN110795422A (zh) | 2020-02-14 |
CN110795422B CN110795422B (zh) | 2020-10-27 |
Family
ID=69427154
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910866751.4A Active CN110795422B (zh) | 2019-09-12 | 2019-09-12 | 一种数据服务管理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110795422B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111552729A (zh) * | 2020-04-26 | 2020-08-18 | 北京锦鸿希电信息技术股份有限公司 | 数据共享方法、装置和设备 |
CN112085412A (zh) * | 2020-09-21 | 2020-12-15 | 王渡江 | 一种资源优化分配系统及分配方法 |
CN113094393A (zh) * | 2021-03-16 | 2021-07-09 | 杭州数梦工场科技有限公司 | 数据汇聚方法及装置、电子设备 |
CN114841678A (zh) * | 2022-06-28 | 2022-08-02 | 成都明途科技有限公司 | 岗位数据交换方法、数据交换系统,服务器及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11161532A (ja) * | 1997-11-26 | 1999-06-18 | Nec Eng Ltd | 文書図表作成システム |
CN101048732A (zh) * | 2004-08-31 | 2007-10-03 | 国际商业机器公司 | 面向对象的数据集成服务体系结构 |
CN101256560A (zh) * | 2007-02-26 | 2008-09-03 | 中国航空工业第二集团公司科学技术委员会 | 基于网格的分布存储数据文件共享系统构建方法 |
CN102254022A (zh) * | 2011-07-27 | 2011-11-23 | 河海大学 | 一种面向多数据类型信息资源元数据的共享方法 |
CN104504094A (zh) * | 2014-12-26 | 2015-04-08 | 中国石油集团工程设计有限责任公司北京分公司 | 一种用于油气田的多种数据源集成管理方法 |
CN104598610A (zh) * | 2015-01-29 | 2015-05-06 | 无锡江南计算技术研究所 | 一种分步式数据库数据分发上传同步方法 |
CN104732359A (zh) * | 2015-04-08 | 2015-06-24 | 陕西延长石油(集团)有限责任公司 | 油田地理信息与勘探开发协同工作平台系统 |
CN105589958A (zh) * | 2015-12-22 | 2016-05-18 | 浪潮软件股份有限公司 | 一种分布式的大数据规划方法 |
CN106844390A (zh) * | 2015-12-07 | 2017-06-13 | 北京航天长峰科技工业集团有限公司 | 一种部门间数据资源接入方法 |
US20180150489A1 (en) * | 2016-11-30 | 2018-05-31 | Fujitsu Limited | Distributed data management apparatus, non-transitory computer-readable storage medium, and distributed data management method |
CN109857730A (zh) * | 2018-12-29 | 2019-06-07 | 三盟科技股份有限公司 | 面向教育的数据治理管理方法及系统 |
-
2019
- 2019-09-12 CN CN201910866751.4A patent/CN110795422B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11161532A (ja) * | 1997-11-26 | 1999-06-18 | Nec Eng Ltd | 文書図表作成システム |
CN101048732A (zh) * | 2004-08-31 | 2007-10-03 | 国际商业机器公司 | 面向对象的数据集成服务体系结构 |
CN101256560A (zh) * | 2007-02-26 | 2008-09-03 | 中国航空工业第二集团公司科学技术委员会 | 基于网格的分布存储数据文件共享系统构建方法 |
CN102254022A (zh) * | 2011-07-27 | 2011-11-23 | 河海大学 | 一种面向多数据类型信息资源元数据的共享方法 |
CN104504094A (zh) * | 2014-12-26 | 2015-04-08 | 中国石油集团工程设计有限责任公司北京分公司 | 一种用于油气田的多种数据源集成管理方法 |
CN104598610A (zh) * | 2015-01-29 | 2015-05-06 | 无锡江南计算技术研究所 | 一种分步式数据库数据分发上传同步方法 |
CN104732359A (zh) * | 2015-04-08 | 2015-06-24 | 陕西延长石油(集团)有限责任公司 | 油田地理信息与勘探开发协同工作平台系统 |
CN106844390A (zh) * | 2015-12-07 | 2017-06-13 | 北京航天长峰科技工业集团有限公司 | 一种部门间数据资源接入方法 |
CN105589958A (zh) * | 2015-12-22 | 2016-05-18 | 浪潮软件股份有限公司 | 一种分布式的大数据规划方法 |
US20180150489A1 (en) * | 2016-11-30 | 2018-05-31 | Fujitsu Limited | Distributed data management apparatus, non-transitory computer-readable storage medium, and distributed data management method |
CN109857730A (zh) * | 2018-12-29 | 2019-06-07 | 三盟科技股份有限公司 | 面向教育的数据治理管理方法及系统 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111552729A (zh) * | 2020-04-26 | 2020-08-18 | 北京锦鸿希电信息技术股份有限公司 | 数据共享方法、装置和设备 |
CN112085412A (zh) * | 2020-09-21 | 2020-12-15 | 王渡江 | 一种资源优化分配系统及分配方法 |
CN112085412B (zh) * | 2020-09-21 | 2023-11-17 | 王渡江 | 一种资源优化分配系统及分配方法 |
CN113094393A (zh) * | 2021-03-16 | 2021-07-09 | 杭州数梦工场科技有限公司 | 数据汇聚方法及装置、电子设备 |
CN113094393B (zh) * | 2021-03-16 | 2023-07-14 | 杭州数梦工场科技有限公司 | 数据汇聚方法及装置、电子设备 |
CN114841678A (zh) * | 2022-06-28 | 2022-08-02 | 成都明途科技有限公司 | 岗位数据交换方法、数据交换系统,服务器及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110795422B (zh) | 2020-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110795422B (zh) | 一种数据服务管理方法及系统 | |
CN112685385B (zh) | 一种用于智慧城市建设的大数据平台 | |
CN108647277A (zh) | 一种移动校园综合服务平台及其工作方法 | |
CN105740339B (zh) | 民政大数据融合管理系统 | |
CN107819824A (zh) | 一种城市数据开放与信息服务系统及服务方法 | |
US20060041582A1 (en) | XML-based system and method for collaborative web-based design and verification of system-on-a-chip | |
CN106650971A (zh) | 一种基于lims的实验室管理系统 | |
CN108960456A (zh) | 私有云安全一体化运维平台 | |
WO2006101415A1 (fr) | Procede de preparation de vote et de tenue de vote au moyen d'un systeme automatise | |
CN108694649A (zh) | 一种知识产权托管服务平台 | |
CN109189844A (zh) | 一种检验检测报告业务管理系统 | |
CN105578132A (zh) | 带式输送机远程视频维修辅助诊断系统 | |
CN104392308A (zh) | 渔村信息化服务平台 | |
CN107871224A (zh) | 一种基于网络环境的协同政务处理系统 | |
CN107330524A (zh) | 一种机动车维修管理服务系统 | |
Rocha et al. | Information architecture for quality management support in hospitals | |
Janssen et al. | Developing Generic Shared Services for e‑Government | |
CN113112190A (zh) | 一种融合线上线下服务能力的政务服务系统 | |
CN109616184A (zh) | 一种基于互联网的医疗数据集成系统 | |
CN111538720B (zh) | 电力行业基础数据清理的方法及系统 | |
CN113821500A (zh) | 一种基于政务服务场景的业务对象构建方法 | |
Ronoh et al. | An interoperability framework for E-government heterogeneous information systems | |
CN113220702A (zh) | 一种地楼房权人协同更新系统及其管理平台 | |
CN101571935A (zh) | 一种实现智能交通统一办公平台的方法、装置和系统 | |
CN110263289A (zh) | 基于微信公众号的素材信息管理系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PP01 | Preservation of patent right |
Effective date of registration: 20230919 Granted publication date: 20201027 |
|
PP01 | Preservation of patent right |