CN107368588A - 一种异构资源同构化方法及装置 - Google Patents

一种异构资源同构化方法及装置 Download PDF

Info

Publication number
CN107368588A
CN107368588A CN201710607078.3A CN201710607078A CN107368588A CN 107368588 A CN107368588 A CN 107368588A CN 201710607078 A CN201710607078 A CN 201710607078A CN 107368588 A CN107368588 A CN 107368588A
Authority
CN
China
Prior art keywords
data
resource
heterogeneous resource
integrated
data store
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710607078.3A
Other languages
English (en)
Other versions
CN107368588B (zh
Inventor
薛良宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Man Taught Digital Publishing Ltd
Original Assignee
Man Taught Digital Publishing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Man Taught Digital Publishing Ltd filed Critical Man Taught Digital Publishing Ltd
Priority to CN201710607078.3A priority Critical patent/CN107368588B/zh
Publication of CN107368588A publication Critical patent/CN107368588A/zh
Application granted granted Critical
Publication of CN107368588B publication Critical patent/CN107368588B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种异构资源同构化方法及装置,获取异构源数据库中的数据,按照预设的集成规则对所述数据进行集成处理,生成异构资源集中数据库;设置所述异构资源集中数据库与查询应用层之间的连接关系;当应用层接收到资源查询请求时,通过所述连接关系,查询所述异构资源集中数据库,获得与所述查询请求对应的数据信息。通过对来源不一的异构源数据,根据资源形式进行结合集成,并通过应用层的访问请求对数据进行访问,以实现异构资源整合成为应用层同构的、可一站式透明访问的资源库,进而实现了数据资源的整合与共享的目的。

Description

一种异构资源同构化方法及装置
技术领域
本发明涉及信息共享技术领域,特别是涉及一种异构资源同构化方法及装置。
背景技术
最近几年,伴随着资源建设工作的逐步普及与深入,教学资源的数量快速增长。但是,当前各个教育系统具有复杂、形式多样和异构等特性,其中,异构性体现在资源库的来源不一,这就给教育资源的共享和应用带来了很大的局限性,具体体现在:第一方面,各个资源库系统在屋里上分散在不同的网络节点,各节点所依赖的硬件平台、操作系统、网络服务平台和数据库平台都可能互不相同;第二方面,各教育资源系统缺乏统一的资源标准支持,语义定义不严格,资源的组织和存储方式存在着较大的差异,也无法进行有效的信息交换和资源共享。
发明内容
针对于上述问题,本发明提供一种异构资源同构化方法及装置,实现了数据资源的整合与共享的目的。
为了实现上述目的,根据本发明的第一方面,提供了一种异构资源同构化方法,该方法包括:
获取异构源数据库中的数据,按照预设的集成规则对所述数据进行集成处理,生成异构资源集中数据库;
设置所述异构资源集中数据库与查询应用层之间的连接关系;
当应用层接收到资源查询请求时,通过所述连接关系,查询所述异构资源集中数据库,获得与所述查询请求对应的数据信息。
优选的,所述获取异构源数据库中的数据,按照预设的集成规则对所述数据进行集成处理,生成异构资源集中数据库,包括:
制定的标准化元数据结构;
将获取到的所述异构源数据库中的数据划分为元数据项,并将满足所述标准化数据结构的元数据项,采用分布式文件形式存储到异构资源元数据库中;
制定读取规则对所述异构资源元数据库中的数据进行提取,将提取到的数据构成异构资源集中数据库。
优选的,所述制定读取规则对所述异构资源元数据库中的数据进行提取,将提取到的数据构成异构资源集中数据库,包括:
根据所述异构源数据库的身份验证信息、许可代理信息和内容代理信息,制定版权保护认证规则;
根据所述版权保护认证规则对所述异构资源元数据库中的数据进行数据映射处理,提取出满足映射关系的数据;
将所述满足映射关系的数据构成异构资源集中数据库。
优选的,所述设置所述异构资源集中数据库与查询应用层之间的连接关系,包括:
根据应用层的参数配置和显示功能配置,设置所述异构资源集中数据库与所述查询应用层之间的数据同步关系;
设置所述异构资源集中数据库中数据缓存和映射关系;
根据应用层的接口模式,制定所述异构资源集中数据库的调用策略,并设置于所述应用层接口相对应的接口。
优选的,所述当应用层接收到资源查询请求时,通过所述连接关系,查询所述异构资源集中数据库,获得与所述查询请求对应的数据信息,包括:
当所述应用层接收到资源查询请求时,解析所述查询请求,通过所述关联关系连接至所述异构资源集中数据库,得到与所述查询请求相对应的资源列表;
解析所述资源列表,获得所述资源列表与资源数据的对应关系,根据所述对应关系查找获得对应的异构源数据库;
根据所述查询请求在所述异构源数据库中查找获得对应的数据信息。
根据本发明的第二方面,提供了一种异构资源同构化装置,该装置包括:
生成模块,用于获取异构源数据库中的数据,按照预设的集成规则对所述数据进行集成处理,生成异构资源集中数据库;
设置模块,用于设置所述异构资源集中数据库与查询应用层之间的连接关系;
查询模块,用于当应用层接收到资源查询请求时,通过所述连接关系,查询所述异构资源集中数据库,获得与所述查询请求对应的数据信息。
优选的,所述生成模块包括:
制定单元,用于制定的标准化元数据结构;
存储单元,用于将获取到的所述异构源数据库中的数据划分为元数据项,并将满足所述标准化数据结构的元数据项,采用分布式文件形式存储到异构资源元数据库中;
构成单元,用于制定读取规则对所述异构资源元数据库中的数据进行提取,将提取到的数据构成异构资源集中数据库。
优选的,所述构成单元包括:
规则制定单元,用于根据所述异构源数据库的身份验证信息、许可代理信息和内容代理信息,制定版权保护认证规则;
提取单元,用于根据所述版权保护认证规则对所述异构资源元数据库中的数据进行数据映射处理,提取出满足映射关系的数据;
构成子单元,用于将所述满足映射关系的数据构成异构资源集中数据库。
优选的,所述设置模块包括:
第一设置单元,用于根据应用层的参数配置和显示功能配置,设置所述异构资源集中数据库与所述查询应用层之间的数据同步关系;
第二设置单元,用于设置所述异构资源集中数据库中数据缓存和映射关系;
第三设置单元,用于根据应用层的接口模式,制定所述异构资源集中数据库的调用策略,并设置于所述应用层接口相对应的接口。
优选的,所述查询模块包括:
解析单元,用于当所述应用层接收到资源查询请求时,解析所述查询请求,通过所述关联关系连接至所述异构资源集中数据库,得到与所述查询请求相对应的资源列表;
第一查找单元,用于解析所述资源列表,获得所述资源列表与资源数据的对应关系,根据所述对应关系查找获得对应的异构源数据库;
第二查找单元,用于根据所述查询请求在所述异构源数据库中查找获得对应的数据信息。
相较于现有技术,本发明获取异构源数据库中的数据,按照预设的集成规则对所述数据进行集成处理,生成异构资源集中数据库;设置所述异构资源集中数据库与查询应用层之间的连接关系;当应用层接收到资源查询请求时,通过所述连接关系,查询所述异构资源集中数据库,获得与所述查询请求对应的数据信息。本发明通过对来源不一的异构源数据,根据资源形式进行结合集成,并通过应用层的访问请求对数据进行访问,以实现异构资源整合成为应用层同构的、可一站式透明访问的资源库,进而实现了数据资源的整合与共享的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例一提供的一种异构资源同构化方法的流程示意图;
图2为本发明实施例二对应的图1中步骤S11生成异构资源集中数据库的流程示意图;
图3为本发明实施例二对应的图1中步骤S12设置连接关系的流程示意图;
图4为本发明实施例二对应的图1中步骤S13资源查询的流程示意图;
图5为本发明实施例三提供的异构资源同构化装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元,而是可包括没有列出的步骤或单元。
实施例一
参见图1为本发明实施例一提供的一种异构资源同构化方法,该方法包括以下步骤:
S11、获取异构源数据库中的数据,按照预设的集成规则对所述数据进行集成处理,生成异构资源集中数据库;
具体的,异构源数据库就是来源不一的资源库。例如,基于数字教材库,可以将互动教学课件库、百科知识资源库以及第三方数字资源库等多源、多态的资源库统称为异构源数据库。将异构资源进行同构化就是将来源不一的数据资源整合为可以一站式进行访问的资源库。在本发明的实施例中会以整合教育资源库为例进行具体的说明。
S12、设置所述异构资源集中数据库与查询应用层之间的连接关系;
具体的,设置所述异构资源集中数据库与查询应用层之间的连接关系,是为了方便在应用层查询时直接连接到集中数据库中进行数据的查找。
S13、当应用层接收到资源查询请求时,通过所述连接关系,查询所述异构资源集中数据库,获得与所述查询请求对应的数据信息。
可以理解的是,在应用层接收到资源查询请求后,由于应用层通过所述连接关系直接连接到了异构资源集中数据库中,可以在异构资源集中数据库中进行查找,而所述异构资源集中数据库又是将各个异构源数据库进行了集合,所以可以根据一个查询请求访问多个异构源数据库,获得多个对应的数据信息结果,实现了资源共享的目的。
通过本发明实施例一公开的技术方案,获取异构源数据库中的数据,按照预设的集成规则对所述数据进行集成处理,生成异构资源集中数据库;设置所述异构资源集中数据库与查询应用层之间的连接关系;当应用层接收到资源查询请求时,通过所述连接关系,查询所述异构资源集中数据库,获得与所述查询请求对应的数据信息。本发明通过对来源不一的异构源数据,根据资源形式进行结合集成,并通过应用层的访问请求对数据进行访问,以实现异构资源整合成为应用层同构的、可一站式透明访问的资源库,进而实现了数据资源的整合与共享的目的。
实施例二
参照本发明实施例一和图1中所描述的S11到S13步骤的具体过程,在本发明的实施例中将对各个步骤进行详细具体的描述。
参见图2,所述步骤S11获取异构源数据库中的数据,按照预设的集成规则对所述数据进行集成处理,生成异构资源集中数据库,具体包括:
S111、制定的标准化元数据结构;
具体的,所述元数据为异构资源元数据,并且异构资源元数据中包括了描述信息资源或数据本身的特征和属性,规定数字化信息的组织,在元数据应用上,通过资源分析明确了元数据所对应的数字对象及相关需求等。也就是在本发明中,用属性提取来分析每一个资源实体的属性以及资源实体的管理。首先制定的标准化元数据结构,然后基于异构资源元数据映射机制的分布式异构文件管理机制,实现数据库系统间的数据管理。
S112、将获取到的所述异构源数据库中的数据划分为元数据项,并将满足所述标准化数据结构的元数据项,采用分布式文件形式存储到异构资源元数据库中;
具体的,从不同来源的异构源数据库中分别提取元数据信息,按照数据共享的目标表达这些元数据转换为元数据项,基于元数据映射机制的分布式异构文件管理机制,将异构源数据库中的数据分为子节点数据和标准节点数据,其中,所述子节点数据即为以原始的数据结构为基础组织的数据,而标准节点数据为标准化元数据结构,基本机制是将子节点数据划分为元数据项,使其与标准化元数据节后进行映射,即将满足标准化元数据结构的数据项保存异构资源元数据库中。
采用分布式文件形式对数据进行存储,是为了将异构资源保存到数据库系统中以完成高容错、高并发的访问。在本发明中异构资源集成过程中采用网络连接存储形式进行资源存储,网络连接存储是一种采用C/S架构,将存储设备从服务器上分离下来的一种存储技术。它包括一个或多个存储器件(例如磁盘阵列、CD/DVD驱动器、磁带驱动器或可移动的存储介质等)、核心处理器和文件服务管理模块。它通过网络共享NAS中的文件,其彻底分离了网络设备中的服务器和存储,将数据集中起来进行管理。
NAS有着安装剪短、维护简单和即插即用的特点,另外它将服务器和存储分离,并可以适应多样性的环境,比如在局域网和Internet中都可以很好的实现文件的共享。但是缺点也比较明显,采用文件I/O的方式,通过网络传输数据的能力较差,数据备份需要占用LAN带宽,无法实现数据集中化管理,浪费网络资源,只能对单个存储设备之中的磁盘资源进行整合,难以将多个存储设备整合成统一的资源池,不能进行统一的集中管理。因此在本发明中采用了分布式文件系统框架进行存储,即根据元数据特点对异构源数据库中的数据进行抽取形成按不同特点划分的资源库,再对所述资源库进行整合。
为了考虑异构资源的访问问题,还需要在构造了元数据库后设置元数据库的映射。根据异构资源访问的资源形式进行结合,通过接口数据规范约定异构资源整合成为应用层同构的、可一站式透明访问的基础教育数字资源库。以解决信息孤岛问题,具体规范可针对不同资源素材来源同步到资源总库中,通过自定相应的读取规则来实现。要正确地制定读取数据规则,离不开元数据辅助信息。在从数据源存储格式到目标数据存储格式的转换,需要知道源存储格式和目标存储格式的信息,以及相应的存储格式之间的转换规则信息,这些都需要元数据的支持,在数据加载过程中也需要元数据的支持。
元数据库实际上是个紧密耦合型的数据库的模式信息,同时采用知识库技术为异构数据库的集成提供有力的工具。在元数据库中没有定义全局模式,使基于元数据库的集成子系统具有便于扩充和修改的特点,保证了系统的开放性。
元数据利用只是描述有关应用的数据流信息和控制信息,能够辅助实现基于异构数据库的集成应用系统。对于一个复杂的应用系统,元数据库中没有定义全局模式,使基于元数据库的集成子系统具有便于扩充和修改的特点,保证了系统的开放性。元数据利用只是描述有关应用的数据流信息和控制信息,能够辅助实现基于异构数据库的集成应用系统。对一个复杂的应用系统,元数据库可根据应用功能的不同,采用层次结构来建立,使一些复杂的应用子系统也拥有自己的元数据字库,避免在元数据库处可能形成的瓶颈。
一个要访问多个局部数据库的全局查询语句由全局查询管理器为期建立对应的查询树,并对查询树作等价的交换,使尽可能多的涉及同一库的关系连同有关操作组织在一个子查询中,变换后的子查询语句被组装成与原查询语句等价的装配表达式。各个查询结果产生后,由数据综合模块对这些结果进行模式转换,利用ORACLE DBMS的数据装载机制,根据装配表达式建立临时关系,报表生成器根据这些临时关系向用户提供最终的查询结果。由于元数据库中记录了各局部数据库的概念模式信息,因此支持系统的内全局透明的查询。这样集成的数据库可以实现透明式访问。
S113、制定读取规则对所述异构资源元数据库中的数据进行提取,将提取到的数据构成异构资源集中数据库。
具体的,该步骤为:
根据所述异构源数据库的身份验证信息、许可代理信息和内容代理信息,制定版权保护认证规则;
根据所述版权保护认证规则对所述异构资源元数据库中的数据进行数据映射处理,提取出满足映射关系的数据;
将所述满足映射关系的数据构成异构资源集中数据库。
可以理解的是,虽然对资源进行初步整合后形成了异构资源元数据,但是基于同构化基础教育资源库的业务需求,由于不同数据库结构和软件结构等异构原因,无法直接对数据进行直接调用。所以需要制定相应的读取规则,使得第三方数据库实现集成、达到一站式访问的效果。其中,数据抽取阶段,没有相应的规则就无法知道抽取什么样的数据。
在本发明实施例中提出一种基于代理请求与响应的架构方式,使同构化基础教育资源库的版权保护模块作为代理,不会影响到各个资源库各自的版权保护系统业务流。可以使用户在身份验证和密钥协商中不需要第三方参与,在不可信信道中构建可信传输的过程,从而大大简化同构化基础教育资源库版权保护的部署难度。基于版权保护认证设定读取规则。
通过版权保护认证集成第三资源库,主要通过身份验证信息、许可代理信息和内容代理信息,制定版权保护认证规则,实现数据映射,可讲第三方资源库同构化,以实现异构资源整合成为异构资源集中数据库。
对于异构资源的集成,集成不同应用软件造成的异构现象会给数据共享带来很大困难,从而产生大量信息孤岛。与传统异构数据管理办法相比,基于元数据映射机制的分布式异构数据管理机制,通过将节点数据划分为元数据项,标准节点与子节点的元数据项进行映射后,解决了分布式异构数据不能上报的问题,降低了数据管理难度,实现了数据资源的有效整合。
参见图3,所述步骤S12设置所述异构资源集中数据库与查询应用层之间的连接关系,具体包括:
S121、根据应用层的参数配置和显示功能配置,设置所述异构资源集中数据库与所述查询应用层之间的数据同步关系;
具体的,首先异构资源集中数据库中整合了各个异构源数据库中的数据,其本质保存的是各个异构资源库的副表本和综合应用查询结果的副表本或表引用,通过将第三方数据库的综合应用查询结果转化为数据库表的方式,实现同样的缓存功能。通过这种方法实现简化查询异构资源库的综合应用。这种集中数据库的引入,将对各个异构资源库的操作与构造他映射到集中数据库中。采用集成系统的通信接口将应用系统所需要的数据结果或引用集成到集中数据库中,减少了对异构资源库的操作。当数据库查询优化不够时,一次的查询所需的时间往往不能忽略。而引入集中数据库,可以大大减少查询优化的工作。间接提高系统对异构资源库的并发“访问”。由于大部分分布数据库的访问在集中数据库上进行数据操作。因此,这种集成模式更便于在集成各应用系统是,提供统一、透明的全局操作,同时保持各个应用系统局部应用的高度自治。
为了保证异构资源集中数据库与查询应用层之间的顺利连接,需要先设置异构资源集中数据库的连接关系。
根据应用层的参数配置和显示功能配置,设置所述异构资源集中数据库与所述查询应用层之间的数据同步关系,即需要对应的构造参数解析模块和显示控制模块,并完成相应的设置。为了使集中数据库具有更好的通用性,设计的参数解析模块通过将系统的配置参数定义为通用Json数据格式标准,以便在不同的业务控制过程中共享系统参数,系统配置参数主要包括数据源参数、查询参数、数据显示参数和数据访问权限控制参数等。通过将系统管理和控制参数统一集成到Json文件中,可以大大简化程序代码。并且具有了参数编制与录入功能,自动读取系统中各个模块的配置参数,将系统中所有可解析的数据配置参数、查询配置参数、数据显示参数和数据访问权限控制参数等以Json文件的形式进行存储;参数解析模块通过读取配置参数Json文件,为显示模块与缓存映射模块提供对于异构数据库各个数据表和数据项的订阅与说明,是构造集中数据库和SQL查询语句组装的基础;为用户提供启动参数命令行的功能,完成对Json配置文件的手动修改。对应的,显示控制模块,结合参数解析模块提供的信息解析应用层发送的请求;并且当数据缓存模块进行业务逻辑后,由显示控制模块实现对数据缓存模块返回数据封装;返回数据封装完成后,通过与应用层通信,将请求的结果数据进行返回。
S122、设置所述异构资源集中数据库中数据缓存和映射关系;
对应的,此处需要构造数据缓存模块和数据映射模块,并对其进行设置。数据缓存模块是同步子系统的主要业务实现模块,其中的业务主要包括数据的抽取、缓存、映射记忆多层访问控制等;并且还具有响应的功能,即对请求进行响应,将对集中数据库的构造与操作同时映射为对各个资源库的SQL操作;数据缓存模块将各个异构资源数据库和通讯接口取回的分布式异构数据进行集中和缓存;将集中数据库与应用层进行连接应考虑数据访问的实时性和一致性,应保证在数据被进行操作之前,引用的集中数据库的全局映射数据已经被实时刷新,需要在集成映射模块中采用缓存池连接技术。通过缓存池连接技术保证数据的实时性。数据缓存模块在后台自动检索异构源数据库中的更新信息,根据事实访问规则定义的缓存时间进行定时刷新缓存池中的数据。同时,把获得的数据向集中数据库和映射的资源库中进行更新操作来更新本地映射表。通过缓存池技术的应用,数据缓存映射模块能够大大提高并发访问、集中查询检索以及统计分析的应用程序响应性能。
S123、根据应用层的接口模式,制定所述异构资源集中数据库的调用策略,并设置于所述应用层接口相对应的接口。
对应的,参见图4,所述步骤S13当应用层接收到资源查询请求时,通过所述连接关系,查询所述异构资源集中数据库,获得与所述查询请求对应的数据信息,具体包括:
S131、当所述应用层接收到资源查询请求时,解析所述查询请求,通过所述关联关系连接至所述异构资源集中数据库,得到与所述查询请求相对应的资源列表;
S132、解析所述资源列表,获得所述资源列表与资源数据的对应关系,根据所述对应关系查找获得对应的异构源数据库;
S133、根据所述查询请求在所述异构源数据库中查找获得对应的数据信息。
需要说明的是,结合步骤S12的具体过程,首先应用层接收到用户请求,然后将所述请求发送至集中数据库中设置的显示控制模块中,显示控制模块通过解析应用请求中携带的操作指令。进一步与缓存映射模块交互已完成对各个资源数据库或集中数据库的数据操作即映射等业务逻辑,数据缓存映射模块在初始化时首先通过参数解析模块实现根据Json文件将系统参数初始化的操作。接着,数据缓存模块完成与各个资源库的连接。接着,将集中数据库的主键和各个资源数据库的主键映射为一致对应的关系;根据集中数据库的主键和缓存进行查询,如果查询命中,则直接从进行数据的读取。否则,进行对各个资源数据库的主键得到查询的数据库视图和查询SQL语句,进行数据抽取,同时将查询到的数据导入集中数据库相应的映射表中,完成对查询数据到集中数据库的映射。最后,由显示与控制模块向应用层传输数据信息。
同时,本发明实施例中还公开了数据更新的过程,即采用心跳更新模式进行更新。由缓存数据映射模块根据系统参数定义的心跳间隔进行集中数据库的更新操作,缓存数据映射模块并发地向异构资源库发起查询请求,当返回查询结果后,将结果转化为数据表的形式,并一起归并到异构资源库返回的查询结果表中。最后,将最新的应用更新结果用来更新集中数据库。
根据本发明实施例二公开的技术方案,利用分布异构数据集成模式,并预设了数据的提取规则借助元数据的特征,将异构源数据库中的数据进行集成生成了异构资源集中数据库。然后为了满足数据的访问需求对集中数据库进行了相应的设置,即建立了异构资源集中数据库与查询应用层之间的连接关系,当应用层接收到资源查询请求时,通过所述连接关系,查询所述异构资源集中数据库,获得与所述查询请求对应的数据信息。构造具有用户所需要透明性的全局数据库访问,并提供更有效的数据综合查询和统计分析,以支持对各数据库的全局应用及各种分布异构数据库之间灵活的信息交换和共享。这种集成模式和方法能够有效地解决并发访问数据库时的访问效率降低和数据实时性变差的问题。
实施例三
与本发明实施例一和实施例二所公开的异构资源同构化方法相对应,本发明的实施例三还提供了一种异构资源同构化装置,参见图5,该装置包括:
生成模块1,用于获取异构源数据库中的数据,按照预设的集成规则对所述数据进行集成处理,生成异构资源集中数据库;
设置模块2,用于设置所述异构资源集中数据库与查询应用层之间的连接关系;
查询模块3,用于当应用层接收到资源查询请求时,通过所述连接关系,查询所述异构资源集中数据库,获得与所述查询请求对应的数据信息。
相应的,所述生成模块1包括:
制定单元11,用于制定的标准化元数据结构;
存储单元12,用于将获取到的所述异构源数据库中的数据划分为元数据项,并将满足所述标准化数据结构的元数据项,采用分布式文件形式存储到异构资源元数据库中;
构成单元13,用于制定读取规则对所述异构资源元数据库中的数据进行提取,将提取到的数据构成异构资源集中数据库。
具体的,所述构成单元包括:
规则制定单元,用于根据所述异构源数据库的身份验证信息、许可代理信息和内容代理信息,制定版权保护认证规则;
提取单元,用于根据所述版权保护认证规则对所述异构资源元数据库中的数据进行数据映射处理,提取出满足映射关系的数据;
构成子单元,用于将所述满足映射关系的数据构成异构资源集中数据库。
对应的,所述设置模块2包括:
第一设置单元21,用于根据应用层的参数配置和显示功能配置,设置所述异构资源集中数据库与所述查询应用层之间的数据同步关系;
第二设置单元22,用于设置所述异构资源集中数据库中数据缓存和映射关系;
第三设置单元23,用于根据应用层的接口模式,制定所述异构资源集中数据库的调用策略,并设置于所述应用层接口相对应的接口。
对应的,所述查询模块3包括:
解析单元31,用于当所述应用层接收到资源查询请求时,解析所述查询请求,通过所述关联关系连接至所述异构资源集中数据库,得到与所述查询请求相对应的资源列表;
第一查找单元32,用于解析所述资源列表,获得所述资源列表与资源数据的对应关系,根据所述对应关系查找获得对应的异构源数据库;
第二查找单元33,用于根据所述查询请求在所述异构源数据库中查找获得对应的数据信息。
在本发明的实施例三中,通过生成模块获取异构源数据库中的数据,按照预设的集成规则对所述数据进行集成处理,生成异构资源集中数据库;在设置模块中设置所述异构资源集中数据库与查询应用层之间的连接关系;当应用层接收到资源查询请求时,在查询模块中通过所述连接关系,查询所述异构资源集中数据库,获得与所述查询请求对应的数据信息。本发明通过对来源不一的异构源数据,根据资源形式进行结合集成,并通过应用层的访问请求对数据进行访问,以实现异构资源整合成为应用层同构的、可一站式透明访问的资源库,进而实现了数据资源的整合与共享的目的。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种异构资源同构化方法,其特征在于,该方法包括:
获取异构源数据库中的数据,按照预设的集成规则对所述数据进行集成处理,生成异构资源集中数据库;
设置所述异构资源集中数据库与查询应用层之间的连接关系;
当应用层接收到资源查询请求时,通过所述连接关系,查询所述异构资源集中数据库,获得与所述查询请求对应的数据信息。
2.根据权利要求1所述的方法,其特征在于,所述获取异构源数据库中的数据,按照预设的集成规则对所述数据进行集成处理,生成异构资源集中数据库,包括:
制定的标准化元数据结构;
将获取到的所述异构源数据库中的数据划分为元数据项,并将满足所述标准化数据结构的元数据项,采用分布式文件形式存储到异构资源元数据库中;
制定读取规则对所述异构资源元数据库中的数据进行提取,将提取到的数据构成异构资源集中数据库。
3.根据权利要求2所述的方法,其特征在于,所述制定读取规则对所述异构资源元数据库中的数据进行提取,将提取到的数据构成异构资源集中数据库,包括:
根据所述异构源数据库的身份验证信息、许可代理信息和内容代理信息,制定版权保护认证规则;
根据所述版权保护认证规则对所述异构资源元数据库中的数据进行数据映射处理,提取出满足映射关系的数据;
将所述满足映射关系的数据构成异构资源集中数据库。
4.根据权利要求1所述的方法,其特征在于,所述设置所述异构资源集中数据库与查询应用层之间的连接关系,包括:
根据应用层的参数配置和显示功能配置,设置所述异构资源集中数据库与所述查询应用层之间的数据同步关系;
设置所述异构资源集中数据库中数据缓存和映射关系;
根据应用层的接口模式,制定所述异构资源集中数据库的调用策略,并设置于所述应用层接口相对应的接口。
5.根据权利要求1所述的方法,其特征在于,所述当应用层接收到资源查询请求时,通过所述连接关系,查询所述异构资源集中数据库,获得与所述查询请求对应的数据信息,包括:
当所述应用层接收到资源查询请求时,解析所述查询请求,通过所述关联关系连接至所述异构资源集中数据库,得到与所述查询请求相对应的资源列表;
解析所述资源列表,获得所述资源列表与资源数据的对应关系,根据所述对应关系查找获得对应的异构源数据库;
根据所述查询请求在所述异构源数据库中查找获得对应的数据信息。
6.一种异构资源同构化装置,其特征在于,该装置包括:
生成模块,用于获取异构源数据库中的数据,按照预设的集成规则对所述数据进行集成处理,生成异构资源集中数据库;
设置模块,用于设置所述异构资源集中数据库与查询应用层之间的连接关系;
查询模块,用于当应用层接收到资源查询请求时,通过所述连接关系,查询所述异构资源集中数据库,获得与所述查询请求对应的数据信息。
7.根据权利要求6所述的装置,其特征在于,所述生成模块包括:
制定单元,用于制定的标准化元数据结构;
存储单元,用于将获取到的所述异构源数据库中的数据划分为元数据项,并将满足所述标准化数据结构的元数据项,采用分布式文件形式存储到异构资源元数据库中;
构成单元,用于制定读取规则对所述异构资源元数据库中的数据进行提取,将提取到的数据构成异构资源集中数据库。
8.根据权利要求7所述的装置,其特征在于,所述构成单元包括:
规则制定单元,用于根据所述异构源数据库的身份验证信息、许可代理信息和内容代理信息,制定版权保护认证规则;
提取单元,用于根据所述版权保护认证规则对所述异构资源元数据库中的数据进行数据映射处理,提取出满足映射关系的数据;
构成子单元,用于将所述满足映射关系的数据构成异构资源集中数据库。
9.根据权利要求6所述的装置,其特征在于,所述设置模块包括:
第一设置单元,用于根据应用层的参数配置和显示功能配置,设置所述异构资源集中数据库与所述查询应用层之间的数据同步关系;
第二设置单元,用于设置所述异构资源集中数据库中数据缓存和映射关系;
第三设置单元,用于根据应用层的接口模式,制定所述异构资源集中数据库的调用策略,并设置于所述应用层接口相对应的接口。
10.根据权利要求6所述的装置,其特征在于,所述查询模块包括:
解析单元,用于当所述应用层接收到资源查询请求时,解析所述查询请求,通过所述关联关系连接至所述异构资源集中数据库,得到与所述查询请求相对应的资源列表;
第一查找单元,用于解析所述资源列表,获得所述资源列表与资源数据的对应关系,根据所述对应关系查找获得对应的异构源数据库;
第二查找单元,用于根据所述查询请求在所述异构源数据库中查找获得对应的数据信息。
CN201710607078.3A 2017-07-24 2017-07-24 一种异构资源同构化方法及装置 Active CN107368588B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710607078.3A CN107368588B (zh) 2017-07-24 2017-07-24 一种异构资源同构化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710607078.3A CN107368588B (zh) 2017-07-24 2017-07-24 一种异构资源同构化方法及装置

Publications (2)

Publication Number Publication Date
CN107368588A true CN107368588A (zh) 2017-11-21
CN107368588B CN107368588B (zh) 2020-09-01

Family

ID=60307520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710607078.3A Active CN107368588B (zh) 2017-07-24 2017-07-24 一种异构资源同构化方法及装置

Country Status (1)

Country Link
CN (1) CN107368588B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509595A (zh) * 2018-04-02 2018-09-07 深圳市华傲数据技术有限公司 异构数据的整理方法、装置、存储介质及设备
CN108536778A (zh) * 2018-03-29 2018-09-14 客如云科技(成都)有限责任公司 一种数据应用共享平台及方法
CN109324823A (zh) * 2018-09-17 2019-02-12 安徽华博胜讯信息科技股份有限公司 数字内容资源异构多元整合系统及整合方法
CN109408591A (zh) * 2018-10-12 2019-03-01 北京聚云位智信息科技有限公司 支持sql驱动的ai与特征工程的决策型分布式数据库系统
CN109739949A (zh) * 2018-11-13 2019-05-10 苏州网信信息科技股份有限公司 本地化数据库分权限全文检索系统及方法
CN110347662A (zh) * 2019-07-12 2019-10-18 之江实验室 一种基于通用数据模型的多中心医疗数据结构标准化系统
WO2020000719A1 (zh) * 2018-06-29 2020-01-02 平安科技(深圳)有限公司 报表系统的数据处理方法、装置及计算机可读存储介质
CN110851495A (zh) * 2019-10-24 2020-02-28 长城计算机软件与系统有限公司 异构源数据处理方法、装置、存储介质和电子设备
CN112417225A (zh) * 2020-11-30 2021-02-26 北京明略软件系统有限公司 一种多源异构数据的联合查询方法与系统
CN112506580A (zh) * 2020-12-16 2021-03-16 青岛海尔科技有限公司 数据融合方法及装置,存储介质及电子装置
CN112966162A (zh) * 2021-03-08 2021-06-15 北京航空航天大学 一种基于数据仓库与中间件的科技资源集成方法及装置
CN117407407A (zh) * 2023-12-15 2024-01-16 中信证券股份有限公司 多异构数据源数据集更新方法、装置、设备和计算机介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070198478A1 (en) * 2006-02-15 2007-08-23 Matsushita Electric Industrial Co., Ltd. Distributed meta data management middleware
CN101187937A (zh) * 2007-10-30 2008-05-28 北京航空航天大学 网格环境下模式复用的异构数据库访问和集成方法
CN102073767A (zh) * 2011-01-12 2011-05-25 南京南瑞继保电气有限公司 电力信息系统群虚拟数据仓库元数据管理方法
CN102081661A (zh) * 2011-01-19 2011-06-01 吉林大学 基于xml的异构关系型数据库的数据集成方法和系统
CN102508898A (zh) * 2011-11-04 2012-06-20 浪潮(北京)电子信息产业有限公司 一种基于云计算的数据访问方法和数据库系统
CN103942234A (zh) * 2013-01-21 2014-07-23 中国电信股份有限公司 对多个异构数据库操作的方法、中间件装置及系统
CN106844485A (zh) * 2016-12-23 2017-06-13 航天星图科技(北京)有限公司 一种企业异构数据库智能集成的系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070198478A1 (en) * 2006-02-15 2007-08-23 Matsushita Electric Industrial Co., Ltd. Distributed meta data management middleware
CN101187937A (zh) * 2007-10-30 2008-05-28 北京航空航天大学 网格环境下模式复用的异构数据库访问和集成方法
CN102073767A (zh) * 2011-01-12 2011-05-25 南京南瑞继保电气有限公司 电力信息系统群虚拟数据仓库元数据管理方法
CN102081661A (zh) * 2011-01-19 2011-06-01 吉林大学 基于xml的异构关系型数据库的数据集成方法和系统
CN102508898A (zh) * 2011-11-04 2012-06-20 浪潮(北京)电子信息产业有限公司 一种基于云计算的数据访问方法和数据库系统
CN103942234A (zh) * 2013-01-21 2014-07-23 中国电信股份有限公司 对多个异构数据库操作的方法、中间件装置及系统
CN106844485A (zh) * 2016-12-23 2017-06-13 航天星图科技(北京)有限公司 一种企业异构数据库智能集成的系统及方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536778B (zh) * 2018-03-29 2020-10-30 时时同云科技(成都)有限责任公司 一种数据应用共享平台及方法
CN108536778A (zh) * 2018-03-29 2018-09-14 客如云科技(成都)有限责任公司 一种数据应用共享平台及方法
CN108509595A (zh) * 2018-04-02 2018-09-07 深圳市华傲数据技术有限公司 异构数据的整理方法、装置、存储介质及设备
WO2020000719A1 (zh) * 2018-06-29 2020-01-02 平安科技(深圳)有限公司 报表系统的数据处理方法、装置及计算机可读存储介质
CN109324823A (zh) * 2018-09-17 2019-02-12 安徽华博胜讯信息科技股份有限公司 数字内容资源异构多元整合系统及整合方法
CN109324823B (zh) * 2018-09-17 2021-10-29 安徽华博胜讯信息科技股份有限公司 数字内容资源异构多元整合系统及整合方法
CN109408591A (zh) * 2018-10-12 2019-03-01 北京聚云位智信息科技有限公司 支持sql驱动的ai与特征工程的决策型分布式数据库系统
CN109408591B (zh) * 2018-10-12 2021-11-09 北京聚云位智信息科技有限公司 支持sql驱动的ai与特征工程的决策型分布式数据库系统
CN109739949A (zh) * 2018-11-13 2019-05-10 苏州网信信息科技股份有限公司 本地化数据库分权限全文检索系统及方法
CN110347662B (zh) * 2019-07-12 2021-08-03 之江实验室 一种基于通用数据模型的多中心医疗数据结构标准化系统
CN110347662A (zh) * 2019-07-12 2019-10-18 之江实验室 一种基于通用数据模型的多中心医疗数据结构标准化系统
CN110851495A (zh) * 2019-10-24 2020-02-28 长城计算机软件与系统有限公司 异构源数据处理方法、装置、存储介质和电子设备
CN112417225A (zh) * 2020-11-30 2021-02-26 北京明略软件系统有限公司 一种多源异构数据的联合查询方法与系统
CN112506580A (zh) * 2020-12-16 2021-03-16 青岛海尔科技有限公司 数据融合方法及装置,存储介质及电子装置
CN112966162A (zh) * 2021-03-08 2021-06-15 北京航空航天大学 一种基于数据仓库与中间件的科技资源集成方法及装置
CN117407407A (zh) * 2023-12-15 2024-01-16 中信证券股份有限公司 多异构数据源数据集更新方法、装置、设备和计算机介质
CN117407407B (zh) * 2023-12-15 2024-04-12 中信证券股份有限公司 多异构数据源数据集更新方法、装置、设备和计算机介质

Also Published As

Publication number Publication date
CN107368588B (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN107368588A (zh) 一种异构资源同构化方法及装置
CN104008135A (zh) 一种多源异构数据库融合系统及其数据查询方法
US20070198478A1 (en) Distributed meta data management middleware
US20050267901A1 (en) Distributed single schema data modeling system and method
CN101945126A (zh) 森林资源异构数据分布式管理系统
CN101187937A (zh) 网格环境下模式复用的异构数据库访问和集成方法
CN104657918A (zh) 一种区域资源环境数据共享和综合服务平台
CN101201842A (zh) 数字博物馆网格及其构造方法
CN101022366A (zh) 一种故障关联分析系统以及方法
CN102985922A (zh) 在计算空间中管理分布计算的方法和装置
CN104820946A (zh) 一种面向农业信息一体化的云计算系统
Coors et al. Using VRML as an Interface to the 3D Data Warehouse
CN105005608A (zh) 基于OpenSearch轻量级卫星数据分布式协同服务系统
CN107770177A (zh) 基于移动数据分布式协同服务系统
CN107656951A (zh) 一种同步异构数据库系统中实时数据的方法
CN101739603B (zh) 集中共享型的数字城管应用平台系统和实现方法
CN109542846A (zh) 一种基于数据虚拟化的物联网脆弱性信息管理系统
CN112651872A (zh) 一种基于数据中台的社区综合治理的系统和方法
CN113609141B (zh) 一种基于api拼接的无侵入式跨库数据融合方法
CN102063666A (zh) 一种用于水利信息集成及数据综合处理的平台系统
Calderoni et al. Iot manager: A case study of the design and implementation of an open source iot platform
CN110858354A (zh) 一种城市公共安全服务系统
CN107316268A (zh) 交通异构信息接入与互操作专用服务平台
CN102970354A (zh) 基于超资源融合的云计算体系的构造方法
Pino et al. Evaluation of federated database for distributed applications in e-government

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant