CN103336843B - 一种数据集成方法及装置 - Google Patents

一种数据集成方法及装置 Download PDF

Info

Publication number
CN103336843B
CN103336843B CN201310303753.5A CN201310303753A CN103336843B CN 103336843 B CN103336843 B CN 103336843B CN 201310303753 A CN201310303753 A CN 201310303753A CN 103336843 B CN103336843 B CN 103336843B
Authority
CN
China
Prior art keywords
data
name
extraction
field
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310303753.5A
Other languages
English (en)
Other versions
CN103336843A (zh
Inventor
聂秀志
车帅
李治
高隆林
刘民
温尚卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANDONG CIVIC SE COMMERCIAL MIDDLEWARE Co.,Ltd.
Original Assignee
CVIC Software Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CVIC Software Engineering Co Ltd filed Critical CVIC Software Engineering Co Ltd
Priority to CN201310303753.5A priority Critical patent/CN103336843B/zh
Publication of CN103336843A publication Critical patent/CN103336843A/zh
Application granted granted Critical
Publication of CN103336843B publication Critical patent/CN103336843B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据集成方法及装置,该方法通过接收数据集成请求信息,在源端数据库中查找与数据集成请求信息中携带的抽取条件相对应的数据,并分别将每条数据封装在一个数据对象中,传输数据对象至目的端数据库,最后获取数据对象中的数据对数据进行集成,本申请通过分别将每条获得的数据封装在数据对象中,并将数据对象传输至目的端数据库进行数据集成,实现了快速、高效的完成数据集成。

Description

一种数据集成方法及装置
技术领域
本申请涉及数据集成技术领域,特别是涉及一种数据集成方法及装置。
背景技术
数据集成是指将不同来源、格式、特点性质的数据在逻辑或物理上有机地集中,也就是将来自不同的源端数据库中的数据在逻辑或物理上有机的集中后形成目的端数据库中的数据,通过数据集成可以为企业提供全面的数据共享。
由于现代企业的飞速发展和企业逐渐从一个孤立节点发展为不断与网络交换信息和进行商务事物的实体,企业数据交换也从企业内部走向了企业之间,利用数据集成实现数据共享可以使更多人更加充分地使用已有的数据资源、减少资料收集、数据采集等重复劳动和相应费用。
但是近年来,随着科学技术的迅猛发展和信息化的推进,人类社会所积累的数据量越来越大,数据的更新速度也越来越快,从而导致对数据集成的速度也有了更高的要求。
因此,亟需一种快速、高效的数据集成方法及装置。
发明内容
有鉴于此,本申请实施例提供一种数据集成方法及装置,以实现快速、高效的完成数据集成。
为了实现上述目的,本申请实施例提供的技术方案如下:
一种数据集成方法,包括:
接收数据集成请求信息;
在所述源端数据库中查找与所述数据集成请求信息中携带的抽取条件相对应的数据;
分别将每条所述数据封装在一个数据对象中;
传输所述数据对象至目的端数据库;
获取所述数据对象中的数据,对所述数据进行集成。
优选地,所述抽取条件包括抽取表表名、字段名以及抽取范围;
所述在所述源端数据库中查找与所述数据集成请求信息中携带的抽取条件相对应的数据,具体包括:
在源端数据库中所有预先设置的抽取表中查找与所述抽取表表名相同的抽取表,并将所述抽取表作为目的抽取表;
在所述目的抽取表中查找与所述字段名以及所述抽取范围相对应的数据。
优选地,所述抽取条件中包括至少一个字段名;
所述分别将每条所述数据封装在一个数据对象中,具体包括:
分别将在所述目的抽取表中查找到与所述字段名以及所述抽取范围相对应的每条目的数据封装在一个数据对象中;所述目的数据中包括分别与所述抽取条件中的每个所述字段名相对应的字段数据。
优选地,预先设置源端数据库中各个抽取表表名和抽取表字段名、目的端数据库中各个生成表表名和生成表字段名,所述抽取表表名与所述生成表表名之间的映射关系,以及所述抽取表字段名与所述生成表字段名之间的映射关系;
所述获取所述数据对象中的数据,对所述数据进行集成,具体包括:
获取所述数据对象中的各个字段数据;
分别获取各个所述字段数据的属性信息;所述属性信息包括:所述字段数据所属的抽取表表名以及抽取表字段名;
在预先设置的所述抽取表表名与所述生成表表名之间的映射关系中查询与所述字段数据所属的抽取表表名相对应的生成表表名,并将具有该查询到的生成表表名的生成表作为目的生成表;
根据所述抽取表字段名与所述生成表字段名之间的映射关系,在所述目的生成表中查询与所述字段数据所属的抽取表字段名相对应的目的生成表字段名;
分别根据查找到的与该字段数据相对应的目的生成表以及目的生成表字段名在目的端数据库中对所述字段数据进行存储。
优选地,预先设置线程数以及每个线程的数据处理范围;
根据预先设置的线程数以及每个线程的数据处理范围,传输所述数据对象至目的端数据库。
优选地,该方法还包括:
判断在获取所述数据对象中的数据,对所述数据进行集成的过程中是否存在异常;
当存在时,将所述数据对象输出到日志文件中。
一种数据集成装置,包括:信息接收单元、数据查找单元、数据封装单元、数据对象传输单元以及数据集成单元,其中,
所述信息接收单元用于接收数据集成请求信息;
所述数据查找单元与所述信息接收单元相连接,用于在所述源端数据库中查找与所述数据集成请求信息中携带的抽取条件相对应的数据;
所述数据封装单元与所述数据查找单元相连接,用于分别将每条所述数据封装在一个数据对象中;
所述数据对象传输单元与所述数据封装单元相连接,用于传输所述数据对象至目的端数据库;
所述数据集成单元与所述数据对象传输单元相连接,用于获取所述数据对象中的数据,对所述数据进行集成。
优选地,所述抽取条件包括抽取表表名、字段名以及抽取范围;
所述数据查找单元包括目的抽取表查找单元和数据查找子单元,其中,
所述目的抽取表查找单元与所述信息接收单元相连接,用于在源端数据库中所有预先设置的抽取表中查找与所述抽取表表名相同的抽取表,并将所述抽取表作为目的抽取表;
所述数据查找子单元与所述目的抽取表查找单元相连接,用于在所述目的抽取表中查找与所述字段名以及所述抽取范围相对应的数据。
优选地,所述抽取条件中包括至少一个字段名;
所述数据封装单元用于分别将在所述目的抽取表中查找到与所述字段名以及所述抽取范围相对应的每条目的数据封装在一个数据对象中;所述目的数据中包括分别与所述抽取条件中的每个所述字段名相对应的字段数据。
优选地,预先设置源端数据库中各个抽取表表名和抽取表字段名、目的端数据库中各个生成表表名和生成表字段名,所述抽取表表名与所述生成表表名之间的映射关系,以及所述抽取表字段名与所述生成表字段名之间的映射关系;
所述数据集成单元包括:字段数据获取单元、属性信息获取单元、目的生成表查找单元、目的生成表字段名查找单元以及数据存储单元,其中,
所述字段数据获取单元与所述数据对象传输单元相连接,用于获取所述数据对象中的各个字段数据;
所述属性信息获取单元与所述字段数据获取单元相连接,用于分别获取各个所述字段数据的属性信息;所述属性信息包括:所述字段数据所属的抽取表表名以及抽取表字段名;
所述目的生成表查找单元与所述属性信息获取单元相连接,用于在预先设置的所述抽取表表名与所述生成表表名之间的映射关系中查询与所述字段数据所属的抽取表表名相对应的生成表表名,并将具有该查询到的生成表表名的生成表作为目的生成表;
所述目的生成表字段名查找单元与所述目的生成表查找单元相连接,用于根据所述抽取表字段名与所述生成表字段名之间的映射关系,在所述目的生成表中查询与所述字段数据所属的抽取表字段名相对应的目的生成表字段名;
所述数据存储单元与所述目的生成表字段名查找单元相连接,用于分别根据查找到的与该字段数据相对应的目的生成表以及目的生成表字段名在目的端数据库中对所述字段数据进行存储。
由此可见,本申请提供一种数据集成方法及装置,该方法通过接收数据集成请求信息,在源端数据库中查找与数据集成请求信息中携带的抽取条件相对应的数据,并分别将每条数据封装在一个数据对象中,传输数据对象至目的端数据库,最后获取数据对象中的数据对数据进行集成,本申请通过分别将每条获得的数据封装在数据对象中,并将数据对象传输至目的端数据库进行数据集成,实现了快速、高效的完成数据集成。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例一提供的一种数据集成方法流程图;
图2为本申请实施例一提供的一种在源端数据库中查找与数据集成请求信息中携带的抽取条件相对应的数据的方法流程图;
图3为本申请实施例二提供的一种获取数据对象中的数据,对数据进行集成的方法流程图;
图4为本申请实施例三提供的一种数据传输装置结构示意图;
图5为本申请实施例三提供的一种数据查找单元的详细结构示意图;
图6为本申请实施例四提供的一种数据集成单元的详细结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
实施例一:
图1为本申请实施例一提供的一种数据集成方法流程图。
如图1所示,该方法包括:
S101、接收数据集成请求信息。
在本申请实施例提供的数据集成方法中首先应该接收数据集成请求信息,该数据集成请求信息可以是用户发送的或根据用户的需求生成的,并且该数据集成请求信息中携带有抽取条件,该抽取条件包括抽取表表名、字段名和抽取范围。
S102、在源端数据库中查找与数据集成请求信息中携带的抽取条件相对应的数据。
在本申请实施例中,当接收到用户发送的数据集成请求信息后,获取该数据集成请求信息中携带的抽取条件,并连接源端数据库,根据抽取条件在源端数据库中查询符合抽取条件的数据。
图2为本申请实施例一提供的一种在源端数据库中查找与数据集成请求信息中携带的抽取条件相对应的数据的方法流程图。
如图2所示,该方法包括:
S201、在源端数据库中所有预先设置的抽取表中查找与抽取表表名相同的抽取表,并将抽取表作为目的抽取表。
在本申请实施例中抽取条件包括抽取表表名、字段名和抽取范围,并且源端数据库中预先设置有多个抽取表,当连接源端数据库以后,在源端数据库中预先设置的多个抽取表中查找与抽取条件中的抽取表表名相同的抽取表,并将该抽取表作为目的抽取表。
在本申请实施例中,连接源端数据库可以是根据预先设置的数据源直接连接到源端数据库,也可以是用当需要连接到源端数据库时用户实时通过程序进行源端数据库的连接。
S202、在目的抽取表中查找与字段名以及抽取范围相对应的数据。
当查找到目的抽取表后,因为目的抽取表中包括多个字段,且每个字段可能包括多个数据,因此,需要在目的抽取表中查找与抽取条件中的字段名和抽取范围相对应的数据。其中,因为目的抽取表中可能包括多个字段,抽取表中的字段名表示应该查找该目的抽取表中的哪些字段中的数据,又因为每个字段中均可能对应多个数据,抽取范围指的是应该查找某个字段中的具体哪些数据。
S103、分别将每条数据封装在一个数据对象中。
在本申请实施例中的抽取条件中至少包括一个字段名,分别将目的抽取表中查找到的与字段名以及抽取范围相对应的每条目的数据封装在一个数据对象中,并且目的数据中包括分别与抽取条件中的每个字段名相对应的字段数据。
因为目的抽取表中可能包括多个字段并且每个字段均可能包括多个数据,因此,当根据抽取条件中的字段名以及抽取范围对目的抽取表进行查找时,是根据抽取范围中的一个值,按照轮循一遍字段名获取一条目的数据的方式进行查找,并将查找到的每条目的数据封装在一个数据对象中。
S104、传输数据对象至目的端数据库。
在本申请实施例中,当将查找到的目的数据封装一个数据对象中以后,分别将每个数据对象传输至目的端数据库,并且在将每个数据对象传输至目的端数据库之前还包括通过预先设置的数据源连接目的端数据库,或者在传输数据对象至目的端数据库之前实时通过程序连接目的端数据库。
在本申请实施例中还可以预先设置线程数以及每个线程的处理范围,然后根据预先设置的线程数以及每个线程的数据处理范围,传输数据对象到目的端数据库,其中,线程的数据处理范围指的是该线程具体的可以传输哪些数据对象。
S105、获取数据对象中的数据,对数据进行集成。
在本申请实施例中,当将数据对象传输至目的端数据库以后,分别获取每个数据对象中的数据,然后对获取到的数据进行集成,并且,在该过程中还可以包括:判断在获取数据对象中的数据,对数据进行集成的过程中是否存在异常,当存在时,将数据对象输出到日志文件中。
由此可见,本申请提供一种数据集成方法,该方法通过接收数据集成请求信息,在源端数据库中查找与数据集成请求信息中携带的抽取条件相对应的数据,并分别将每条数据封装在一个数据对象中,传输数据对象至目的端数据库,最后获取数据对象中的数据对数据进行集成,本申请通过分别将每条获得的数据封装在数据对象中,并将数据对象传输至目的端数据库进行数据集成,实现了快速、高效的完成数据集成。
实施例二:
图3为本申请实施例二提供的一种获取数据对象中的数据,对数据进行集成的方法流程图。
如图3所示,该方法包括:
S301、获取数据对象中的各个字段数据。
在本申请实施例提供的数据集成方法中,预先设置有源端数据库中各个抽取表表名和抽取表字段名,目的端数据库中各个生成表表名和生成表字段名,抽取表表名与生成表表名之间的映射关系,以及抽取表字段名与生成表字段名之间的映射关系。当将数据对象传输至目的端数据库后,首先获取该数据对象中的各个字段数据。
S302、分别获取各个字段数据的属性信息。
在本申请实施例中在获取数据对象中的各个字段数据后,分别获取每个字段数据的属性信息,其中,属性信息包括:字段数据所属的抽取表表名以及抽取表字段名。
S303、在预先设置的抽取表表名与生成表表名之间的映射关系中查询与字段数据所属的抽取表表名相对应的生成表表名,并将具有该查询到的生成表表名的生成表作为目的生成表。
在本申请实施例中,当分别获取到各个字段数据的属性信息以后,在预先设置的抽取表表名与生成表表名之间的映射关系中查询与该字段数据的属性中的抽取表表名相对应的生成表表名,并将具有该查询到的生成表表名的生成表作为目的生成表。
S304、根据抽取表字段名与生成表字段名之间的映射关系,在目的生成表中查询与字段数据所属的抽取表字段名相对应的目的生成表字段名。
在本申请实施例中,当查询到目的生成表以后,根据抽取表字段名与生成表字段名之间的映射关系,在目的生成表中查找与字段数据的属性信息中的抽取表字段名相对应的目的生成表字段名。
S305、分别据根据查找到的与该字段数据相对应的目的生成表以及目的生成表字段名在目的端数据库中对字段数据进行存储。
在本申请实施例中当查找到目的生成表以及目的生成表字段名以后,根据查找到的与该字段数据相对应的目的生成表以及目的生成表字段名在目的端数据库中对字段数据进行存储。
可见,本申请实施例提供一种获取数据对象中的数据,并对数据进行集成的方法,通过该方法使得获取数据对象中的数据,并对数据进行集成的方法更加清晰、完善,并且使得本申请提供的一种数据集成方法更加完善。
实施例三:
图4为本申请实施例三提供的一种数据传输装置结构示意图。
如图4所示,该装置包括:信息接收单元1、数据查找单元2、数据封装单元3、数据对象传输单元4以及数据集成单元5,其中,信息接收单元1、数据查找单元2、数据封装单元3、数据对象传输单元4以及数据集成单元5依次相连接。
信息接收单元1用于接收数据集成请求信息。
在本申请实施例提供的数据集成方法中首先应该接收数据集成请求信息,该数据集成请求信息可以是用户发送的或根据用户的需求生成的,并且该数据集成请求信息中携带有抽取条件,该抽取条件包括抽取表表名、字段名和抽取范围。
数据查找单元2与信息接收单元1相连接,数据查找单元2接收信息接收单元1发送的数据集成请求信息,并连接源端数据库,且在源端数据库中查找与数据集成请求信息中携带的抽取条件相对应的数据。
图5为本申请实施例三提供的一种数据查找单元的详细结构示意图。
如图5所示,数据查找单元包括:目的抽取表查找单元21和数据查找子单元22,其中,目的抽取表查找单元21与信息接收单元相连接1相连接,数据查找子单元22与目的抽取表查找单元21相连接。
抽取条件包括抽取表表名、字段名以及抽取范围。
目的抽取表查找单元21与信息接收单元相连接1相连接,目的抽取表查找单元21在源端数据库中所有预先设置的抽取表中查找与抽取表表名相同的抽取表,并将抽取表作为目的抽取表。
在本申请实施例中抽取条件包括抽取表表名、字段名和抽取范围,并且源端数据库中预先设置有多个抽取表,当连接源端数据库以后,目的抽取表查找单元21在源端数据库中预先设置的多个抽取表中查找与抽取条件中的抽取表表名相同的抽取表,并将该抽取表作为目的抽取表。
在本申请实施例中,连接源端数据库可以是根据预先设置的数据源直接连接到源端数据库,也可以是用当需要连接到源端数据库时用户实时通过程序进行源端数据库的连接。
数据查找子单元22与目的抽取表查找单元21相连接,数据查找子单元22接收目的抽取表查找单元21发送的目的抽取表,并在目的抽取表中查找与字段名以及抽取范围相对应的数据。
当查找到目的抽取表后,因为目的抽取表中包括多个字段,且每个字段可能包括多个数据,因此,数据查找子单元22需要在目的抽取表中查找与抽取条件中的字段名和抽取范围相对应的数据。其中,因为目的抽取表中可能包括多个字段,抽取表中的字段名表示应该查找该目的抽取表中的哪些字段中的数据,又因为每个字段中均可能对应多个数据,抽取范围指的是应该查找某个字段中的具体哪些数据。
数据封装单元3与数据查找单元2相连接,数据封装单元3接收数据查找单元2发送的数据,并且分别将每条数据封装在一个数据对象中。
在本申请实施例中的抽取条件中至少包括一个字段名,数据封装单元3分别将目的抽取表中查找到的与字段名以及抽取范围相对应的每条目的数据封装在一个数据对象中,并且目的数据中包括分别与抽取条件中的每个字段名相对应的字段数据。
因为目的抽取表中可能包括多个字段并且每个字段均可能包括多个数据,因此,当数据查找单元2根据抽取条件中的字段名以及抽取范围对目的抽取表进行查找时,是根据抽取范围中的一个值,按照轮循一遍字段名获取一条目的数据的方式进行查找,并由数据封装单元3将查找到的每条目的数据封装在一个数据对象中。
数据对象传输单元4与数据封装单元3相连接,数据对象传输单元4接收数据封装单元3发送的数据对象,并传输数据对象至目的端数据库。
在本申请实施例中,当数据封装单元3将查找到的目的数据封装一个数据对象中以后,数据对象传输单元4分别将每个数据对象传输至目的端数据库,并且在将每个数据对象传输至目的端数据库之前还包括通过预先设置的数据源连接目的端数据库,或者在传输数据对象至目的端数据库之前实时通过程序连接目的端数据库。
在本申请实施例中还可以预先设置线程数以及每个线程的处理范围,然后根据预先设置的线程数以及每个线程的数据处理范围,传输数据对象到目的端数据库,其中,线程的数据处理范围指的是该线程具体的可以传输哪些数据对象。
数据集成单元5与数据对象传输单元4相连接,数据集成单元5获取数据对象中的数据,对数据进行集成。
在本申请实施例中,当数据对象传输单元4将数据对象传输至目的端数据库以后,分别获取每个数据对象中的数据,然后通过数据集成单元5对获取到的数据进行集成,并且,在该过程中还可以包括:判断在获取数据对象中的数据,对数据进行集成的过程中是否存在异常,当存在时,将数据对象输出到日志文件中。
由此可见,本申请提供一种数据集成装置,该装置包括信息接收单元、数据查找单元、数据封装单元、数据对象传输单元以及数据集成单元,其中,信息接收单元、数据查找单元、数据封装单元、数据对象传输单元以及数据集成单元依次相连接,首先由信息接收单元接收数据集成请求信息,然后由数据查找单元在源端数据库中查找与数据集成请求信息中携带的抽取条件相对应的数据,数据封装单元分别将每条数据封装在一个数据对象中,并由数据对象传输单元传输数据对象至目的端数据库,最后由数据集成单元获取数据对象中的数据对数据进行集成,本申请通过分别将每条获得的数据封装在数据对象中,并将数据对象传输至目的端数据库进行数据集成,实现了快速、高效的完成数据集成。
实施例四:
图6为本申请实施例四提供的一种数据集成单元的详细结构示意图。
如图6所示,该数据集成单元包括:字段数据获取单元51、属性信息获取单元52、目的生成表查找单元53、目的生成表字段名查找单元54以及数据存储单元55,其中,字段数据获取单元51、属性信息获取单元52、目的生成表查找单元53、目的生成表字段名查找单元54以及数据存储单元55依次相连接。
字段数据获取单元51与数据对象传输单元4相连接,用于获取数据对象中的各个字段数据。
在本申请实施例提供的数据集成装置中,预先设置有源端数据库中各个抽取表表名和抽取表字段名,目的端数据库中各个生成表表名和生成表字段名,抽取表表名与生成表表名之间的映射关系,以及抽取表字段名与生成表字段名之间的映射关系。当数据对象传输单元4将数据对象传输至目的端数据库后,字段数据获取单元51首先获取该数据对象中的各个字段数据。
属性信息获取单元52与字段数据获取单元51相连接,属性信息获取单元52分别获取各个字段数据的属性信息。
在本申请实施例中在获取数据对象中的各个字段数据后,属性信息获取单元52分别获取每个字段数据的属性信息,其中,属性信息包括:字段数据所属的抽取表表名以及抽取表字段名。
目的生成表查找单元53与属性信息获取单元52相连接,目的生成表查找单元53在预先设置的抽取表表名与生成表表名之间的映射关系中查询与字段数据所属的抽取表表名相对应的生成表表名,并将具有该查询到的生成表表名的生成表作为目的生成表。
在本申请实施例中,当属性信息获取单元52分别获取到各个字段数据的属性信息以后,目的生成表查找单元53接收属性信息获取单元52发送的各个字段数据的属性信息,并在预先设置的抽取表表名与生成表表名之间的映射关系中查询与该字段数据的属性中的抽取表表名相对应的生成表表名,并将具有该查询到的生成表表名的生成表作为目的生成表。
目的生成表字段名查找单元54与目的生成表查找单元53相连接,目的生成表字段名查找单元54接收目的生成表查找单元53发送的目的生成表,并根据抽取表字段名与生成表字段名之间的映射关系,在目的生成表中查询与字段数据所属的抽取表字段名相对应的目的生成表字段名。
数据存储单元55与目的生成表字段名查找单元54相连接,数据存储单元55分别根据查找到的与该字段数据相对应的目的生成表以及目的生成表字段名在目的端数据库中对字段数据进行存储。
在本申请实施例中当查找到目的生成表以及目的生成表字段名以后,数据存储单元55根据查找到的与该字段数据相对应的目的生成表以及目的生成表字段名在目的端数据库中对字段数据进行存储。
可见,本申请实施例提供一种数据集成单元的详细结构,通过本申请实施例使得数据集成单元的详细结构更加清晰、完善,并且使得本申请提供的一种数据集成装置更加完善。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
以上仅是本申请的优选实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种数据集成方法,其特征在于,预先设置源端数据库中各个抽取表表名和抽取表字段名、目的端数据库中各个生成表表名和生成表字段名,所述抽取表表名与所述生成表表名之间的映射关系,以及所述抽取表字段名与所述生成表字段名之间的映射关系,该方法包括:
接收数据集成请求信息;
在所述源端数据库中查找与所述数据集成请求信息中携带的抽取条件相对应的数据;
分别将每条所述数据封装在一个数据对象中;
传输所述数据对象至所述目的端数据库;
获取所述数据对象中的数据,对所述数据进行集成;
其中,所述获取所述数据对象中的数据,对所述数据进行集成,具体包括:
获取所述数据对象中的各个字段数据;
分别获取各个所述字段数据的属性信息;所述属性信息包括:所述字段数据所属的抽取表表名以及抽取表字段名;
在预先设置的所述抽取表表名与所述生成表表名之间的映射关系中查询与所述字段数据所属的抽取表表名相对应的生成表表名,并将具有该查询到的生成表表名的生成表作为目的生成表;
根据所述抽取表字段名与所述生成表字段名之间的映射关系,在所述目的生成表中查询与所述字段数据所属的抽取表字段名相对应的目的生成表字段名;
分别根据查找到的与该字段数据相对应的目的生成表以及目的生成表字段名在目的端数据库中对所述字段数据进行存储。
2.根据权利要求1所述的方法,其特征在于,所述抽取条件包括抽取表表名、字段名以及抽取范围;
所述在所述源端数据库中查找与所述数据集成请求信息中携带的抽取条件相对应的数据,具体包括:
在源端数据库中所有预先设置的抽取表中查找与所述抽取表表名相同的抽取表,并将所述抽取表作为目的抽取表;
在所述目的抽取表中查找与所述字段名以及所述抽取范围相对应的数据。
3.根据权利要求2所述的方法,其特征在于,所述抽取条件中包括至少一个字段名;
所述分别将每条所述数据封装在一个数据对象中,具体包括:
分别将在所述目的抽取表中查找到与所述字段名以及所述抽取范围相对应的每条目的数据封装在一个数据对象中;所述目的数据中包括分别与所述抽取条件中的每个所述字段名相对应的字段数据。
4.根据权利要求1-3中任意一项所述的方法,其特征在于,预先设置线程数以及每个线程的数据处理范围;
根据预先设置的线程数以及每个线程的数据处理范围,传输所述数据对象至目的端数据库。
5.根据权利要求1-3中任意一项所述的方法,其特征在于,还包括:
判断在获取所述数据对象中的数据,对所述数据进行集成的过程中是否存在异常;
当存在时,将所述数据对象输出到日志文件中。
6.一种数据集成装置,其特征在于,预先设置源端数据库中各个抽取表表名和抽取表字段名、目的端数据库中各个生成表表名和生成表字段名,所述抽取表表名与所述生成表表名之间的映射关系,以及所述抽取表字段名与所述生成表字段名之间的映射关系,该装置包括:信息接收单元、数据查找单元、数据封装单元、数据对象传输单元以及数据集成单元,其中,
所述信息接收单元用于接收数据集成请求信息;
所述数据查找单元与所述信息接收单元相连接,用于在源端数据库中查找与所述数据集成请求信息中携带的抽取条件相对应的数据;
所述数据封装单元与所述数据查找单元相连接,用于分别将每条所述数据封装在一个数据对象中;
所述数据对象传输单元与所述数据封装单元相连接,用于传输所述数据对象至所述目的端数据库;
所述数据集成单元与所述数据对象传输单元相连接,用于获取所述数据对象中的数据,对所述数据进行集成;
其中,所述数据集成单元包括:字段数据获取单元、属性信息获取单元、目的生成表查找单元、目的生成表字段名查找单元以及数据存储单元,其中,
所述字段数据获取单元与所述数据对象传输单元相连接,用于获取所述数据对象中的各个字段数据;
所述属性信息获取单元与所述字段数据获取单元相连接,用于分别获取各个所述字段数据的属性信息;所述属性信息包括:所述字段数据所属的抽取表表名以及抽取表字段名;
所述目的生成表查找单元与所述属性信息获取单元相连接,用于在预先设置的所述抽取表表名与所述生成表表名之间的映射关系中查询与所述字段数据所属的抽取表表名相对应的生成表表名,并将具有该查询到的生成表表名的生成表作为目的生成表;
所述目的生成表字段名查找单元与所述目的生成表查找单元相连接,用于根据所述抽取表字段名与所述生成表字段名之间的映射关系,在所述目的生成表中查询与所述字段数据所属的抽取表字段名相对应的目的生成表字段名;
所述数据存储单元与所述目的生成表字段名查找单元相连接,用于分别根据查找到的与该字段数据相对应的目的生成表以及目的生成表字段名在目的端数据库中对所述字段数据进行存储。
7.根据权利要求6所述的装置,其特征在于,所述抽取条件包括抽取表表名、字段名以及抽取范围;
所述数据查找单元包括目的抽取表查找单元和数据查找子单元,其中,
所述目的抽取表查找单元与所述信息接收单元相连接,用于在源端数据库中所有预先设置的抽取表中查找与所述抽取表表名相同的抽取表,并将所述抽取表作为目的抽取表;
所述数据查找子单元与所述目的抽取表查找单元相连接,用于在所述目的抽取表中查找与所述字段名以及所述抽取范围相对应的数据。
8.根据权利要求7所述的装置,其特征在于,所述抽取条件中包括至少一个字段名;
所述数据封装单元用于分别将在所述目的抽取表中查找到与所述字段名以及所述抽取范围相对应的每条目的数据封装在一个数据对象中;所述目的数据中包括分别与所述抽取条件中的每个所述字段名相对应的字段数据。
CN201310303753.5A 2013-07-18 2013-07-18 一种数据集成方法及装置 Active CN103336843B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310303753.5A CN103336843B (zh) 2013-07-18 2013-07-18 一种数据集成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310303753.5A CN103336843B (zh) 2013-07-18 2013-07-18 一种数据集成方法及装置

Publications (2)

Publication Number Publication Date
CN103336843A CN103336843A (zh) 2013-10-02
CN103336843B true CN103336843B (zh) 2017-02-15

Family

ID=49245008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310303753.5A Active CN103336843B (zh) 2013-07-18 2013-07-18 一种数据集成方法及装置

Country Status (1)

Country Link
CN (1) CN103336843B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106921614B (zh) * 2015-12-24 2020-05-22 北京国双科技有限公司 业务数据处理方法和装置
CN108228611B (zh) * 2016-12-14 2020-08-18 平安科技(深圳)有限公司 单据信息抄写方法和装置
CN110019309A (zh) * 2017-12-29 2019-07-16 北京小度信息科技有限公司 数据存取方法、装置、电子设备及计算机可读存储介质
CN109885532A (zh) * 2019-02-11 2019-06-14 中国银行股份有限公司 一种交易数据标准化方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1738309A (zh) * 2004-08-20 2006-02-22 华为技术有限公司 数据交换方法
CN1975680A (zh) * 2006-11-27 2007-06-06 浙江大学 基于Java的进程间异步通信的实现方法
CN101083656A (zh) * 2007-07-05 2007-12-05 上海交通大学 基于数据流技术的多源异构数据集成系统
CN102081661A (zh) * 2011-01-19 2011-06-01 吉林大学 基于xml的异构关系型数据库的数据集成方法和系统
CN102298607A (zh) * 2010-05-27 2011-12-28 微软公司 数据集成的方案合约

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1738309A (zh) * 2004-08-20 2006-02-22 华为技术有限公司 数据交换方法
CN1975680A (zh) * 2006-11-27 2007-06-06 浙江大学 基于Java的进程间异步通信的实现方法
CN101083656A (zh) * 2007-07-05 2007-12-05 上海交通大学 基于数据流技术的多源异构数据集成系统
CN102298607A (zh) * 2010-05-27 2011-12-28 微软公司 数据集成的方案合约
CN102081661A (zh) * 2011-01-19 2011-06-01 吉林大学 基于xml的异构关系型数据库的数据集成方法和系统

Also Published As

Publication number Publication date
CN103336843A (zh) 2013-10-02

Similar Documents

Publication Publication Date Title
CN103336843B (zh) 一种数据集成方法及装置
CN104125208B (zh) 数据传输方法及装置
US20140064272A1 (en) Providing a layer-3 interface
WO2015161663A1 (zh) 公交信息展现方法、装置和设备
WO2016161808A1 (zh) 列车动态重联的方法及节点
WO2023005041A1 (zh) 意图驱动的多模态dikw内容传输方法
CN110012049A (zh) 信息推送方法、系统、服务器及计算机可读存储介质
CN103595710A (zh) 一种一体化标识网络连接标识生成方法
CN103414705B (zh) 一种基于saas模式的移动互联网络异构数据交换方法
CN106789965A (zh) 一种物联网数据交换方法及系统
US20220224591A1 (en) Network management apparatus, method, and program
CN204204033U (zh) 基于无线网络的电子商务系统
CN106230730A (zh) 一种组播传输方法和装置
CN104469028A (zh) 一种服务提供方法、会话服务器及客服系统
CN106411771A (zh) 一种数据转发方法及系统
CN104104594B (zh) Vsu的协议报文发送与接收方法、设备及系统
CN110069564B (zh) 基于区块链的信息查询系统及方法
CN107506473A (zh) 一种基于云计算的大数据检索方法
CN111597156B (zh) 民航数据处理方法、装置、电子设备及存储介质
CN103199493A (zh) 分布式联网继电保护整定计算系统实现方法
CN106446249A (zh) 一种地理信息获取方法及地理信息获取系统
CN204089885U (zh) 一种大数据复杂应用环境下无线传感云网络系统
CN103731347A (zh) 一种基于嵌套vpn网络的vpnv4路由处理方法和设备
CN106506687A (zh) 一种信息处理方法及系统
CN103475686B (zh) 用于电力仿真的通信数据分发系统及通信数据分发方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211213

Address after: 250014 No. 41-1 Qianfo Shandong Road, Lixia District, Jinan City, Shandong Province

Patentee after: SHANDONG CIVIC SE COMMERCIAL MIDDLEWARE Co.,Ltd.

Address before: 250014 No. 41-1 Qianfo Shandong Road, Lixia District, Jinan City, Shandong Province

Patentee before: SHANDONG CVIC SOFTWARE ENGINEERING Co.,Ltd.

Patentee before: Shandong Zhongchuang software commercial middleware Co., Ltd

TR01 Transfer of patent right