CN101866361A - 一种异构数据集成方法及装置 - Google Patents

Abstract

本发明公开了一种异构数据集成方法及装置。一种异构数据库集成方法，包括：获取与预设的上传任务相对应的数据库内的数据，所述上传任务包括药品进货、药品库存、药品销货、医疗器械进货、医疗器械销货、医疗器械入库、问题药品、医疗器械库存和医疗器械使用中的至少一项；将所述获取的数据转换为预设格式的XML文件；上传所述XML文件至外网服务器，所述外网服务器将XML文件存储至药监局的集成数据库。应用上述技术方案，实现药监局和药械企业网络互通和异构数据的集成，即实现所有药械企业使用的不同类型数据库中不同类型数据的集成，该集成数据库存储于药监局使用的服务器，以实现对数据监控，即实现对所有药械企业的监控。

Description

一种异构数据集成方法及装置

技术领域

本发明涉及数据通信技术领域，尤其涉及一种异构数据集成方法及装置。

背景技术

随着药械企业信息化的加剧，药械企业内部各种应用系统呈阶段性逐渐增加，对药械企业的整体管理需要集成所有企业各应用系统下数据库的数据，但是由于药监局和药械企业的网络环境是不相通的，药械企业没有提供外网访问的入口，药监局数据库的内网与外网是隔离的，所以药监局无法访问辖区内所有药械企业使用的数据库中的数据，进而无法将不同数据库中的不同类型的数据，即异构数据集成，无法实现对所有数据库内数据的监控，即无法实现对所有药械企业的监控。

发明内容

有鉴于此，本发明的目的在于提供一种异构数据集成方法及装置，以实现对辖区内所有药械企业使用的数据库内数据的访问，进而实现对所有数据库内数据的监控，即实现对所有药械企业的监控。

本发明提供一种异构数据集成方法，包括：

获取与预设的上传任务相对应的数据库内的数据，所述上传任务包括药品进货、药品库存、药品销货、医疗器械进货、医疗器械销货、医疗器械入库、问题药品、医疗器械库存和医疗器械使用中的至少一项；

将所述获取的数据转换为预设格式的XML文件；

上传所述XML文件至外网服务器，所述外网服务器将XML文件存储至药监局的集成数据库。

本发明还提供一种异构数据集成装置，包括：

数据获取单元，用于获取与预设的上传任务相对应的数据库内的数据，所述上传任务包括药品进货、药品库存、药品销货、医疗器械进货、医疗器械销货、医疗器械入库、问题药品、医疗器械库存和医疗器械使用中的至少一项；

与数据获取单元相连的数据转换单元，用于将所述获取的数据转换为预设格式的XML文件；

与数据转换单元相连的XML文件上传单元，用于上传所述XML文件；

与XML文件上传单元相连的XML文件存储单元，用于存储所述上传的XML文件至集成数据库。

应用上述技术方案，获取的不同数据库内的数据分别根据预设的格式被转换为XML文件，并上传XML文件，将上传的XML文件存储在集成数据库，即同一个数据库中。XML文件上传至外网服务器，该外网服务器使得药监局和药械企业的网络互通。集成数据库中存储的XML文件将不同数据库内的不同类型数据，即异构数据集成，实现异构数据的集成，即实现所有药械企业使用的不同类型数据库中不同类型数据的集成，该集成数据库存储于药监局使用的服务器，以实现对数据监控，即实现对所有药械企业的监控。此外，由于只获取不同数据库内的数据，数据库本身的结构并不改变，所以在保证数据集成和对数据监控的情况下，保证各个数据库的完整性和安全性。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的异构数据集成方法的流程图；

图2为图1中所示的上传XML文件的流程图；

图3为图1中所示的上传XML文件的另一种流程图；

图4为本发明实施例提供的异构数据集成方法的另一种流程图；

图5为本发明实施例提供的异构数据集成装置的结构示意图；

图6为图5中所示的XML文件上传单元的结构示意图；

图7为图5中所示的XML文件上传单元的另一种结构示意图；

图8为本发明实施例提供的异构数据集成装置的另一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。

异构数据是指不同类型数据库中的不同类型的数据，由于数据的类型不同，导致药监局无法访问其辖区内所有药械企业使用的数据库内的数据，进而无法实现数据库之间数据的的监控。本发明实施例公开了一种异构数据集成方法及装置，将获取的不同数据库内的数据分别根据预设的格式被转换为XML文件，上传XML文件，并将上传的XML文件存储在集成数据库，即同一个数据库中，以实现对不同数据库内数据的监控。

实施例一：

首先对本发明实施例提供的异构数据集成方法进行说明，该方法的流程图如图1所示，包括：

S101：获取与预设的上传任务相对应的数据库中的数据。

由于药械企业所使用的应用系统不同，导致其使用的数据库各不相同，例如：两个药械企业分别使用Oracle和DB2数据库，由于数据库类型不同，其内数据结构不同，药监局使用的数据库最多与其中的一个药械企业使用的数据库相同，因此，在药监局和药械企业网络互通的前提下，药监局只能监控一个药械企业。为了实现药监局和药械企业网络互通的同时实现对所有数据库中数据的监控，需要首先采取各个数据库中的数据。

上传任务存储在外网服务器上，包括：药品进货、药品库存、药品销货、医疗器械进货、医疗器械销货、医疗器械入库、问题药品、医疗器械库存和医疗器械使用中的至少一项。上传任务是由药监局的监控人员根据需要监控的数据生成并预设的，根据该上传任务直接获取其内部使用的数据库的数据，提高效率。例如：需要获取山东鑫康弘医药有限公司的2010年6月17号的药品进货数据，则生成并预设“山东鑫康弘医药有限公司、2010年6月17号药品进货”的上传任务，搜索与该上传任务相对应的数据库，即山东鑫康弘医药有限公司使用的数据库，获取该数据库中2010年6月17号药品进货的数据。当然，本发明实施例还可以采用其他的获取数据的实施方式，比如：直接获取山东鑫康弘医药有限公司使用数据库中的所有数据。该实施方式可以实现数据的获取，只是由于未对数据进行标识，即未获取药品进货或者药品销货所对应的数据，导致获取的数据中存在不需要获取的数据，造成效率低，增加负载。

S102：将获取的数据转换为预设格式的XML文件。

XML是由SGML(Standard Generalized Markup，标准化通用标记语言)发展而来，它以一种开放的自我描述方式定义数据结构，在描述数据内容的同时能突出对结构的描述，进而体现出数据之间的关系。XML具有可扩展性、数据存储格式不受显示格式的制约以及平台独立性的优点。XML文件可以被不同数据库共享访问。

数据转换为XML文件具有多种实现方式，例如：数据库自身的数据转换XML功能模块或者应用系统的开发软件。本实施例中采用J2EE技术实现数据到XML文件的转换。

预设的格式是由药监局规定的，预设的格式要求XML文件包括：单位名称、数据类型、数据起始时间、数据截止时间、上传原因、成功上传日期、最大ID号、上传与否和解析与否的数据字段标识。其中数据类型包括：药品进货、药品销货、药品库存、医疗器械进货、医疗器械销货、医疗器械库存和医疗器械使用中的任意一种，每个数据类型对应一个XML文件，以方便对数据的查找和监控。例如：操作人员想了解所有药械企业的药品进货，只需要搜索数据类型-药品进货即可查找到。若想要了解某个药械企业的药品情况，只需要搜索单位名称。

S103：上传XML文件至外网服务器，该外网服务器将XML文件存储至药监局的集成数据库。

XML文件上传至药监局的外网服务器，外网服务器使得药监局和药械企业网络的互通，即药械企业将获得的数据转换成的XML文件上传至外网服务器，而药监局可以从外网服务器获取各个药械企业的XML文件。其上传包括：按照时间段上传和按照最大ID号上传两种方式，本实施例介绍按照时间段上传XML文件，其流程图如图2所示。该方式包括以下步骤：

S1031：获取上一次成功上传的XML文件内的成功上传日期；

S1032：比较成功上传日期和本次上传任务日期的前一天日期；

S1033：判断成功上传时间是否早于本次上传任务日期的前一天日期，如果是，执行S1034；否则执行S1035；

S1034：上传本次上传任务日期的前一天日期的XML文件；

S1035：不上传本次上传任务日期的前一天日期的XML文件。

外网服务器将XML文件存储至药监局的集成数据库，该集成数据库是异构数据库，实现了数据库转换和不同数据库中数据的透明访问，其存储有根据上传任务获取的数据转换成的XML文件。前已述及，XML文件包括多个数据字段标识，药监局的操作人员可以通过在数据字段标识中输入相应的查询条件来查找集成数据库中的与之相对应的数据，以实现对对数据的监控，即实现药监局对药械企业的监控，进而更好的调控药械市场。例如：操作人员想了解所有药械企业的医疗器械进货，只需要在“数据类型”字段标识中输入“医疗器械进货”进行搜索即可查找到所有药械企业的医疗器械进货数据。若想要了解某个药械企业的药品情况，只需要在“单位名称”字段标识中输入该单位名称即可搜索到该单位的药品情况。操作人员通过数据字段标识即可查找相对应的数据，提高数据搜索效率，更快捷的查找操作人员需要的数据。

应用上述技术方案，获取的不同数据库内的数据分别根据预设的格式被转换为XML文件，并上传XML文件，将上传的XML文件存储在集成数据库，即同一个数据库中。XML文件上传至外网服务器，该外网服务器使得药监局和药械企业的网络互通。集成数据库中存储的XML文件将不同数据库内的不同类型数据，即异构数据集成，实现异构数据的集成，即实现所有药械企业使用的不同类型数据库中不同类型数据的集成，该集成数据库存储于药监局使用的服务器，以实现对数据监控，即实现对所有药械企业的监控。此外，由于只获取不同数据库内的数据，数据库本身的结构并不改变，所以在保证数据集成和对数据监控的情况下，保证各个数据库的完整性和安全性。存储的XML文件包括多个数据标识，操作人员可以通过解析该数据标识对应的数据快速查找需要的数据，提高工作效率。

实施例二：

本实施例的S101、S102和S104与实施例一的S101、S102和S104三步骤相同，两个实施例的不同之处在于，上传XML文件采用的是按照最大ID号上传方式。前已述及，XML文件包括最大ID号数据字段标识，各个企业每次需要上传的任务至少为一条，则本次上传任务的最大ID号为上一次成功上传任务的最大ID号和本次上传任务条数之和，例如：A企业上一次的最大ID号为10，本次上传任务条数为5即要完成5个上传任务，则本次上传任务的最大ID号为15，即本次药械企业根据上传任务获取的数据所转换成的5个XML文件内的最大ID号都为15。药监局生成上传任务发送至外网服务器的同时，外网服务器根据上传任务，将各个药械企业的上传任务和本次上传任务的最大ID号存储到预先生成的，针对各个药械企业的数据库中如：外网服务器中A企业当前上传任务的最大ID号为15，则相对应的数据库存储的最大ID号为15。按照最大ID号上传方式的流程图如图3所示，包括：

S1030：比较上一次成功上传的XML文件和本次上传任务的最大ID号；

S1031：判断上一次成功上传的XML文件内的最大ID号是否小于本次上传任务的最大ID号，如果是，执行S1032；否则执行S1033；

S1032：上传存储有从上一次成功上传的XML文件内的最大ID号起下一个最大ID号的XML文件；

例如：若上一次成功上传的XML文件内的最大ID号为100，本次需要上传的条数为5条，则上传最大ID号为105的XML文件，且一次上传5条最大ID号都为105的XML文件。

S1033：判断两个最大ID号是否相等；如果是，执行S1034，否则执行S1039；

S1034：判断是否重新上传本次上传任务的XML文件，如果是，执行S1035；否则执行S1038；

S1035：获取上一次成功上传的XML文件内的成功上传日期；

S1036：比较成功上传日期是否早于本次上传任务日期，如果是，执行S1037；否则执行S1038；

S1037：上传本次上传任务的XML文件，并修改已上传过的XML文件的最大ID为0；

S1038：不上传本次上传任务的XML文件；

S1039：XML文件上传完毕。

应用上述技术方案，可以实现对不同数据库中异构数据的监控。该实施例和实施例一两种上传策略是并行关系，根据不同的上传任务采用不同的上传策略，库存、入库和问题药品是采用最大ID号的上传方式，而进货和销货是采用时间段的上传方式。

实施例三：

药监局辖区内所有药械企业的数量繁多，每日涉及海量的数据，因此本实施例在实现对数据的监控的同时，还能够对数据进行解析处理，进而更好的实现对数据的监控。其流程图如图4所示，包括：

S301：根据最小上传时间粒度，配置执行时间；执行时间包括：上传任务发布时间、文件解析时间、解析文件删除时间、数据转移时间、历史数据清除时间和数据整理时间；

执行时间是根据药监局的外网服务器使用的应用系统的最小上传时间粒度一秒，通过其内预设的配置文件quarta-reminder.xml配置的。例如：每天7点至8点设置为上传任务发布时间，在该时间内上传各个药械企业的上传任务，因此各个药械企业登陆外网服务器后就能够获取各自企业的上传任务；20点至24点为文件解析时间，解析XML文件，将XML文件解析为数据；凌晨1点至2点为解析文件删除时间，将已经解析过的XML文件删除；2点至4点为数据转移时间，将XML文件中存储的超过1个月的数据转移到服务器预设的历史数据库中，首先将要转移的数据转为历史数据，并插入到历史数据库内，再将XML文件中该转移的数据删除；4点至5点为历史数据清除时间，将历史数据库中存储时间超过3个月的历史数据清除，避免负载过重；4点至6点为数据整理时间，将同一数据字段标识下的数据整理为一个XML文件，例如：将“药品进货”字段标识下的数据整理为一个XML文件，并将该文件命名为“进货XML文件”，方便操作人员查找。

S302至S304：与S101至S103步骤相同；

S305：对XML文件解析处理，并将解析后的XML文件存储至药监局的集成数据库，解析处理为判断上传的XML文件是否正确，XML文件清除和XML文件转移中的任意一种。

例如：判断上传的XML文件是否正确：在实施例一中提到XML文件包括数据类型的数据标识，解析XML文件的该数据标识，如果上传任务中该数据标识对应的数据为“药品进货”，而操作人员上传的XML文件中该数据为“药品销货”，则判定XML文件上传错误，提示操作人员“XML文件上传错误，需要重新上传”。当解析成功的XML文件存储时间超过阈值6个月(阈值可以自行设定)时，判定为历史XML文件，并将其删除，以免XML存储过量，增加负载。而解析未成功的XML文件则转移到解析错误文件夹中，提示操作人员“解析错误”。

对XML文件的解析处理可以在解析处理时间内执行，也可以在外网服务器空闲时间，即在不影响外网服务器的日常业务的前提下，对XML文件解析处理。

应用上述技术方案，能够对数据进行解析处理，进而更好的实现集成和监控。

本发明还提供了一种异构数据集成装置，其结构示意图如图5所示，包括：数据获取单元10、与数据获取单元10相连的数据转换单元20、与数据转换单元20相连的XML文件上传单元30和与XML文件上传单元30相连的XML文件存储单元40。其中：

数据获取单元10，获取与预设的上传任务相对应的数据库内的数据，所述上传任务包括药品进货、药品库存、药品销货、医疗器械进货、医疗器械销货、医疗器械入库、问题药品、医疗器械库存和医疗器械使用中的至少一项。数据转换单元20，将获取的数据转换为预设格式的XML文件。XML文件上传单元30，上传XML文件至药监局的外网服务器。XML文件存储单元40，用于存储外网服务器内的XML文件至药监局的集成数据库。

XML文件上传单元30包括：成功上传日期获取子单元301和与成功上传日期获取子单元301相连的日期比较子单元302，如图6所示。其中：

成功上传日期获取子单元301，获取上一次成功上传的XML文件的成功上传日期。日期比较子单元302，比较成功上传日期获取子单元301获取的成功上传日期和本次上传任务日期的前一天的日期，当成功上传日期早于本次上传任务日期的前一天日期时，则上传本次上传任务日期的前一天日期的XML文件。

XML文件上传包括按照时间段上传和按照最大ID号上传两种方式，图6是与按照时间段上传的方式相对应的装置，图7则是与按照最大ID号上传的方式相对应的装置，包括：最大ID号比较子单元303、与最大ID号比较子单元303相连的重新上传判断子单元304、与重新上传判断子单元304相连的成功上传日期获取子单元305和与成功上传日期获取子单元305相连的上传日期比较子单元306。其中：

最大ID号比较子单元303，比较上一次成功上传的XML文件和本次上传任务的最大ID号，当上一次成功上传的XML文件内的最大ID号小于本次上传任务的最大ID号时，则上传存储有从上一次成功上传的XML文件内的最大ID号起下一个最大ID号的XML文件。重新上传判断子单元304，当最大ID号比较子单元303比较上一次成功上传的XML文件内的最大ID号等于本次上传任务的最大ID号时，则判断是否重新上传本次上传任务的XML文件。成功上传日期获取子单元305，当重新上传判断子单元304判断重新上传本次上传任务的XML文件时，获取上一次成功上传的XML文件内的成功上传日期。上传日期比较子单元306，比较成功上传日期获取子单元305获取的成功上传日期是否早于本次上传任务日期，当成功上传日期早于本次上传任务日期时，上传本次上传任务的XML文件。

药监局辖区内所有药械企业的数量繁多，每日涉及海量的数据，为了减轻外网服务器的负载，本发明提供的装置还包括：连接在XML文件上传单元30和XML文件存储单元40之间的XML文件解析单元50，如图8所示。

XML文件解析单元50，对XML文件解析处理，并将解析后的XML文件存储至药监局的集成数据库，解析处理为判断上传的XML文件是否正确，XML文件清除和XML文件转移中的任意一种。

此外，如图8所示，本发明提供的装置还包括：与数据获取单元10相连的执行时间配置单元00。执行时间配置单元00，根据最小上传时间粒度，配置执行时间，所述执行时间包括：上传任务发布时间、文件解析时间、解析文件删除时间、数据转移时间、历史数据清除时间和数据整理时间，以避免执行操作发生冲突。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种异构数据集成方法，其特征在于，包括：

获取与预设的上传任务相对应的数据库内的数据，所述上传任务包括药品进货、药品库存、药品销货、医疗器械进货、医疗器械销货、医疗器械入库、问题药品、医疗器械库存和医疗器械使用中的至少一项；

将所述获取的数据转换为预设格式的XML文件；

上传所述XML文件至外网服务器，所述外网服务器将XML文件存储至药监局的集成数据库。

2.根据权利要求1所述的集成方法，其特征在于，所述上传所述XML文件包括：

获取上一次成功上传的XML文件内的成功上传日期；

比较所述成功上传日期和本次上传任务日期的前一天日期，当成功上传日期早于所述本次上传任务日期的前一天的日期时，则上传所述本次上传任务日期的前一天的日期的XML文件。

3.根据权利要求2所述的集成方法，其特征在于，所述上传XML文件包括：

比较上一次成功上传的XML文件和本次上传任务的最大ID号，当上一次成功上传的XML文件内的最大ID号小于本次上传任务的最大ID号时，则上传存储有从上一次成功上传的XML文件内的最大ID号起下一个最大ID号的XML文件。

4.根据权利要求3所述的集成方法，其特征在于：当上一次成功上传的XML文件内的最大ID号等于本次上传任务的最大ID号时，则判断是否重新上传本次上传任务的XML文件；

若是，则获取上一次成功上传的XML文件内的成功上传日期；

比较成功上传日期是否早于本次上传任务日期，当所述成功上传日期早于本次上传任务日期时，上传本次上传任务的XML文件。

5.根据权利要求2或4所述的集成方法，其特征在于，在上传所述XML文件之后还包括：

对所述XML文件解析处理，并将解析后的XML文件存储至药监局的集成数据库，所述解析处理为判断上传的XML文件是否正确，XML文件清除和XML文件转移中的任意一种。

6.根据权利要求5所述的集成方法，其特征在于，在获取与预设的上传任务相对应的数据库内的数据之前还包括：

根据最小上传时间粒度，配置执行时间，所述执行时间包括：上传任务发布时间、文件解析时间、解析文件删除时间、数据转移时间、历史数据清除时间和数据整理时间。

7.一种异构数据集成装置，其特征在于，包括：

数据获取单元，用于获取与预设的上传任务相对应的数据库内的数据，所述上传任务包括药品进货、药品库存、药品销货、医疗器械进货、医疗器械销货、医疗器械入库、问题药品、医疗器械库存和医疗器械使用中的至少一项；

与数据获取单元相连的数据转换单元，用于将所述获取的数据转换为预设格式的XML文件；

与数据转换单元相连的XML文件上传单元，用于上传所述XML文件；

与XML文件上传单元相连的XML文件存储单元，用于存储所述上传的XML文件至集成数据库。

8.根据权利要求7所述的集成装置，其特征在于，所述XML文件上传单元包括：

成功上传日期获取子单元，用于获取上一次成功上传的XML文件内的成功上传日期；

与成功上传日期获取子单元相连的日期比较子单元，用于比较成功上传日期和本次上传任务日期的前一天日期，当成功上传日期早于本次上传任务日期的前一天日期时，则上传本次上传任务日期的前一天日期的XML文件。

9.根据权利要求7所述的集成装置，其特征在于，所述XML文件上传单元包括：

最大ID号比较子单元，用于比较上一次成功上传的XML文件和本次上传任务的最大ID号，当上一次成功上传的XML文件内的最大ID号小于本次上传任务的最大ID号时，则上传存储有从上一次成功上传的XML文件内的最大ID号起下一个最大ID号的XML文件。

10.根据权利要求9所述的集成装置，其特征在于，还包括：

与最大ID号比较子单元相连的重新上传判断子单元，用于当上一次成功上传的XML文件内的最大ID号等于本次上传任务的最大ID号时，则判断是否重新上传本次上传任务的XML文件；

与重新上传判断子单元相连成功上传日期获取子单元，用于获取上一次成功上传的XML文件内的成功上传日期；

与成功上传日期获取子单元相连的上传日期比较子单元，用于比较成功上传日期是否早于本次上传任务日期，当所述成功上传日期早于本次上传任务日期时，上传本次上传任务的XML文件。

Images