CN101754221A

CN101754221A - 异构系统间的数据传输方法及数据传输系统

Info

Publication number: CN101754221A
Application number: CN200810240331A
Authority: CN
Inventors: 徐丽娜
Original assignee: China Mobile Group Shandong Co Ltd
Current assignee: China Mobile Group Shandong Co Ltd
Priority date: 2008-12-19
Filing date: 2008-12-19
Publication date: 2010-06-23
Anticipated expiration: 2028-12-19
Also published as: CN101754221B

Abstract

本发明公开了一种异构系统间的数据传输的方法及系统，以解决现有技术中数据交换不能实现在物理网络安全防护下进行异构系统间的数据交换问题。该方法包括：第一通信系统接通本系统的数据入口节点与第二通信系统之间的第一数据通道，所述数据入口节点对通过第一数据通道接收第二通信系统发送的数据进行安全检测；第一通信系统断开第一数据通道，接通数据入口节点与本系统的数据处理节点之间的第二数据通道，所述数据处理节点对通过第二数据通道接收经过安全检测的数据进行格式转换，转换为本系统数据库支持的数据格式，并将其存储到本系统的数据库中。采用本发明技术方案，能够在保证数据安全性较高的环境下实现异构系统间的数据交换。

Description

异构系统间的数据传输方法及数据传输系统

技术领域

本发明涉及无线网络及计算机技术领域，尤其涉及异构系统间的数据传输方法及数据传输系统。

背景技术

随着行业信息化、电子商务等一系列网络应用的蓬勃发展，互联网得到广泛的使用，然而随之而来的网络入侵和网络攻击也越来越频繁，互联网中的信息数据安全和网络设备服务的运行安全，日益成为关注的焦点。

针对网络安全的威胁，现有的安全防护以及数据交换的方法主要有：

方法1、基于网络层隔离的防火墙技术。防火墙被称为网络安全防线中的第一道闸门，成为目前企业网络与外部网络实现隔离的最重要手段。防火墙包括包过滤、状态检测、应用代理等基本结构。目前的状态检测不但可以实现基于网络层的IP包头和TCP包头的策略控制，还可以跟踪TCP会话状态，给用户提供了一种既安全又高效的环境。漏洞扫描、入侵检测和管理等技术并不直接“隔离”，而是通过旁路监测侦听、审计、管理等功能使安全防护作用有效化。

方法2、基于物理链路层的物理隔离技术。物理隔离技术通过切断受病毒攻击的途径(如物理链路)，再尽力满足用户的应用。目前，物理隔离技术有以下几种方式：双机双网通过人工磁盘拷贝实现网络间隔离；单机双网等通过物理隔离卡/隔离集线器切换机制实现终端隔离；隔离服务器实现网络间文件交换拷贝等。这些物理隔离技术适用于信息交换实效性要求不高、局限于少量文件交换的小规模网络中。切断物理链路虽然可以避免基于网络的攻击和入侵，但不能有效地阻止依靠磁盘拷贝传播的病毒、木马程序等侵入内网的攻击。此外，采用隔离卡由于安全点分散，因而管理比较困难。

现有技术中的防火墙、网闸以及应用网关等各种网络安全隔离与数据交换技术，虽然可以在一定程度上解决网络安全隔离与数据交换的问题，但都不同程度地存在着局限性，如不能适应内部网络隔离、数据交换要求的多系统交互、应用复杂、同步数据灵活定义、高实时性、大流量的要求。而如何解决信息孤岛问题，实现各种异构业务系统间的互联互通、信息共享、业务协同是网络发展最迫切需要解决的问题。

发明内容

本发明实施例提供一种异构系统数据交换的方法及装置，以解决现有技术中数据交换不能实现在物理网络安全防护下进行异构系统间的数据交换问题。

一种异构系统间的数据传输方法，包括：

第一通信系统接通本系统的数据入口节点与第二通信系统之间的第一数据通道，所述数据入口节点通过第一数据通道接收第二通信系统发送的数据，并对接收到的数据进行安全检测；

第一通信系统断开第一数据通道，接通所述数据入口节点与本系统的数据处理节点之间的第二数据通道，所述数据处理节点通过第二数据通道接收经过安全检测的数据；

所述数据处理节点对接收到的数据进行格式转换，转换为本系统数据库支持的数据格式，并将格式转换后的数据存储到本系统的数据库中。

一种异构系统间的数据传输方法，包括：

第二通信系统的数据处理节点对数据进行格式转换，转换为进行数据传输的通用格式数据；

第二通信系统接通本系统的数据处理节点与本系统的数据出口节点之间的第二数据通道，所述数据出口节点通过第二数据通道接收进行了格式转换的数据；

第二通信系统断开第二数据通道，接通所述数据出口节点与第一通信系统之间的第一数据通道，所述数据出口节点通过第一数据通道向第一通信系统发送数据。

一种数据传输系统，包括交互控制服务器、数据安全服务器和同步服务器，其中：

交互控制服务器，用于所在通信系统接收异构通信系统发送来的数据时，接通数据安全服务器与所述异构通信系统之间的第一数据通道，当通过第一数据通道传输完数据后，断开第一数据通道并接通数据安全服务器与同步服务器之间的第二数据通道；

数据安全服务器，用于通过第一数据通道接收所述异构通信系统发送的数据，并对接收到的数据进行安全检测；

同步服务器，用于通过第二数据通道接收通过安全检测的数据，将接收到的数据的格式转换为所在通信系统数据库支持的数据格式，并将格式转换后的数据存储到所在通信系统的数据库中。

本发明实施例，一方面，在需要与其他异构通信系统进行数据交换的通信系统中设置数据处理节点，则可在接收其他异构通信系统的数据后，将其转换为本系统数据库所支持的数据格式，在向其他异构通信系统传输数据时，可将其转换为通用格式以便于其他异构通信系统的数据处理节点进行数据格式转，从而可实现异构系统间的双向数据传输，可提高数据迁移的灵活性；另一方面，通过对数据通道的控制，以及数据入口节点对数据安全的防范处理，从而将基于网络层隔离的防火墙技术以及基于物理链路的隔离技术相结合，使在不同系统间传输数据过程中，将不同系统间的数据传输通道进行物理隔离，并实现了数据安全检测，从而加强了异构系统间数据传输的安全性。

附图说明

图1为本发明实施例中异构系统数据交换的示意图；

图2为本发明实施例中异构系统数据交换的方法流程图。

具体实施方式

下面结合说明书附图对本发明实施例进行详细的描述。

参见图1，为本发明实施例中异构系统数据交换的示意图，该示意图中包括两个系统：系统1和系统2，系统1和系统2的数据库系统不同或/和操作系统不同。系统1中可包括数据库服务器11和同步服务器12；系统2中包括可交互控制服务器13、数据安全服务器14、同步服务器15以及数据库服务器16。其中，数据库服务器11和数据库服务器16负责各自系统的数据库文件存储、维护、管理等。系统1和系统2之间通过上述服务器可以进行数据交换。其中：

交互控制服务器13，用于控制同步服务器12与数据安全服务器14之间的数据通道1，以及数据安全服务器14和同步数据服务器15之间的数据通道2的接通和断开；

数据安全服务器14，用于对接收到的数据进行安全检测，如通过防火墙机制对数据进行安全检测、漏洞扫描等操作；

同步服务器15，用于将接收到的数据进行格式转换，转换为系统2支持的数据格式(包括系统2的数据库支持的数据格式，或系统2的操作系统支持的数据格式)，并将格式转换后的数据传送至数据库服务器16。同步服务器15从同步服务器12接收到的数据可以是经同步服务器12进行格式转换后的数据，其中，同步服务器12从数据库服务器11获取到需要传输给系统2的数据后，将其转换为进行数据交换时通常使用的数据格式(以下称通用格式)，如XML(eXtensible Markup Language，可扩展标记语言)格式。

本发明实施例支持双向的数据交换，如图1所示，当从系统2向系统1传输数据时，系统2中的同步服务器15从数据库服务器16获取到需要传输给系统1的数据后，可将其进行格式转换，转换为通用格式；交互控制服务器13接通数据通道2，待同步服务器15通过数据通道2传输完数据后，断开数据通道2并接通数据通道1，从而使数据安全服务器14将从同步服务器15接收到的数据通过数据通道1发送到系统1。

可以看出，数据安全服务器14可作为系统2的数据入口节点，对进入到系统2的数据进行安全防范；同时，数据安全服务器14也可作为系统2的数据出口节点，将系统2的数据发送到其他系统。当然，数据入口节点和数据出口节点也可由不同的服务器实现。同步服务器12或同步服务器15可作为数据处理节点，用于进行数据格式转换以及其他数据处理，如数据同步等。

结合图1并参见图2，为本发明实施例中系统1向系统2传输数据的流程图，该流程包括以下步骤：

步骤201、数据库服务器11根据数据操作请求，将相应的数据库文件发送到同步服务器12。

该步骤中，当系统2中的某一业务操作需要对系统2的数据库中的数据库表进行非查询类操作时，如获取数据库表等操作，数据库服务器11可对该数据库表的操作进行分类，并将该操作的分类记录到临时数据库表中(以下称该表为中间库表)。同步服务器12根据中间库表中的记录，将需要进行非查询类操作的数据文件转换成通用格式数据文件，如XML格式文件，并将该通用格式数据文件存放至同步服务器中12的交互目录中。

步骤202、同步服务器12在数据文件格式转换完之后，向交互控制服务器13发送通知消息。

在该步骤中，同步服务器12将系统1的数据库所支持的文件数据格式转换为通用格式的数据文件后，可将转换后的通用格式的数据文件名可按序号编排，该序号可以根据数据交换识别算法进行编制，以保证数据文件在传输中的完整性与唯一性，防止在后续的数据交换过程中丢失数据文件。

步骤203、交互控制服务器13接收到同步服务器12的通知消息后，接通数据安全服务器14与同步服务器12的数据通道1。

步骤204、同步服务器12检测到与数据安全服务器14连通后，通过接通的数据通道1将转换后的通用格式的数据文件发送到数据安全服务器14。

该步骤中，同步服务器12可将存放在交互目录区中的通用格式数据文件按编号顺序发送至数据安全服务器14。数据安全服务器14在接收到该数据文件后，对该数据文件进行安全检测，以确定该数据文件的安全性。例如，如果安全检测通过，则保存接收到的数据文件；如果安全检测未通过，则可发出警告或丢弃接收的数据文件，该数据传输过程失败。

步骤205、在同步服务器12向数据安全服务器14发送完数据文件之后，交互控制服务器13断开同步服务器12与数据安全服务器14的数据通道1，接通数据安全服务器14与同步服务器15之间的数据通道2。

步骤206、同步服务器15通过数据通道2，从数据安全服务器14下载通过安全防范处理的通用格式的数据文件并保存，如保存在接收目录中，然后将该通用格式的数据文件转换成系统1的数据库所支持的数据文件，并将进行格式转换后的数据文件发送至数据库服务器16。

该步骤中，同步服务器15可按数据文件名中的编号顺序从数据安全服务器14中下载数据文件。进一步的，同步服务器15还可以根据数据文件的序号判断数据文件是否完整(即没有出现数据文件丢失的现象)，若序号完整，则表明在传输过程中没有丢失文件，若序号不完整(即中间出现断号)，则表明在传输过程中丢失了文件。此时，数据库服务器16可请求重新获得丢失的数据文件。例如，当某编号的数据文件未下载成功时，重新从数据安全服务器14下载该数据文件，或者再次请求系统1发送该数据文件，直到下载完所有数据文件，如果经过多次请求都没有下载到所有数据文件，则该次数据传输失败。丢失数据文件的原因可能有多种，如果是传输过程异常导致的，则通常可通过重新请求下载来得到丢失的数据文件，如果是数据文件未通过安全防范处理，则需要向系统1重新请求传输这些数据文件。

步骤207、数据库服务器16将同步服务器15发送过来的数据文件导入到数据库服务器16的数据库(如SQL(Structure Query Language，结构查询语句)数据库)中，还可进一步用这些导入的数据更新数据库服务器16中原有的数据。

当从图1所示的系统2向系统1传输数据时(如根据系统1获取数据的请求)，同步服务器15从数据库服务器16获取需要传输的数据文件并进行格式转换，转换为通过格式的数据文件；交互控制服务器13接通同步服务器15和数据安全服务器14之间的数据通道2；同步服务器15通过数据通道2将通用格式的数据文件发送到数据安全服务器14；在通过数据通道2传输完数据后，交互控制服务器13断开数据通道2并接通数据通道1，数据安全服务器14通过数据通道1将数据发送给系统1中的同步服务器12，由其转换为系统1的数据库所支持的数据格式后发送到该系统中的数据库服务器11。上述数据传输过程中，数据安全服务器14可只透传数据而不再进行安全检测处理。

较佳地，系统1还可为用户提供数据交换的配置界面。在上述流程中的步骤201之前或者其他需要对数据传输进行重新配置的时候，用户通过系统1提供的B/S(Browser/Server，浏览器/服务器)界面对数据交换进行配置。

配置的内容可包括：对应用管理、系统设置、监控软件、控制平台等的配置，其中，应用管理的配置可包括对数据源端的配置(如数据库服务器11或同步服务器12的地址)、数据库表中数据文件的同步规则的制定、数据目标端的配置(如数据库服务器16的地址)；系统设置可包括数据源设置、平台初始化、业务应用的创建、应用属性的配置以及数据安全服务器14的设置(可包括数据过滤规则等安全规则的设置)；监控保障的配置可包括应用监控、网络监控、日志监控的设置；工具软件的设置可包括业务脚本自动生成器、前置同步功能模块的设置、数据解析器、清理守护功能模块(用于清理无效数据)的设置；控制平台的设置可包括子功能模块管理、用户信息管理的设置等。

较佳地，在上述流程中的数据文件传送过程中，还可包括：监控数据文件转移以及各服务器中FTP(File Transfer Protocol，文件传输协议，上述数据文件下载过程可采用该协议)的连接情况，当出现FTP连接失败、数据文件索引不匹配、各类数据库出现异常时，产生相应的警示信息，并将该警示信息发送至前台表示层，以警示管理员尽快解决异常或各类安全隐患。上述同步服务器12、同步服务器15和数据库服务器16中可包括该前台表示层，在这些服务器进行数据传输时，如果发送方服务器或接收方服务器发现异常可通过前台表示层发送警示信息。

较佳地，在本发明实施例中的同步服务器12和同步服务器15中还引入数据库同步脚本生成器软件，通过该数据库同步脚本生成器软件，可自动生成业务操作所需的数据文件格式转换操作代码，通过该操作代码可执行文件格式转换以及数据文件的存储。使用该软件可以对相应的代码、脚本的编写都实现程序化，缩短开发周期，降低在代码编写过程中由于人为原因而造成的错误率，并且该软件工具的应用为后续的业务系统升级后的二次开发工作提供方便。

通过上述描述可以看出，同步服务器12将数据格式转换为通过格式数据，可便于数据安全服务器14在进行数据安全防护时进行数据过滤等处理。如果每个需要与其他系统进行数据交换的系统中都设置同步服务器，则可在接收其他系统传输的数据后，将其转换为本系统数据库所支持的数据格式，在向其他系统传输数据时，可将其转换为通用格式以便于其他系统的同步服务器进行数据格式转，从而可实现异构系统间的双向数据传输，可提高数据迁移的灵活性。同时，通过交互控制服务器对数据通道的控制，以及数据安全服务器对数据安全的防范处理，从而将基于网络层隔离的防火墙技术以及基于物理链路的隔离技术相结合，使在不同系统间传输数据过程中，将不同系统进行物理隔离，并实现了数据安全检测，从而加强了异构系统间数据传输的安全性。

采用本发明实施例相比较于现有技术，有以下优点：

(1)本发明实施例通过数据发送方的同步服务器将需要传输的特定格式的数据文件转换成通用格式的数据文件，并将该通用格式数据文件发送至接收方的同步服务器，该同步服务器将通用格式的数据文件转换成本网的特定格式的数据文件，通过这种方式，实现了异构系统间的数据传输可以跨操作系统、跨数据库；另一方面，本发明实施例通过交互服务器对数据通道的接通与关闭的控制，实现数据发送方与接收方的物理链路的隔离，进一步的，还通过数据安全服务器对数据文件进行软件的安全检测，从而通过物理链路的隔离与软件的数据安全防范相结合使得数据交换更安全。

(2)本发明实施例为不同数据库间的数据交换提供更友好的B/S界面，用户可以在B/S界面中根据需要进行个性化的数据交换系统的设置，如数据同步规则，为用户提供了灵活的个性定制空间，使得异构系统数据交换平台具有更好的开放性与扩展性；

(3)本发明实施例通过在数据同步服务器中使用数据库同步脚本生成器来自动的完成对特定格式数据文件转换成基本格式的数据文件的过程，这样即可提高转换的成功率与提高开发速率；

(4)本发明实施例还包括对应用、网络、日志等进行监控，并在监控到出现异常时，产生警示信息，已警示管理员进行相应的处理，从而进一步的解除数据文件不安全的隐患。

(5)在数据同步过程中，采用与业务系统的生产数据无关性设计，同步数据用户与业务数据用户保持完全独立，数据的同步以及异常的恢复，不影响业务数据用户的正常运行，切实保障数据同步与业务操作的无关性。

(6)本发明实施例提供的数据交换方式在具有上述优点的同时，可承袭现有数据交换方式中的其他优点，如支持多种数据库(Oracle，MS SQLServer，Sybase，DB2，MYSQL等)同库、异库间的数据交换，支持多种交换，如全表交换(将整张表中的记录按一定的频率重复交换)、删除交换(删除源表中被同步过的记录)、标记交换(在源表中创建标记字段，被交换过的记录将被置标记)、触发器交换(通过在业务表上创建触发器来记载表中被改动过的记录，并将记录的对应值插入到辅助)、主从表交换等，支持数据恢复功能，能对因为某些异常原因无法入库的数据进行恢复处理等优点。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种异构系统间的数据传输方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，第二通信系统在发送数据之前，还包括：将所述数据的数据格式从第二通信系统数据库支持的数据格式转换为进行数据传输的通用数据格式。

3.如权利要求2所述的方法，其特征在于，第二通信系统对所述数据进行数据格式转换后，还包括：为格式转换后的数据顺序编号；

所述数据处理节点从第二数据通道接收到数据后，还包括：根据接收到的数据的编号判断有数据丢失时，请求重传被丢失的数据。

4.如权利要求1至3任一项所述的方法，其特征在于，所述数据入口节点为数据安全服务器；所述第一数据通道为第二通信系统中的同步服务器与第一通信系统中的数据安全服务器之间的数据通道；所述数据处理节点为同步服务器。

5.一种异构系统间的数据传输方法，其特征在于，包括：

6.如权利要求5所述的方法，其特征在于，所述数据处理节点为同步服务器；所述数据出口节点为数据安全服务器；所述第一数据通道为所述数据出口节点与第一通信系统中的同步服务器之间的数据通道。

7.一种数据传输系统，其特征在于，包括交互控制服务器、数据安全服务器和同步服务器，其中

8.如权利要求7所述的系统，其特征在于，所述同步服务器进一步用于，当根据接收到的数据的编号判断有数据丢失时，请求重传被丢失的数据。

9.如权利要求7所述的系统，其特征在于，所述交互控制服务器进一步用于，当其所在通信系统向所述异构通信系统发送数据时，接通同步服务器与数据安全服务器之间的第二数据通道，当通过第二数据通道传输完数据后，断开第二数据通道并接通数据安全服务器与所述异构通信系统间的第一数据通道；

所述同步服务器进一步用于，对需要发送到所述异构通信系统的数据进行格式转换，转换为进行数据传输的通用格式数据，并通过第二通道发送到数据安全服务器；

所述数据安全服务器进一步用于，通过第二数据通道接收同步服务器发送的数据后，通过第一数据通道将其发送到所述异构通信系统。

10.如权利要求9所述的系统，其特征在于，所述同步服务器进一步用于，将数据格式转换为所述通用格式后，为转换后的数据顺序编号。