CN106790393B - 一种数据定向传送系统 - Google Patents

Abstract

本发明提供一种数据定向传送系统，用于在第一网段和第二网段中定向传送数据，数据定向传送系统包括数据库服务器、过渡服务器、防火墙、web服务器和中间池数据服务器，其中，数据库服务器和过渡服务器位于第一网段，web服务器和中间池数据服务器位于第二网段，当第一网段和第二网段属于不同网段时，第二网段通过过渡服务器获取数据库服务器中的数据，获取的数据通过TCP协议实现传输，并基于组件对象模型写入中间池数据服务器中，当第一网段和第二网段属于相同网段时，第二网段直接通过数据库服务器获取数据。本发明的数据定向传送系统能够实现大数据的高效稳定传送。

Description

一种数据定向传送系统

技术领域

本发明涉及一种数据传送系统，尤其涉及一种数据定向传送系统。

背景技术

随着网络技术的极速发展，通过网络获取数据已成为人们常用的获取途径，目前社会已基本上进入信息化时代。数据传送的质量主要依赖于传输的通道和技术，由于各种繁冗复杂、海量多样的数据，以及海量的用户同时在线进行访问，经常发生网络拥堵或堵塞甚至瘫痪现象，这非常不利于数据的传送，影响数据获取的及时性和便捷性。

因此，亟待出现一种能够快速高效传送数据的数据传送系统。

发明内容

针对上述技术问题，本发明提供一种能够高效传送数据的数据定向传送系统。

本发明采用的技术方案为：

本发明的实施例提供一种数据定向传送系统，用于在第一网段和第二网段中定向传送数据，所述数据定向传送系统包括数据库服务器、过渡服务器、防火墙、web服务器和中间池数据服务器，其中，所述数据库服务器和所述过渡服务器位于所述第一网段，所述web服务器和所述中间池数据服务器位于所述第二网段，当所述第一网段和所述第二网段属于不同网段时，所述第二网段通过所述过渡服务器获取所述数据库服务器中的数据，获取的数据通过TCP协议实现传输，并基于组件对象模型写入所述中间池数据服务器中，当所述第一网段和所述第二网段属于相同网段时，所述第二网段直接通过所述数据库服务器获取数据。

可选地，所述数据库服务器包括定向传送配置服务模块和数据定向传送服务模块，所述中间池数据服务器包括任务管理服务模块，其中，所述定向传送配置服务模块用于对数据定向传送的数据环境进行配置；所述数据定向传送服务模块用于对定向传送配置服务模块配置的数据环境进行检测，并将经检测后的数据传送给任务管理服务模块；所述任务管理服务模块用于对定向传送的数据进行监控管理。

可选地，所述数据库服务器、所述web服务器和所述中间池数据服务器中均配置有传送日志服务模块，所述传送日志服务模块用于对定向传送的数据的日志信息进行记录和检索。

可选地，所述定向传送服务配置模块包括定向传送服务配置单元、数据库表配置单元、矢量数据SDE配置单元，元数据库配置单元和文件数据FTP配置单元；其中，所述定向传送服务配置单元用于实现通信目标配置，配置信息包括定向传送服务端部署服务器的IP和通信端口，配置完成后可测试连接并保存配置信息到XML文件；所述数据库表配置单元用于配置oracle数据库信息，配置内容包括数据库服务器IP、端口、数据库实例名称、用户名和密码，配置完成后可进行数据库连接测试并保存配置信息到XML文件；所述矢量数据SDE配置单元用于配置SDE连接参数，包括SDE服务器名称、SDE数据库版本、SDE数据库端口、SDE用户名和密码，配置完成后可测试SDE连接情况并保存配置信息到XML文件；所述元数据库配置单元用于配置元数据库地址、端口、用户名和密码，配置完成后可测试元数据库的连接状态并保存配置信息到XML文件；所述文件数据FTP配置单元用于配置FTP地址、端口、用户名、密码，配置完成后保存配置信息到XML文件。

可选地，所述数据定向传送服务模块包括在线数据定向传送单元，离线数据定向传送单元，矢量数据定向传送单元，文件数据定向传送单元，数据库表定向传送单元和元数据定向传送单元；其中，所述在线数据定向传送单元用于自动检查数据有效性，包括数据属性及文件路径，确认正确性后开始定向传送，若检查有误，则提示错误；所述离线数据定向传送单元用于将要传送的所有数据、文件打包成zip文件，进行离线传送到数据中心，定向传送服务端再将其解析成原始数据、文件；所述矢量数据定向传送单元用于检查空间数据引擎定向传送参数，进入数据环境连接测试，数据环境连接成功后，开始空间数据引擎数据定向传送过程，若检查有误，则提示错误；所述文件数据定向传送单元用于检查影像数据定向传送配置参数，进入数据环境连接测试，数据环境连接成功后，开始文件数据定向传送过程，若检查有误，则提示错误；所述数据库表定向传送单元用于检查二维表定向传送参数，数据环境连接成功后，开始数据库表数据定向传送过程，若检查有误，则提示错误；所述元数据定向传送单元用于检查元数据定向传送参数，数据环境连接成功后，开始元数据数据定向传送，若检查有误，则提示错误。

可选地，所述任务管理服务模块包括任务执行状态信息获取单元，并行传送任务管理控制单元、中间池数据管理单元和中间池监控信息获取单元；其中，所述任务执行状态信息获取单元用于在传送任务开始后，记录任务执行状态，包括启动时间、传输进度等，以XML形式存储；所述并行传送任务管理控制单元用于在并行传送任务开始后，根据定向传送配置参数管理定向传送并行任务；所述中间池数据管理单元用于根据震级大小来配置保留时长，按保留时长删除中间池数据；所述中间池监控信息获取单元用于将数据中间池存储空间信息、中间数据目录信息以XML形式记录。

可选地，所述所述传送日志服务模块包括定向传送日志记录单元和历史日志浏览检索单元，其中，所述定向传送日志记录单元用于记录本次传送过程的日志，包括数据类型、任务编号、开始时间、结束时间、数据说明等信息，以XML文件形式存储；所述历史日志浏览检索单元用于检索历史传送过程的日志信息，包括任务日期、数据类型、任务编号、开始时间、结束时间、数据说明等信息。

本发明提供的数据定向传送系统能够实现不同网段的数据定向传送和同一网段的数据定向传送，将需要传送的数据进行分类配置后，以多种定向传送方式进行传送，并对传送日志和任务进行管理，实现了数据的定向传送，提高了数据传送的效率和安全性。

附图说明

图1为本发明的数据定向传送系统的技术架构图。

图2和图3分别是本发明的数据定向传送系统的不同网段的数据定向传送和同一网段的数据定向传送示意图。

图4为本发明的数据定向传送系统的结构框图。

具体实施方式

以下，参考附图对本发明的数据定向传送系统进行介绍。

图1为本发明的数据定向传送系统的技术架构图。图2和图3分别是本发明的数据定向传送系统的不同网段的数据定向传送和同一网段的数据定向传送示意图。图4为本发明的数据定向传送系统的结构框图。

本发明的实施例提供一种数据定向传送系统，用于同一网段的数据定向传送和不同网段的数据定向传送(随后介绍)，从技术层面来划分，可分为应用层、平台层、数据层和用户层，如图1所示。其中，应用层主要用于日志记录、检索，数据定向传送和任务管理等，其基于.NET Framework3.5开发定向传送系统，通过ArcEngine从空间数据引擎(ArcSDE)数据库中提取空间数据，转换成MDB文件，基于传输控制协议(TCP)传送技术实现MDB文件的定向传送，以WebService技术封装定向传送服务，通过定向传送服务与数据定向传送系统服务端、客户端的程序交互，实现其他系统(位于用户层)对数据定向传送系统的调用，其中，数据定向传送系统客户端和服务端采用C#语言开发，客户端利用ArcGIS Engine for.NETAPI开发ArcSDE数据读取、写入和数据库转换等部分功能。所述平台层主要用于传送配置服务和定向传送服务，利用元数据服务器、元数据网关平台，调用其提供的元数据查询服务接口，实现元数据的定向传送；所述数据层为数据定向传送系统的数据资源层，为数据定向传送提供数据资源，包括业务数据和元数据两部分，其中的空间数据库管理采用oracle结合ArcSDE9.2的技术管理，元数据采用Oracle数据库管理，XML文件保存系统配置、日志信息和执行状态信息和数据文件传送采用Zip包格式。

接下来，参考图2和图3对用于在第一网段和第二网段中定向传送数据的数据定向传送系统进行介绍。如图2和3所示，所述数据定向传送系统包括数据库服务器、过渡服务器、防火墙、web服务器和中间池数据服务器，其中，所述数据库服务器和所述过渡服务器位于所述第一网段，所述web服务器和所述中间池数据服务器位于所述第二网段，当所述第一网段和所述第二网段属于不同网段时，所述第二网段通过所述过渡服务器获取所述数据库服务器中的数据，获取的数据通过TCP协议实现传输，并基于组件对象模型写入所述中间池数据服务器中，当所述第一网段和所述第二网段属于相同网段时，所述第二网段直接通过所述数据库服务器获取数据。

可选地，所述数据库服务器包括定向传送配置服务模块和数据定向传送服务模块，所述中间池数据服务器包括任务管理服务模块，其中，所述定向传送配置服务模块用于对数据定向传送的数据环境进行配置；所述数据定向传送服务模块用于对定向传送配置服务模块配置的数据环境进行检测，并将经检测后的数据传送给任务管理服务模块；所述任务管理服务模块用于对定向传送的数据进行监控管理。此外，所述数据库服务器、所述web服务器和所述中间池数据服务器中均配置有传送日志服务模块，所述传送日志服务模块用于对定向传送的数据的日志信息进行记录和检索。

在本发明中，对于不同网段的数据定向传送，数据存储在不同网段，即数据库部署在192网段，192网段(第一网段)和行业专网10网段(第二网段)属于不同的网络区域，两网之间有防火墙隔离，10网段服务器一般不允许直接访问192网段数据库服务器，因此针对不同网段下的数据定向传送技术须借助过渡服务器，如图3所示。过渡服务器位于192网段，对内访问数据库，对外与10网段通信。不同网段下的数据定向传送首先需要基于组件对象模型(COM)技术在193网段的数据库服务器中读取后，通过过渡服务器传送至10网段的WEB服务器中，再经过TCP文件传输，最后使用基于组件对象模型(COM)的数据库技术写入到中间数据池服务器中。基于TCP的大文件传输技术是基于TCP协议，以Winsockets为基本通信单元实现的大文件传输，通过多线程技术，实现快速稳定地数据传输，支持文件传输较验和断点续传。

对于同一网段的数据定向传送，即数据库部署在行业专网10网段的数据定向传送，首先须在防火墙上打开Web服务器对数据库服务器访问的协议和端口，其次是基于COM技术的数据读取，将读取的数据基于TCP的大文件传输技术传送到中间池数据服务器中，最后以COM技术写入到数据库中。

以下，参考图4对本发明的数据定向传送系统的各模块进行介绍。如图4所示，本发明的数据定向传送系统从功能上可分为4大模块和17个单元，包括：定向传送配置服务模块1，用于对数据定向传送的数据环境进行配置，包括定向传送服务配置单元、数据库表配置单元、矢量数据SDE配置单元，元数据库配置单元和文件数据FTP配置单元；数据定向传送服务模块2，用于对定向传送配置服务模块配置的数据环境进行检测，并将经检测后的数据传送给任务管理服务模块，包括在线数据定向传送单元，离线数据定向传送单元，矢量数据定向传送单元，文件数据定向传送单元，数据库表定向传送单元和元数据定向传送单元；传送日志服务模块3，用于对定向传送的数据的日志信息进行记录和检索，包括定向传送日志记录单元和历史日志浏览检索单元；以及任务管理服务模块4，对定向传送的数据进行监控管理，包括任务执行状态信息获取单元，并行传送任务管理控制单元、中间池数据管理单元和中间池监控信息获取单元。定向传送配置服务模块1、数据定向传送服务模块2和任务管理服务模块4主要由虚拟调度子系统进行驱动，传送日志服务模块3主要由运行管理子系统驱动。

具体地，所述定向传送服务配置单元用于实现通信目标配置，配置信息包括定向传送服务端部署服务器的IP和通信端口，配置完成后可测试连接并保存配置信息到XML文件；所述数据库表配置单元用于配置oracle数据库信息，配置内容包括数据库服务器IP、端口、数据库实例名称、用户名和密码，配置完成后可进行数据库连接测试并保存配置信息到XML文件；所述矢量数据SDE配置单元用于配置SDE连接参数，包括SDE服务器名称、SDE数据库版本、SDE数据库端口、SDE用户名和密码，配置完成后可测试SDE连接情况并保存配置信息到XML文件；所述元数据库配置单元用于配置元数据库地址、端口、用户名和密码，配置完成后可测试元数据库的连接状态并保存配置信息到XML文件；所述文件数据FTP配置单元用于配置FTP地址、端口、用户名、密码，配置完成后保存配置信息到XML文件。

所述在线数据定向传送单元用于自动检查数据有效性，包括数据属性及文件路径，确认正确性后开始定向传送，若检查有误，则提示错误；所述离线数据定向传送单元用于将要传送的所有数据、文件打包成zip文件，进行离线传送到数据中心，定向传送服务端再将其解析成原始数据、文件；所述矢量数据定向传送单元用于检查空间数据引擎定向传送参数，进入数据环境连接测试，数据环境连接成功后，开始空间数据引擎数据定向传送过程，若检查有误，则提示错误；所述文件数据定向传送单元用于检查影像数据定向传送配置参数，进入数据环境连接测试，数据环境连接成功后，开始文件数据定向传送过程，若检查有误，则提示错误；所述数据库表定向传送单元用于检查二维表定向传送参数，数据环境连接成功后，开始数据库表数据定向传送过程，若检查有误，则提示错误；所述元数据定向传送单元用于检查元数据定向传送参数，数据环境连接成功后，开始元数据数据定向传送，若检查有误，则提示错误。

所述定向传送日志记录单元用于记录本次传送过程的日志，包括数据类型、任务编号、开始时间、结束时间、数据说明等信息，以XML文件形式存储；所述历史日志浏览检索单元用于检索历史传送过程的日志信息，包括任务日期、数据类型、任务编号、开始时间、结束时间、数据说明等信息。

所述任务执行状态信息获取单元用于在传送任务开始后，记录任务执行状态，包括启动时间、传输进度等，以XML形式存储；所述并行传送任务管理控制单元用于在并行传送任务开始后，根据定向传送配置参数管理定向传送并行任务；所述中间池数据管理单元用于根据震级大小来配置保留时长，按保留时长删除中间池数据，例如，8级地震保留72小时，7级地震保留48小时，6级地震保留24小时；所述中间池监控信息获取单元用于将数据中间池存储空间信息、中间数据目录信息以XML形式记录。

综上，本发明的数据定向传送系统基于.Net技术、COM技术，WebService技术，TCP大文件传输技术来实现数据的定向传送，并对传送的数据进行配置和管理，能够实现大数据文件的高效安全传送。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (5)

1.一种数据定向传送系统，其特征在于，用于在第一网段和第二网段中定向传送数据，所述数据定向传送系统包括数据库服务器、过渡服务器、防火墙、web服务器和中间池数据服务器，其中，所述数据库服务器和所述过渡服务器位于所述第一网段，所述web服务器和所述中间池数据服务器位于所述第二网段，当所述第一网段和所述第二网段属于不同网段时，所述第二网段通过所述过渡服务器获取所述数据库服务器中的数据，获取的数据通过TCP协议实现传输，并基于组件对象模型写入所述中间池数据服务器中，当所述第一网段和所述第二网段属于相同网段时，所述第二网段直接通过所述数据库服务器获取数据；

所述数据库服务器包括定向传送配置服务模块和数据定向传送服务模块，所述中间池数据服务器包括任务管理服务模块，其中，所述定向传送配置服务模块用于对数据定向传送的数据环境进行配置；所述数据定向传送服务模块用于对定向传送配置服务模块配置的数据环境进行检测，并将经检测后的数据传送给任务管理服务模块；所述任务管理服务模块用于对定向传送的数据进行监控管理；

所述定向传送服务配置模块包括定向传送服务配置单元、数据库表配置单元、矢量数据SDE配置单元，元数据库配置单元和文件数据FTP配置单元；其中，所述定向传送服务配置单元用于实现通信目标配置，配置信息包括定向传送服务端部署服务器的IP和通信端口，配置完成后可测试连接并保存配置信息到XML文件；所述数据库表配置单元用于配置oracle数据库信息，配置内容包括数据库服务器IP、端口、数据库实例名称、用户名和密码，配置完成后可进行数据库连接测试并保存配置信息到XML文件；所述矢量数据SDE配置单元用于配置SDE连接参数，包括SDE服务器名称、SDE数据库版本、SDE数据库端口、SDE用户名和密码，配置完成后可测试SDE连接情况并保存配置信息到XML文件；所述元数据库配置单元用于配置元数据库地址、端口、用户名和密码，配置完成后可测试元数据库的连接状态并保存配置信息到XML文件；所述文件数据FTP配置单元用于配置FTP地址、端口、用户名、密码，配置完成后保存配置信息到XML文件。

2.根据权利要求1所述的数据定向传送系统，其特征在于，所述数据库服务器、所述web服务器和所述中间池数据服务器中均配置有传送日志服务模块，所述传送日志服务模块用于对定向传送的数据的日志信息进行记录和检索。

3.根据权利要求1所述的数据定向传送系统，其特征在于，所述数据定向传送服务模块包括在线数据定向传送单元，离线数据定向传送单元，矢量数据定向传送单元，文件数据定向传送单元，数据库表定向传送单元和元数据定向传送单元；

其中，所述在线数据定向传送单元用于自动检查数据有效性，包括数据属性及文件路径，确认正确性后开始定向传送，若检查有误，则提示错误；

所述离线数据定向传送单元用于将要传送的所有数据、文件打包成zip文件，进行离线传送到数据中心，定向传送服务端再将其解析成原始数据、文件；

所述矢量数据定向传送单元用于检查空间数据引擎定向传送参数，进入数据环境连接测试，数据环境连接成功后，开始空间数据引擎数据定向传送过程，若检查有误，则提示错误；

所述文件数据定向传送单元用于检查影像数据定向传送配置参数，进入数据环境连接测试，数据环境连接成功后，开始文件数据定向传送过程，若检查有误，则提示错误；

所述数据库表定向传送单元用于检查二维表定向传送参数，数据环境连接成功后，开始数据库表数据定向传送过程，若检查有误，则提示错误；

所述元数据定向传送单元用于检查元数据定向传送参数，数据环境连接成功后，开始元数据数据定向传送，若检查有误，则提示错误。

4.根据权利要求1所述的数据定向传送系统，其特征在于，所述任务管理服务模块包括任务执行状态信息获取单元，并行传送任务管理控制单元、中间池数据管理单元和中间池监控信息获取单元；

其中，所述任务执行状态信息获取单元用于在传送任务开始后，记录任务执行状态，包括启动时间、传输进度，以XML形式存储；

所述并行传送任务管理控制单元用于在并行传送任务开始后，根据定向传送配置参数管理定向传送并行任务；

所述中间池数据管理单元用于根据震级大小来配置保留时长，按保留时长删除中间池数据；

所述中间池监控信息获取单元用于将数据中间池存储空间信息、中间数据目录信息以XML形式记录。

5.根据权利要求2所述的数据定向传送系统，其特征在于，

所述传送日志服务模块包括定向传送日志记录单元和历史日志浏览检索单元，

其中，所述定向传送日志记录单元用于记录本次传送过程的日志，包括数据类型、任务编号、开始时间、结束时间、数据说明，以XML文件形式存储；

所述历史日志浏览检索单元用于检索历史传送过程的日志信息，包括任务日期、数据类型、任务编号、开始时间、结束时间、数据说明。