CN111861828A

CN111861828A - 一种大数据环境下内外网资源共享前置子系统接入的方法

Info

Publication number: CN111861828A
Application number: CN201910348514.9A
Authority: CN
Inventors: 何治平; 黄艳
Original assignee: Beijing Tianyi Digital Polymer Technology Co ltd
Current assignee: Beijing Tianyi Digital Polymer Technology Co ltd
Priority date: 2019-04-28
Filing date: 2019-04-28
Publication date: 2020-10-30

Abstract

一种大数据环境下内外网资源共享前置子系统接入的方法，首先接入前置子系统，然后系统提供桥接服务，最后进行数据转换处理，使各应用系统之间以及应用系统和底层架构之间的交互信息，可以达到提高数据交换平台的互联互通能力。

Description

一种大数据环境下内外网资源共享前置子系统接入的方法

技术领域

本发明涉及一种大数据环境下内外网资源共享前置子系统接入的方法，特别涉及一种能无缝接入跨地域或跨部门系统并接收内外部数据进行数据处理的前置子系统接入的方法。

背景技术

大数据交换平台应用过程中，很多跨部门的重点业务系统被牵头部门设计成了部门内的系统，政务信息资源共建、共享模式无法达成共识，自建、自用和自成体系的电子政务建设模式在蔓延，潜在的“信息孤岛”风险突出，政务协同能力受到极大牵制。在技术架构上，不同的产品使用的编程语言不同，需要重新编译，结构复杂，难掌握，易维护性、易用性差，用户需要做大量的编程工作。产品基于开源软件封装，稳定性差、适配性能弱。产品缺乏区域拓展，具有很大的局限性，应用面受到制约等问题尤为突出。

前置子系统接入克服以上缺点，提高数据交换平台的互联互通能力。

发明内容

本发明是为了解决大数据环境下电子政务信息资源存在无法共建、共享及信息无法达成共识的技术问题，而提出一种大数据环境下内外网资源共享前置子系统接入的方法。

本发明的目的是通过下述技术方案实现的。

前置子系统：又称之为前置交换节点，是数据共交换平台的重要组成部分。前置子系统部署在与各种应用系统相衔接的前置机上，前置子系统是数据交换平台同各应用系统交互的技术通道，它负责提供各类技术协议适配器来支持同各种应用系统的底层衔接，实现同各应用系统进行数据交换的顺利衔接，并完成数据转换、数据封装和从中心交换子系统的消息监听、消息处理、数据交换服务控制及前置交换节点信息监控管理等功能。一种大数据环境下内外网资源共享前置子系统接入的方法，其特征包括：

步骤1：前置子系统的接入功能：

前置子系统通过接入适配器提供给应用系统接入方式有四大类：

1)文件方式：应用系统通过与文本(定长、CSV)、EXCEL、XML等文件格式交互接入数据交换平台。

2)标准WEB服务调用：应用系统通过基于XML的SOAP报文与数据交换平台交互接入。

3)非标准服务调用：应用系统通过JMS、WMQ、TLQ、EJB、HTTP、REST、TCP Socket等方式与数据交换平台交互接入。

4)数据库方式：应用系统通过向平台开放数据库访问接口方式，编程实现接入数据交换平台。

适配器从技术角度分为技术协议适配和数据适配两个概念层次，从数据共享交换平台角度分为通用适配器和业务系统适配器。通用适配器是数据交换平台本身提供的，以支持业界常用技术协议及各类系统的连接服务组件，业务系统专用适配器是基于通用交换适配器之上做的适应特定业务系统的连接服务组件。

1)技术协议适配：是对接入和接出提供业界各类标准技术协议的适配，协议适配分为接入协议适配和接出协议适配。接入协议适配负责建立与不同系统的接入通信，适配各种的技术协议。采用的实现方式是提供不同协议的统一接入，接入协议适配支持同步和异步接入。接出协议适配负责建立与不同系统的接出通信，适配各种接出技术协议。

2)数据库适配：是数据交换平台和一个数据库的连接方法。数据库适配器对业界主流数据库都支持，并支持数据库POOL、Cluster等高级特性。

3)文件适配：文件适配组件，对于常见的文件格式，只要通过可视化配置的方式，就可以实现应用系统通过与文本(定长、CSV)、EXCEL、XML等文件格式与前置子系统的交互。

4)数据适配：是对报文内容的处理。对接入的报文进行消息规格化，解码或编码、报文格式转换等。数据适配通过配置组合交换总线容器中基础服务，针对不同的接入或接出服务，每个接入和接出都有自己的数据适配器实例。

5)大数据量文件适配：大于等于5兆的采用离线报送方式，使用移动硬盘或FTP/SFTP等方式进行数据报送。对于FTP/SFTP等报送方式，数据交换平台提供了数据文件完整性校验、数据文件重发、数据文件加密/解密、数据文件压缩/解压缩等功能以提供传输可靠性、安全性、高性能保证。小于5兆的数据，采用在线报送，对文件进行加密、打包，形成消息发送；到达目的节点后，解包、解密，恢复成原来的文件。对于在线报送方式，数据交换平台提供了数据拆包/拼包、断点续传、消息包的顺序处理、消除重复包、消息包完整性校验、消息包重发、消息包加密/解密、消息包压缩/解压缩等功能以提供传输可靠性、安全性、高性能保证。

步骤2：前置子系统对外提供了Web Services、WMQ、TLQ、JMS、SMTP、FTP、文件等桥接服务，在这些服务中，可以分为被动桥接方式和主动桥接方式两种类型：

1)被动桥接方式：即前置子系统被动的接受业务应用系统的交换请求，其中WebServices、WMQ、TLQ、JMS、SMTP、FTP、文件及中间库是属于被动桥接方式。

2)主动桥接方式：即前置子系统主动探测业务应用系统数据的变化，并主动发起数据交换的流程。

A.增量数据的抽取，数据交换平台的前置子系统提供了基于业务标识、变化日志等多种解决方案：

1)基于业务标识：根据业务系统数据的特性，如交换日期、交换标识等，从而识别出本次所需要交换的增量数据。

2)基于变化日志：通过生成建立触发器方式将业务系统发生的变化记录在日志表中。每个业务表对应一个日志表，日志表除包括业务表全部字段外，有二个交换用字段：序号、操作状态(表明数据变化状态，I/U/D)。

3)触发器：触发器处理要区分数据变化是由业务系统引发还是由数据交换平台引发，通过一个备用的业务字段区分。每次交换时，数据交换平台查询出上一次抽取的最大序号之后的增量数据，打包成交换消息，通过通讯传输系统发往目的地。

增量数据抽取后按交换标准打包成交换消息包，通过通讯传输子系统传输到目的地。

步骤3：数据转换处理，这一层定义了应用系统之间进行交换数据的格式标准，该格式标准将遵循通行的工业标准XML，利用XML来定义和描述各应用系统之间以及应用系统和底层架构之间的交互信息。

1)消息转换技术：可以将消息转换为应用程序所需的新格式。该技术检查每个消息字段，并且允许增加、修改或检查新的消息格式和字段，这些功能并不需要修改源程序和目标程序。

2)基于XML的交换数据格式：交换数据的接口和数据描述采用XML标准，提高系统平台的扩展性和开放性。

3)基于标准的数据转换：利用XSLT来转换XML文档，可以在具有多个方言的XML之间翻译数据元素前置子系统的节点管理功能：

A.节点管理是前置子系统提供的基于WEB的管理模块，可对交换节点的状态、运行配置进行管理监控。

1)节点状态管理用于查看当前的前置节点的运行状态及基本信息。

2)流程管理：用来管理数据在多个交换节点之间的流转。在一个交换中心上，流转表现为任务执行的先后顺序，如一个接收任务执行成功后，会触发指定的发送任务，将收到的数据发送到其他服务器上。主要包括流程管理、流程流向路由管理、流程节点管理、流程查询等。

3)任务管理：数据交换平台根据需要提供不同的数据传输调度机制，主要分为定时和实时两种任务调度模式

4)节点日志：用来管理服务器中的日志，提供可视化的人机交互管理环境，监测和查看系统运行时产生的状态信息以及其他各种输出信息。

5)用户及权限管理：对管理控制台登录账号的维护管理以及权限控制。

每一种类型的账号对应着一组可访问的资源。

配置管理器用于管理交换中心的相关配置，包括性能限制、用户选项等。

具体实施方式

步骤1：前置子系统的接入：前置子系统通过接入适配器提供给应用系统接入方式有四大类：

步骤2：前置子系统对外提供了Web Services、WMQ、TLQ、JMS、SMTP、FTP、文件等桥接服务。

最后所应说明的是，以上实施例仅用以说明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的实施例对本发明已进行了详细的说明，但是，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或者等同地替换；而一切不脱离本发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种大数据环境下内外网资源共享前置子系统接入的方法，其特征在于：该方法至少包括如下的步骤：

步骤1：前置子系统的以4种方式接入：

步骤3：前置子系统进行数据转换处理，这一层定义了应用系统之间进行交换数据的格式标准，该格式标准将遵循通行的工业标准XML，利用XML来定义和描述各应用系统之间以及应用系统和底层架构之间的交互信息。