CN1905518A

CN1905518A - 保证数据交换可靠传输的方法

Info

Publication number: CN1905518A
Application number: CNA2005100887158A
Authority: CN
Inventors: 怀进鹏; 马晓轩; 林学练; 黄子乘; 王丽凤; 贺静
Original assignee: Beihang University
Current assignee: Beihang University; Beijing University of Aeronautics and Astronautics
Priority date: 2005-07-29
Filing date: 2005-07-29
Publication date: 2007-01-31
Anticipated expiration: 2025-07-29
Also published as: CN1905518B

Abstract

本发明公开了一种数据交换可靠传输方法，它是为实现数据交换系统的数据可靠传输而提出的，它通过采用端到端的数据传输方法屏蔽中间节点对数据传输的影响，防止中间人攻击的发生，提高数据交换的可靠性；它通过定义完善的消息确认机制，实现消息传输的完整流程；通过采用数据分片和事务队列实现数据交换系统的流量控制，防止进行数据交换的节点由于处理能力和网络状况的差别产生的异常，提高系统的可靠性和处理效率；通过事务信息的持久化来实现系统的故障恢复，提高系统的容错能力，并为进一步实现断点续传提供了基础；对事务队列进行优先级划分，保证重要性高的应用能够得到优先处理，更好地适应电子政务数据交换的需求。

Description

保证数据交换可靠传输的方法

技术领域

本发明涉及一种保证数据交换系统数据交换可靠传输的方法。

背景技术

电子政务数据交换平台为不同的系统、不同的数据源之间实现数据交换提供了支持，数据交换平台中的数据交换系统主要完成具体的数据交换流程的控制，它可以使每个合法用户将其所要传输的数据包安全可靠地传输到指定的地方，解决数据的上传下达、综合利用等问题。在数据交换系统完成数据交换的过程中，可能会出现系统瘫痪、网络故障、软件组件异常等情况，为了使数据交换系统在出现异常的情况下仍能可靠地完成数据传送，通常，数据交换系统要采用可靠传输技术，将传输过程中出现的异常情况对数据传输的影响减少到最低程度，从而，提高数据交换系统的可靠性。

目前，国内许多大公司在其研制开发的电子政务数据交换平台中均采用了各自提出的保证数据交换可靠传输的机制。例如：

易达讯网络科技有限公司开发的致力于为政府、企业的信息化建设提供全面集成服务的网上一站式服务信息系统eStar3(基于互联网业务流程共享的应用集成系列产品的总称)，通过采用安全可靠的实时信息通讯机制来保证数据交换的安全与质量，通过存储管理服务保护数据在网络或系统发生问题时的安全与不丢失；通过压缩技术使网络资源得到充分利用，提高网络传输效率；通过对数据发送者和接收者全程监控来保证数据按发送者指定顺序传送，系统复杂而庞大。

东方通科技有限公司开发的中间件产品TongLINK/Q，它是基于消息队列(Message Queuing)的消息中间件，主要功能是在应用程序之间提供可靠的消息传送，这些消息可以在不同的网络协议、不同的计算机系统和不同的应用软件之间传递。TongLINK/Q通过多种机制来保证对网络带宽资源的有效利用，如滑动窗口机制、自适应机制等。在TongLINK/Q中消息的发送和接收都通过队列实现，队列的可靠性属性决定了其消息的可靠性属性，队列空间的大小和可存放消息的个数由用户自行定义。但是TongLINK/Q并未为系统故障的恢复提供有效的支持。

深圳黎明网络公司则针对我国政府电子公文交换的具体需求，开发以XML信息交换技术为核心的iSwitch信息交换机，推出了iSwitch电子公文交换系统，电子公文交换中心处理系统是整个电子公文交换系统的中心枢纽，通过XML信息交换技术实现公文数据的可靠传输和交换。该系统在完成电子公文交换的同时，提供公文交换监控工具，可以监控电子公文的交换情况。在具体实现时综合了B/S和C/S的体系结构之长，保证了数据传输的可靠性。而在具体的实现技术上，该系统并未提供完善的可靠性保障。

发明内容

鉴于上述原因，本发明的主要目的是提供一种新型且规范的保证数据交换可靠传输的方法。

为实现上述目的，本发明采用以下技术方案：一种保证数据交换可靠传输的方法，该方法规定数据传输按照端到端的传输方式进行，所谓端到端的数据传输是指数据交换的流程只在进行数据交换的双方执行，在交换过程中所经过的中间节点只负责消息的转发，不参与任何的与数据交换有关的流程，具体的方法是：

A、在数据报文中写入该数据报文的最终接收者的节点地址；

B、每个节点在接收到该数据报文后均对目的地址解析；

C、判断数据报文的最终接收者是否是本节点；

D、如果是本节点，则执行数据交换流程；如果不是，则将数据报文发给相应的目的节点，不参与任何数据交换流程；

E、重复执行步骤B～D。

本发明提供的保证数据交换可靠传输的方法还包括采用消息确认和流量控制机制保证数据交换的可靠传输；

所述消息确认机制是指发送方每发送一个请求报文，接收方接收后都要向发送方发送相应的响应报文，用于确认请求消息；

所述流量控制是指通过数据切片和事务队列机制，将一组大的数据按照事先协商好的切片大小切分成数个数据切片，按照事务队列机制传输；

具体方法包括以下步骤：

A、系统中某个节点需要与另一个节点进行数据交换时，创建一个新事务，由事务管理整个数据交换流程；该节点首先向目的节点发送一个数据交换请求消息，其中包含数据描述和期望的分片大小信息，事务完成发送操作后便挂起，回到队列的尾部，等待响应到来后再次分配处理机；

B、目的节点接收到请求消息后，也新建一个事务来完成数据交换，该事务首先判断是否接受该请求，同时比较自己所期望的分片大小和接收到消息中的分片大小信息，取其中较小的值作最终采用的分片大小，连同是否接受请求信息一起作为响应发送给请求节点，之后事务挂起等待再次处理；

C、若是请求节点向响应节点发送数据，请求节点在接收到响应报文，在处理机再次为负责该交换过程的事务分配时间时，事务恢复，从响应中提取切片大小信息，使用该值对需要发送的数据进行切片，并在同一个处理周期里将第一片数据发送给响应节点，事务再次挂起等待；若是请求节点向响应节点请求数据，则响应节点在处理机再次为负责该交换的事务分配时间时，事务恢复，使用比较得出的切片大小值对需要发送的数据进行切片，将第一片数据发送给请求节点，事务再次挂起等待；

D、节点接收到数据切片后，在处理机再次轮询到相应的事务时，将接收到的数据信息和期望的下一个切片信息作为响应消息发送给数据发送方；数据发送方在接收到响应的前提下，当事务再次获得执行时，发送响应消息中所期望的下一个数据切片，依次循环，直到数据发送完毕。

本发明提供的保证数据交换可靠传输的方法还包括采用故障恢复控制保证数据交换的可靠传输，具体步骤是：

A、在数据交换系统的处理流程中，定义一系列的故障恢复点；

B、当流程执行到这些故障恢复点时，将当前事务信息保存到文件中；

C、系统发生故障则流程回滚到最近的故障恢复点，一旦系统重新启动之后，便从事务信息文件中读取出相应的恢复点信息，继续故障前的执行流程完成数据交换。

本发明提供的保证数据交换可靠传输的方法还包括对数据优先级的控制；即，根据所传输的数据类型、报文大小并结合应用系统设置的数据优先级，将事务队列划分成高、中、一般、低四个优先级：当高优先级队列中有事务时，处理机优先调度进行高优先级事务的处理，低优先级队列中的事务只有在高优先级队列内没有事务的情况下才能得到调度。

本发明提出的数据交换可靠传输方法是为实现数据交换系统的数据可靠传输而提出的，它通过采用端到端的数据传输方法屏蔽中间节点对数据传输的影响，防止中间人攻击的发生，提高数据交换的可靠性；它通过定义完善的消息确认机制，保证消息传输的完整流程；通过采用数据分片和事务队列实现数据交换系统的流量控制，防止进行数据交换的节点由于处理能力和网络状况的差别产生的异常，提高系统的可靠性和处理效率；通过事务信息的持久化来实现系统的故障恢复，提高系统的容错能力，并为进一步实现断点续传提供了基础；对事务队列进行优先级划分，保证重要性高的应用能够得到优先处理，更好地适应电子政务数据交换的需求。

附图说明

图1A为本发明发送数据消息确认过程示意图

图1B为本发明请求数据消息确认过程示意图

图2为本发明发送数据传输方式各消息报文结构

图3为本发明请求数据传输方式各消息报文结构

图4为本发明消息确认和流量控制处理流程示意图

图5为本发明事务队列优先级调度示意图

具体实施方式

本发明提供的保证数据交换可靠传输的方法主要应用于数据交换平台中的数据交换系统。本发明通过采用端到端的数据传输、消息确认、流量控制、故障恢复和数据优先级控制等技术来控制数据交换的过程，保证数据交换的可靠性，支持数据交换平台数据交换的可靠传输。下面我们依次介绍这五方面的内容：

一、端到端的数据传输：

本发明提出的数据交换可靠传输方法规定数据传输按照端到端的传输方式进行。所谓端到端的数据传输是指数据交换的流程只在进行数据交换的双方执行，在交换过程中所经过的中间节点只负责消息的转发，不参与任何的与数据交换有关的流程。

具体的方法是：

1、在数据报文中写入该数据报文的最终接收者的节点地址；

2、每个节点在接收到该数据报文后均对目的地址解析；

3、判断数据报文的最终接收者是否是本节点；

4、如果是本节点，则执行数据交换流程；如果不是，则将数据报文发给相应的目的节点，不参与任何数据交换流程；

5、重复执行步骤2～4。

本发明采用端到端的数据传输方法可以屏蔽中间节点对数据传输的影响，有效地防止中间人攻击的发生，提高数据交换的可靠性。

二、消息确认和流量控制：

为了保证数据交换的可靠传输，本发明在数据交换的整个流程中均采用消息确认和流量控制机制。

在数据交换的流程中，发送方每发送一个请求报文，接收方接收后都要向发送方发送相应的响应报文，用于确认请求消息。如图1A、图1B所示，当应用系统1向应用系统2发送数据时，应用系统1先向应用系统2发送数据发送请求报文；应用系统2收到该请求报文后，向应用系统1发送数据发送请求响应报文进行消息确认；应用系统1收到该响应报文后，才向应用系统2发送数据报文；应用系统2收到数据报文后，立即向应用系统1发送数据确认报文，进行消息确认。同理，当应用系统1请求应用系统2发送数据时，应用系统1先向应用系统2发送数据请求报文；应用系统2收到该请求报文后，向应用系统1发送数据请求确认报文；然后，应用系统2向应用系统1发送数据报文；应用系统1收到应用系统2发送的数据报文后，向应用系统2发送数据确认报文，进行消息确认。

为了保证在数据交换过程中能够可靠地传输大数据(如图像、音乐、图片等)，防止数据丢包，本发明还对数据进行流量控制，即将一个大的数据切割成若干片数据，一片一片地传输。具体切片的大小、序号，在发送方、接收方进行消息确认时，双方协商完毕。

图2定义了当应用系统1向应用系统2发送数据时，各种消息报文的结构，并为报文结构定义了完整的语义信息。如图所示，当应用系统1向应用系统2发送数据时，应用系统1向应用系统2发送的数据发送请求报文由消息ID、事务ID、数据媒体类型、数据类型标志、数据大小、传输模式六部分构成。应用系统2向应用系统1发送的数据发送请求响应报文由消息ID、事务ID、数据媒体类型、数据类型标志、分片大小、已收数据长度六部分构成。应用系统1向应用系统2发送的数据报文由消息ID、事务ID、数据片段的序号和是否最后一帧标志四部分构成。应用系统2向应用系统1发送的数据确认报文由消息ID、事务ID和确认序号三部分构成。

图3定义了当应用系统1请求应用系统2发送数据时，各种消息报文的结构，并为报文结构定义了完整的语义信息。如图所示，当应用系统1请求应用系统2发送数据时，应用系统1向应用系统2发送的数据请求报文由消息ID、事务ID、数据媒体类型、数据类型标志、传输模式、已收数据长度六部分构成。应用系统2向应用系统1发送的数据请求确认报文由消息ID、事务ID、数据媒体类型、数据类型标志、数据大小、分片大小六部分构成。应用系统2向应用系统1发送的数据报文由消息ID、事务ID、数据片段的序号和是否最后一帧标志四部分构成。应用系统1向应用系统2发送的数据确认报文由消息ID、事务ID和确认序号三部分构成。

响应信息报文结构和请求消息确认的定义组成了一套比较规范的消息确认机制。

流量控制通过数据切片和事务队列来实现。数据切片机制要求交换双方在进行数据交换之前即消息确认时完成数据切片大小的协商，一旦协商完毕，整个数据交换过程全部使用所协商的切片大小进行数据交换。事务队列实现事务对分片的处理，系统主流程按照配置好的轮询时间间隔对事务队列进行轮询，在每次分到的处理机时间内，事务完成对一个分片的处理，然后挂起等待下一次的处理机时间继续进行下一个分片的处理。处理流程如图4所示：

1、系统中某个节点需要与另一个节点进行数据交换时，创建一个新事务，由事务管理整个数据交换流程。该节点首先向目的节点发送一个数据交换请求消息，其中包含数据描述和期望的分片大小信息，事务完成发送操作后便挂起，回到队列的尾部，等待响应到来后再次分配处理机；

2、目的节点接收到请求消息后，也新建一个事务来完成数据交换，该事务首先判断是否接受该请求，同时比较自己所期望的分片大小和接收到消息中的分片大小信息，取其中较小的值作最终采用的分片大小，连同是否接受请求信息一起作为响应发送给请求节点，之后事务挂起等待再次处理；

3、若是请求节点向响应节点发送数据，请求节点在接收到响应报文，在处理机再次为负责该交换过程的事务分配时间时，事务恢复，从响应中提取切片大小信息，使用该值对需要发送的数据进行切片，并在同一个处理周期里将第一片数据发送给响应节点，事务再次挂起等待；若是请求节点向响应节点请求数据，则响应节点在处理机再次为负责该交换的事务分配时间时，事务恢复，使用比较得出的切片大小值对需要发送的数据进行切片，将第一片数据发送给请求节点，事务再次挂起等待；

4、节点接收到数据切片后，在处理机再次轮询到相应的事务时，将接收到的数据信息和期望的下一个切片信息作为响应消息发送给数据发送方；数据发送方在接收到响应的前提下，当事务再次获得执行时，发送响应消息中所期望的下一个数据切片，依次循环，直到数据发送完毕。

三、故障恢复

为降低系统故障对数据交换的影响，保证数据交换的可靠传输，本发明还采用了故障恢复技术。具体方法是：

1、在数据交换系统的处理流程中，定义一系列的故障恢复点；

2、当流程执行到这些故障恢复点时，将当前事务信息保存到文件中；

3、系统发生故障则流程回滚到最近的故障恢复点，一旦系统重新启动之后，便从事务信息文件中读取出相应的恢复点信息，继续故障前的执行流程完成数据交换。

四、数据优先级

为更好地适应电子政务数据交换的需求，使得政务信息中重要性高的数据可以优先进行交换，本发明提出的数据交换可靠传输方法采用了划分数据优先级的策略。为事务队列定义了四个优先级：高、中、一般、低，根据所传输的数据类型、报文大小并结合应用系统设置的数据优先级，将事务划分到不同的优先级队列中。如图5所示，当高优先级队列中有事务时，处理机优先调度进行高优先级事务的处理，低优先级队列中的事务只有在高优先级队列内没有事务的情况下才能得到调度。

本发明提出的数据交换可靠传输方法与其它的数据交换可靠传输实现机制相比，具有以下特点：

1、针对更复杂的网络环境，可以适用于多hop、复杂网络下的数据传输；同时，针对端对端的传输过程，为端对端的数据传输提供可靠性保障。

2、定义了使用SOAP协议的完整消息确认机制。在每个请求消息的响应中携带对请求消息的确认，本技术定义了各种消息响应的规范SOAP报文结构，并为该报文结构定义了完整的语义信息，形成一套比较规范的消息确认机制。SOAP协议位于HTTP协议之上，使用SOAP作为消息确认信息的传输协议，使得数据交换过程可以穿透防火墙，提高交换效率。

3、采取数据切片和事务队列机制对数据交换双方进行流量控制，交换双方在建立连接的时候完成数据切片大小的协商，数据根据协商的切片大小进行分片传输；同时，为每个分片生成唯一的序列号，数据接收方根据分片序列号完成数据重组。处理机轮询事务队列，事务在每次分配的处理机时间内完成一个分片的处理。流量控制的采用在很大程度上解决了数据交换双方处理速度不匹配的问题，同时提高了系统的处理效率。

4、本发明提出的数据交换可靠传输技术还定义了一套完善的故障恢复机制，通过在处理流程中定义一系列的故障恢复点，执行当前信息的持久化操作来保存故障恢复信息。故障恢复的实现在很大程度上提高了系统的可靠性，并为断点续传的实现提供了基础。

5、为事务队列划分优先级，进行高优先级事务的优先调度，实现系统资源的高效利用，防止大数据量的应用长期占用系统资源，同时保证小数据量的应用能够得到执行，更好地满足电子政务数据交换的要求。

Claims

1、一种保证数据交换可靠传输的方法，该方法规定数据传输按照端到端的传输方式进行，所谓端到端的数据传输是指数据交换的流程只在进行数据交换的双方执行，在交换过程中所经过的中间节点只负责消息的转发，不参与任何的与数据交换有关的流程，具体的方法是：

A、在数据报文中写入该数据报文的最终接收者的节点地址；

B、每个节点在接收到该数据报文后均对目的地址解析；

C、判断数据报文的最终接收者是否是本节点；

E、重复执行步骤B～D。

2、根据权利要求1所述的保证数据交换可靠传输的方法，其特征在于：该方法还包括采用消息确认和流量控制机制保证数据交换的可靠传输；

具体方法包括以下步骤：

3、根据权利要求1或2所述的保证数据交换可靠传输的方法，其特征在于：该方法还包括采用故障恢复控制保证数据交换的可靠传输，具体步骤是：

4、根据权利要求3所述的保证数据交换可靠传输的方法，其特征在于：该方法还包括对数据优先级的控制；即根据所传输的数据类型、报文大小并结合应用系统设置的数据优先级，将事务队列划分成高、中、一般、低四个优先级：当高优先级队列中有事务时，处理机优先调度进行高优先级事务的处理，低优先级队列中的事务只有在高优先级队列内没有事务的情况下才能得到调度。