CN102129443A - 基于usas主机的实时数据传输通道及其实时数据传输方法 - Google Patents

Abstract

本发明提供一种基于USAS主机的实时数据传输通道及其实时数据传输方法，由数据索引系统和数据输入输出系统构成，其中包括：数据输入模块；数据输出模块；数据索引模块。

Description

基于USAS主机的实时数据传输通道及其实时数据传输方法

技术领域

本发明涉及一种基于USAS主机的实时数据传输通道TFCT。

背景技术

如今，每天有数十万的旅客通过中国航信的旅客分销系统预订航班座位、生成电子客票。中国航信USAS主机系统内通常都维护着上千万旅客的订座信息、出票信息等。如此海量的数据都被保存在USAS主机多个数据文件中，这些数据文件需要同时支持实时业务处理(出票、退票和改签等)和旅客数据查询。为了减轻USAS主机的负担，并为行业客户提供优质的数据服务，这些保存在主机系统数据文件中的信息记录可以被实时的传送到开放平台的数据库中，成为主机数据的一个开放平台数据镜像，并与主机数据实现同步更新。方便航空公司或者销售人员查询，更进一步的挖掘和分析这些数据的市场价值。

所谓“USAS主机系统”，是指Unisys公司开发的一种处理实时民航业务的大型主机系统，其中包含了订座系统和离港系统，分别处理旅客的订座出票等业务和机场值机配载等业务；所谓“开发平台”，是指采用Windows，Linux操作系统，并使用Oracle数据库等存储数据的计算机环境；所谓“OLTP”，是指Unisys公司开发的一种跨平台、分布式的事务处理消息传递工具，用于在主机系统之间以及主机与开放平台之间的数据传输；

目前主机系统内主要采取基于OLFP技术的客尸-服务器模式向开放平台传输实时数据，这种模式直接受限与技术本身的开销和系统负载处理能力，通常无法保障稳定的大数据流的实时主机数据传输。以旅客信息更新为例，当前航信主机系统内，高峰时每秒就有140次旅客信息变更，而且这个峰值数据还在以每年20％的幅度递增。OLTP技术是无法满足此类大数据流的数据传输的。另外，客户-服务器模式的数据传输一旦失败，随着主机事务的结束，数据必定会丢失，没有第二次重试的机会。

如图1所示，在传统的OLTP数据发送过程中，主机与开放平台之间的连接通道是不稳定的，数据发送过程是不确定并且非常耗费资源的。一旦在事务的过程中嵌入OLTP数据传送，不但事务的处理时间将会变长，而且还必须承担数据发送失败后的风险，无法控制数据发送重试和数据备份。一个处理事务如果占用的系统资源过多，将会严重影响系统性能和响应时间。

基于这样的背景下，中国航信开发了新型的跨平台的数据发送通道——TFCT。以旅客信息变更为例，旅客信息记录生成或者发生变更的时候，除了立即被存储在USAS主机数据文件中，还会把该数据在主机数据文件中的地址发送到TFCT通道队列中，通过TFCT通道将该数据地址内存储的旅客信息传送到开放平台。USAS主机内像旅客信息记录这样需要实时同步到开放平台的数据服务还有很多，都可以通过TFCT通道进行处理。

发明内容

本发明的实时数据传输通道TFCT由数据索引系统和数据输入输出系统构成，包括：数据输入模块；数据输出模块；数据索引模块。

其中，所述数据输入模块嵌入在一个指定数据内容更新的事务中，将发生变更的数据内容的全部或者部分写入实时数据传输通道TFCT的数据队列中。一旦成功写入，则返回到原来的事务中继续处理后续的工作。

所述的数据输出模块主要由一个常驻内存的后台处理程序进行监控和调度，数据输出模块中常驻内存的后台处理程序周期性的循环扫描所有的数据队列，一旦扫描到某个数据队列，就会调度一个子进程来处理这个数据队列中的排队数据，而后台程序本身则继续扫描其他的数据队列。为了避免与数据输入模块发生资源争夺，只有在获取了索引表控制权的前提下，处理数据的子进程才能顺利处理排队数据。数据输出模块中的后台扫描程序可以调度多个处理数据的子进程，并行数据处理。并发度由通道内的规定的数据带宽来决定。运行中的子进程处理完所有的排队数据，或者处理的数据总数达到系统规定的上限后，结束进程处理，等待下一次调度。

所述被调度起来的子进程则进一步判断当前的数据队列中是否有等待处理的排队数据；如果有排队数据，则提取出数据，调用指定的数据发送程序将数据内容发送至目的地系统；根据数据处理的结果，如果发送成功，子进程会将排队数据从数据队列中删除，并继续处理下一个数据；如果发送失败，则实施错误处理机制，安排重新发送，或者将数据从当前位置上删除，补充到数据队列的末尾，或者直接删除该数据；至于采取何种错误处理机制，是由应用设置的运行参数决定；当数据队列中的所有排队数据都处理完毕，或者达到了系统要求的数据处理总数，子进程则可以退出执行。

所述数据索引模块维护实时数据传输通道内的所有数据队列、队列索引表、队列描述表、通道运行参数表和通道入口表等数据结构，并实时监控各个数据队列中的容量使用。如果数据队列的容量达到了警戒线，则立即启动告警机制，通过发送消息通知系统维护人员。另外，由于队列索引表是由Unisys主机系统中一种称为Non-recoverable Freespace的文件作为载体，该文件具有写立即生效的特点，可供输入输出模块快速的访问和释放索引文件，实现数据的快速处理。

同时，所述数据索引模块中提供有系统工具，根据数据索引模块中提供的系统工具，可以随时创建、修改、删除实时数据传输通道内的任何数据队列。也可以修改系统运行参数，查询数据队列中的各个数据内容。

根据本发明的实时数据传输通道TFCT，以旅客订座信息变更为例，其数据存储发送的方法包括如下步骤：

步骤1，在处理过程中，相应的数据记录发生变更。变更的数据D1将会被写入到实时数据传输通道的指定数据队列中；

步骤2，后台扫描程序S1扫描到这个数据队列，调度子进程P1来处理该数据队列中的排队数据；

步骤3，程序S1继续扫描其他数据队列，调度子进程P2、P3、P4…来处理其他数据队列；

步骤4，启动后的子进程P1处理队列中的数据时发现了D1，则将D1数据完整的提取出来，调用一个专门的处理程序T1来发送D1数据；

步骤5，处理程序T1按照系统要求分析、封装D1数据，将其发送至其他系统；

步骤6，其他系统成果收到D1数据之后，回应一个确认状态；

步骤7，处理程序T1收到确认状态后，判断数据成功发送、或者发送失败，将处理结果返回给子进程P1；

步骤8，子进程P1根据返回状态删除或者保留数据D1；

其中，数据的输入是分散的，可以来自各种不同的应用事务。而数据的输出集中在若干个数据队列中。具体而言：

首先，在旅客订座、出票等处理过程中，随着旅客订座成功、生成电子客票，旅客信息都会发生变更。当保存旅客信息到主机系统数据库的时候，会同时调用实时数据传输通道的通用接口，将当前发生变更的旅客信息写入TFCT的数据队列中。选择写入哪一个数据队列根据数据本身的一些特征参数进行HASH算法运算，以保证数据处理过程中的某些特殊要求，如数据信息之间的顺序性、通道负载平衡等等。

然后，一直运行着的后台扫描程序会为每一个扫描到的数据队列调度一个子进程，用于处理数据队列中的排队数据。后台扫描程序会调度多个子进程来处理数据队列，这些不同数据队列上的于进程是并行的。子进程在处理过程中通过在索引表中设置独特标志位，将会独占一个数据队列的输出控制权。

如果子进程在处理数据队列时发现了有正在等待处理的排队数据，则调用指定的数据处理程序来处理数据，并在数据队列的索引表中设置独特标识，用以控制该数据队列的数据输出通道。由于每个数据队列都有一个索引表，因此，子进程对一个数据队列的控制不会影响其他子进程处理其他数据队列。而且由于索引表是修改立即生效，因此设置标识之后就释放对索引表的锁定。虽然子进程并没有结束，但其他的数据输入事务也可以获得数据队列索引表的控制，提高了索引表的利用率。

随后，子进程提取完整的排队数据内容，将其作为参数传递给数据处理程序。数据处理程序按照设定将数据封装之后，发送到其他系统平台，得到返回状态值，将其传递给子进程。

子进程收到来自数据处理程序的返回状态值之后，立即获取数据队列索引表的控制权，设置锁定，并判断返回状态值的内容。如果数据发送成功，则将指定的数据从数据队列中删除，修改索引表中的数据队列队首指针，准备处理下一个数据；如果发送失败，则根据运行参数设置重试。重试之后依然无法发送的，则把数据内容打包发送给维护人员，并从数据队列中删除该数据，更新索引表，准备处理下一个数据。

附图说明

图1本发明基于USAS主机的实时数据传输通道TFCT系统方框图；

图2为本发明的基于USAS主机的实时数据传输通道TFCT流程图；

图3为数据文件类型示意图；

图4为数据输入流程图；

图5为数据输出流程图。

具体实施方式

本发明的基于USAS主机的实时数据传输通道，以下简称TFCT。它的主要特点是以存储转发的方式，充分利用主机系统提供的快速索引文机机制，实现高速、稳定、动态的实时传输主机数据到其他系统平台。如图1所示，该系统由数据索引系统和数据输入输出系统构成，包括：数据输入模块；数据输出模块；数据索引模块。

其中，数据输入模块嵌入在一个指定数据内容更新的事务中，将发生变更的数据内容的全部或者部分写入实时数据传输通道TFCT的数据队列中。一旦成功写入，则返回到原来的事务中继续处理后续的工作。数据输出模块中常驻内存的后台扫描程序周期性的扫描所有的数据队列，并调度一个子进程来处理数据队列中的排队数据。为了避免与数据输入模块发生资源争夺，只有在获取了索引表控制权的前提下，处理数据的子进程才能顺利处理排队数据。数据输出模块中的后台扫描程序可以调度多个处理数据的子进程，并行数据处理。并发度由通道内的规定的数据带宽来决定。运行中的子进程处理完所有的排队数据，或者处理的数据总数达到系统规定的上限后，结束进程处理，等待下一次调度。数据索引模块维护实时数据传输通道内的所有数据队列、队列索引表、队列描述表、通道运行参数表和通道入口表等数据结构，并实时监控各个数据队列中的容量使用。如果数据队列的容量达到了警戒线，则立即启动告警机制，通过发送消息通知系统维护人员。另外，由于队列索引表是由Unisys主机系统中一种称为Non-recoverable Freespace的文件作为载体，该文件具有写立即生效的特点，可供输入输出模块快速的访问和释放索引文件，实现数据的快速处理。同时，根据数据索引模块中提供的系统工具，可以随时创建、修改、删除实时数据传输通道内的任何数据队列。也可以修改系统运行参数，查询数据队列中的各个数据内容。

本发明的基于USAS主机的实时数据传输通道TFCT，以旅客订座信息变更为例，其实时数据传输的方法包括如下步骤：

步骤1，在处理过程中，相应的数据记录发生变更。变更的数据D1将会被写入到实时数据传输通道的指定数据队列中；

步骤2，后台扫描程序S1扫描到这个数据队列，调度子进程P1来处理该数据队列中的排队数据；

步骤3，程序S1继续扫描其他数据队列，调度子进程P2、P3、P4…来处理其他数据队列；

步骤4，启动后的子进程P1处理队列中的数据时发现了D1，则将D1数据完整的提取出来，调用一个专门的处理程序T1来发送D1数据；

步骤5，处理程序T1按照系统要求分析、封装D1数据，将其发送至其他系统；

步骤6，其他系统成果收到D1数据之后，回应一个确认状态；

步骤7，处理程序T1收到确认状态后，判断数据成功发送、或者发送失败，将处理结果返回给子进程P1：

步骤8，子进程P1根据返回状态删除或者保留数据D1；

其中，数据的输入是分散的，可以来自各种不同的应用事务。而数据的输出集中在若干个数据队列中。具体而言：

首先，在旅客订座、出票等处理过程中，随着旅客订座成功、生成电子客票，旅客信息都会发生变更。当保存旅客信息到主机系统数据库的时候，会同时调用实时数据传输通道的通用接口，将当前发生变更的旅客信息写入TFCT的数据队列中。选择写入哪一个数据队列根据数据本身的一些特征参数进行HASH算法运算，以保证数据处理过程中的某些特殊要求，如数据信息之间的顺序性、通道负载平衡等等。

然后，一直运行着的后台扫描程序会为每一个扫描到的数据队列调度一个子进程，用于处理数据队列中的排队数据。后台扫描程序会调度多个子进程来处理数据队列，这些不同数据队列上的子进程是并行的。子进程在处理过程中通过在索引表中设置独特标志位，将会独占一个数据队列的输出控制权。

如果子进程在处理数据队列时发现了有正在等待处理的排队数据，则调用指定的数据处理程序来处理数据，并在数据队列的索引表中设置独特标识，用以控制该数据队列的数据输出通道。由于每个数据队列都有一个索引表，因此，子进程对一个数据队列的控制不会影响其他子进程处理其他数据队列。而且由于索引表是修改立即生效，因此设置标识之后就释放对索引表的锁定。虽然子进程并没有结束，但其他的数据输入事务也可以获得数据队列索引表的控制，提高了索引表的利用率。

随后，子进程提取完整的排队数据内容，将其作为参数传递给数据处理程序。数据处理程序按照设定将数据封装之后，发送到其他系统平台，得到返回状态值，将其传递给子进程。

子进程收到来自数据处理程序的返回状态值之后，立即获取数据队列索引表的控制权，设置锁定，并判断返回状态值的内容。如果数据发送成功，则将指定的数据从数据队列中删除，修改索引表中的数据队列队首指针，准备处理下一个数据；如果发送失败，则根据运行参数设置重试。重试之后依然无法发送的，则把数据内容打包发送给维护人员，并从数据队列中删除该数据，更新索引表，准备处理下一个数据。

下面结合附图具体说明。

如图2所示，TFCT通道提供了一种存储转发的数据发送模式。待发送的数据将以某种形式缓存到TFCT的数据队列中，把具体处理事务从报文数据传输的冗长过程中解放出来，专注与事务本身的处理。以旅客信息记录变更为例，在旅客订座、出票等处理过程中，旅客信息记录中的内容会发生多次变更。如图3所示，例如，生成电子客票之后，票号信息将会写入旅客信息记录中。此时，TFCT通道的数据输入模块嵌入在旅客信息记录的更新事务中，一旦旅客信息记录发生变化，数据输入模块会立即根据旅客信息记录的内容，用HASH算法计算数据应该存储在TFCT的哪一个数据队列中，并获取该数据队列索引表的锁定控制。

如图3所示，一个应用在TFCT中可以同时拥有多个数据队列，数据队列之间并行进行数据处理。计算数据应当存储到哪一个数据队列的HASH算法，用以保证数据处理过程中的某些特殊要求，如数据信息之间的顺序性、通道负载平衡等等。同一个数据队列中的排队数据，可以严格保证顺序发送，因此对报文的顺序性有特别需求的应用可以用HASH算法将报文数据都存储到同一个数据队列中。

有可能数据队列中排队数据过多，导致数据队列索引表中队尾指针与队首指针重合，即表示该数据队列已经装满了。那么TFCT将为其设置队列满标志。相应的数据输入模块将返回非零的状态值到数据变更事务，由数据变更事务决定后续操作。如果数据队列没有队列满标志，那么随后，旅客信息记录在主机磁盘文件中的物理地址将被写入到TFCT对应的数据队列中(数据地址只占一个word，而一个旅客信息记录通常都包含几百个word长度，根据地址信息可以提取出最新的旅客信息记录)，更新数据队列索引表中的队尾指针，以及相关的时间戳的信息参数。

数据队列索引表更新之后，由于索引表是修改立即生效，因此数据输入模块对索引表的锁定控制也会同时被释放，方便其他事务的数据输入、数据输出模块获得对该数据队列的控制权。

一旦旅客信息记录成功写入TFCT的数据队列，出票事务会继续往下执行，直至事务结束。整个事务过程消耗的时间和占用的资源要远远少于在事务中直接将数据发送至其他系统平台，而且更加高效和安全。

与此同时，TFCT一直监控着各个数据队列的排队情况。如图4所示，常驻内存的数据输出模块的后台扫描程序会周期性的扫描TFCT中的所有数据队列，会为每一个扫描到的数据队列调度一个子进程，按照先入先出的原则处理数据队列中的排队数据。例如TFCT中为旅客信息记录应用分配了20个数据队列，后台扫描程序可以调度多达20个子进程来处理每个数据队列，这些不同数据队列上的子进程是并行处理数据的，互不影响。

后台扫描程序扫描完TFCT中所有的数据队列之后会暂时休眠一段时间，时间长短由系统运行参数规定。等休眠结束之后，后台扫描程序又会开始新的扫描过程。子进程在处理过程中通过在索引表中设置独特标志位，将会独占一个数据队列的输出控制权。因此，后台扫描程序一旦发现某个数据队列上仍然有子进程在处理数据输出，则不再为这个数据队列调度新的子进程，而自动转向其他数据队列。

如图5，如果子进程在处理数据队列时发现数据队列为空，则立即退出。反之，如果有正在等待处理的排队数据，则调用指定的数据处理程序来处理数据，并在数据队列的索引表中设置独特标识，用以控制该数据队列的数据输出通道。由于每个数据队列都有一个索引表，因此，子进程对一个数据队列的控制不会影响其他子进程处理其他数据队列。而且由于索引表是修改立即生效，因此设置标识之后就释放对索引表的锁定。虽然子进程并没有结束，但其他的数据输入事务也可以获得数据队列索引表的控制，提高了索引表的利用率。

随后，子进程提取完整的排队数据内容，将其作为参数传递给数据处理程序。数据处理程序按照设定将数据封装之后，发送到其他系统平台，得到返回状态值，再将其传递给子进程。

子进程收到来自数据处理程序的返回状态值之后，立即获取数据队列索引表的控制权，设置锁定，并判断返回状态值的内容。如果数据发送成功，则将指定的数据从数据队列中删除，修改索引表中的数据队列队首指针，准备处理下一个数据；如果发送失败，则根据运行参数设置重试。重试之后依然无法发送的，则把数据内容打包发送给维护人员，并从数据队列中删除该数据，更新索引表，准备处理下一个数据。

如果子进程已经将当前数据队列中的所有数据都发送到其他系统平台，数据队列已然清空，那么，子进程会立即退出，并释放对当前数据队列索引表的控制权。另外，当前数据队列中的排队数据仍未处理完毕，但是子进程处理的数据总数已经达到了系统运行参数规定的上限，为了避免超时错误，子进程必须立即退出，结束数据处理。

Claims (10)

1.一种实时数据传输通道，其特征在于由数据索引系统和数据输入输出系统构成，包括：数据输入模块；数据输出模块；数据索引模块。

2.根据权利要求1所述的实时数据传输通道，其中所述的数据输入模块可以嵌入在一个指定数据内容更新的事务中，将发生变更的数据内容的全部或者部分写入实时数据传输通道的相应队列中，一旦成功写入，则返回到原来的事务中继续处理后续的工作。

3.根据权利要求1所述的实时数传输通道，其中所述的数据输出模块主要由一个常驻内存的后台处理程序进行监控和调度；该后台程序周期性的循环扫描实时数据传输通道中的所有数据队列；一旦扫描到某个数据队列，就会调度一个子进程来处理这个数据队列中的排队数据，而后台程序本身则继续扫描其他的数据队列。

4.根据权利要求3所述的实时数据传输通道，其中，为了避免与数据输入模块发生资源争夺，只有在获取了索引表控制权的前提下，处理数据的子进程才能顺利处理排队数据；

所述被调度起来的子进程则进一步判断当前的数据队列中是否有等待处理的排队数据；如果有排队数据，则提取出数据，调用指定的数据发送程序将数据内容发送至目的地系统；根据数据处理的结果，如果发送成功，子进程会将排队数据从数据队列中删除，并继续处理下一个数据；如果发送失败，则实施错误处理机制，安排重新发送，或者将数据从当前位置上删除，补充到数据队列的末尾，或者直接删除该数据；至于采取何种错误处理机制，是由应用设置的运行参数决定；当数据队列中的所有排队数据都处理完毕，或者达到了系统要求的数据处理总数，子进程则可以退出执行。

5.根据权利要求3所述的实时数据传输通道，其中，所述后台程序可以调度多个子进程并发处理多个数据队列，其并发度由通道内的规定的数据带宽来决定；运行中的子进程处理完所有的排队数据，或者处理的数据总数达到系统规定的上限后，结束进程处理，等待下一次调度。

6.根据权利要求1所述的实时数据传输通道，其中所述的数据索引模块维护实时数据传输通道内的所有数据队列、队列索引表、队列描述表、通道运行参数表和通道入口表等数据结构，并实时监控数据队列的容量变化；如果数据队列的容量达到了警戒线，则立即启动告警机制，通过发送消息通知系统维护人员。

7.根据权利要求6所述的实时数据传输通道，其中所述数据索引模块中提供有系统工具，通过所述系统工具可以随时创建、修改、删除实时数据传输通道内的任何数据队列，也可以修改系统运行参数，查询数据队列中的各个数据内容。

8.一种实时数据传输通道的实时数据传输方法，其特征在于包括如下步骤：

步骤1，在处理过程中，相应的数据记录发生变更，变更的数据D1将会被写入到实时数据传输通道的指定数据队列中；

步骤2，后台扫描程序S1扫描到这个数据队列，调度子进程P1来处理该数据队列中的排队数据；

步骤3，程序S1继续扫描其他数据队列，调度子进程P2、P3、P4…来处理其他数据队列；

步骤4，启动后的子进程P1处理队列中的数据时发现了D1，则将D1数据完整的提取出来，调用一个专门的处理程序T1来发送D1数据；

步骤5，处理程序T1按照系统要求分析、封装D1数据，将其发送至其他系统；

步骤6，其他系统成果收到D1数据之后，回应一个确认状态；

步骤7，处理程序T1收到确认状态后，判断数据成功发送、或者发送失败，将处理结果返回给子进程P1；

步骤8，子进程P1根据返回状态删除或者保留数据D1。

9.根据权利要求9所述的实时数据传输方法，其中，数据的输入是分散的，可以来自各种不同的应用事务，而数据的输出集中在若干个数据队列中。

10.根据权利要求9所述的实时数据传输方法，其中，在处理过程中，随着旅客订座成功、生成电子客票，旅客信息都会发生变更；当保存旅客信息到主机系统数据库的时候，会同时调用实时数据传输通道的通用接口，将当前发生变更的旅客信息写入TFCT的数据队列中；选择写入哪一个数据队列根据数据本身的一些特征参数进行HASH算法运算，以保证数据处理过程中的某些特殊要求，如数据信息之间的顺序性、通道负载平衡等等；

一直运行着的后台扫描程序会为每一个扫描到的数据队列调度一个子进程，用于处理数据队列中的排队数据；后台扫描程序会调度多个子进程来处理数据队列，这些不同数据队列上的子进程是并行的；子进程在处理过程中通过在索引表中设置独特标志位，将会独占一个数据队列的输出控制权；

如果子进程在处理数据队列时发现了有正在等待处理的排队数据，则调用指定的数据处理程序来处理数据，并在数据队列的索引表中设置独特标识，用以控制该数据队列的数据输出通道；由于每个数据队列都有一个索引表，因此，子进程对一个数据队列的控制不会影响其他子进程处理其他数据队列；而且由于索引表是修改立即生效，因此设置标识之后就释放对索引表的锁定；虽然子进程并没有结束，但其他的数据据输入事务也可以获得数据队列索引表的控制，捉高了索引表的利用率；

随后，子进程提取完整的排队数据内容，将其作为参数传递给数据处理程序。数据处理程序按照设定将数据封装之后，发送到其他系统平台，得到返回状态值，将其传递给子进程；

子进程收到来自数据处理程序的返回状态值之后，立即获取数据队列索引表的控制权，设置锁定，并判断返回状态值的内容；如果数据发送成功，则将指定的数据从数据队列中删除，修改索引表中的数据队列队首指针，准备处理下一个数据；如果发送失败，则根据运行参数设置重试。重试之后依然无法发送的，则把数据内容打包发送给维护人员，并从数据队列中删除该数据，更新索引表，准备处理下一个数据。

Images