CN103237059B - 交通信息数据与命令交互方法 - Google Patents

Abstract

本发明提出交通信息数据与命令交互方法，数据处理子系统对客户端分配有I/O数据通道，客户端发送的数据进入I/O数据通道等待下一步处理，该子系统的客户端验证模块验证客户端的合法性，如果客户端连接合法，则事务监听子系统将正确的验证信息加入数据状态档案，数据处理子系统的多道作业调度模块在线程池中提取空闲线程以高速并行的方式解密数据，无论数据是否合法，事务监听子系统均记录日志，将数据缓存在本地硬盘，数据处理子系统的数据处理模块在数据库连接池中提取数据库连接至对应的数据库，在存入数据库的过程中，若数据完整有效且正确存入数据库，则处理完毕，如果数据不能正常入库，则交由纠错服务进行数据容错，再次尝试。

Description

交通信息数据与命令交互方法

技术领域

本发明涉及一种数据访问和共享的方法。

背景技术

随着我国城市道路交通的迅速发展，不同功能的交通管理系统应运而生，交通信息数据库的数量日趋增多，数据的结构愈来愈复杂。海量数据的访问和共享，给交通管理部门带来了巨大的困难和挑战。

目前，不同的交通管理系统拥有不同的信息数据库，并且操作系统和网络协议也存在差异，复杂和繁多的通信协议使共享数据举步维艰，不同系统之间往往通过暴露数据库连接共享数据，难以鉴别用户的合法性，混乱而缺乏管理的共享数据，安全和稳定无法保障。

发明内容

本发明提出一种全新的交通信息数据与命令交互方法，采用中间件管理模式代替传统的数据访问和共享策略，为各个服务器提供安全的数据互用功能，提供完整的通信框架，透明地在异构的分布式计算环境中传递数据和命令请求，屏蔽操作系统和网络协议的差异。

本发明的技术方案如下：

交通信息数据与命令交互方法，运行过程分为两条主线，分别对应于数据处理子系统和事务监听子系统；具体包括以下运行环节：

1）数据处理子系统对每一个客户端分配有独立的非阻塞式高速I/O数据通道，客户端发送的数据进入非阻塞式高速I/O数据通道等待下一步处理；

同时，事务监听子系统为数据建立数据状态档案，监听数据通道状态、监听缓冲区的使用情况，在数据处理子系统繁忙时扩大数据缓冲区，以保证系统高效稳定的运行；

2）数据处理子系统的客户端身份验证模块验证客户端的合法性，如果客户端接入非法，则中断客户端连接，事务监听子系统将非法连接客户端的IP地址、端口和连接时间加入数据状态档案；如果客户端连接合法，则事务监听子系统将正确的验证信息加入数据状态档案，数据处理子系统对数据进行下一步处理；

3）数据处理子系统的多道作业调度模块在线程池中提取空闲线程以高速并行的方式解密数据；

同时，事务监听子系统的作业调度负载监听模块实时监控系统状态，根据负载情况开辟或释放处理线程，回收服务器空闲资源；

4）数据处理子系统验证数据合法性；

若数据合法，则从解密后的数据中识别数据协议，根据数据的类型将数据分类，分别为设备命令、数据查询命令、卡口数据、违法数据、流量数据；

当数据为设备命令时，触发设备操作；

当数据为数据查询命令时，连接指定数据库，查询数据并返回给客户端；

当数据为卡口数据、违法数据、流量数据时，验证数据格式，并交由下一步处理；

若数据不合法，则数据处理子系统的运行过程终止；

同时，无论数据是否合法，事务监听子系统均记录日志，将数据缓存在本地硬盘；

5）数据处理子系统的数据处理调度模块在数据库连接池中提取数据库连接，根据数据协议连接对应的数据库；

若数据库连接正常时，开始将数据存入对应的数据库；同时，事务监听子系统的处理调度负载监听模块根据负载情况开辟或释放处理线程，回收服务器空闲资源；

若数据库连接异常时，数据处理调度模块将异常汇报至事务监听子系统的数据库状态监听与连接池管理模块，数据库状态监听与连接池管理模块中断连接池内所有连接，然后尝试重新连接数据库直至数据库连接恢复正常，并重新建立数据库连接池；

6）在存入数据库的过程中，如果数据完整有效且能够正确存入数据库，则处理完毕，将正确的处理结果代码返回客户端；如果数据不能正常入库，则交由纠错服务进行数据容错，再次尝试存入数据库，如果经过多次纠错尝试，数据依然不能正常存入数据库，则将数据作为错误数据处理，保存错误数据，记录错误信息原因，将错误代码返回客户端；同时，事务监听子系统的数据库状态监听与连接池管理模块实时监听数据库运行情况，分发和回收数据库连接资源。

基于上述方案，本发明还作如下优化限定：

上述步骤3）所解密的数据中包含有数据协议类型信息、客户端生产厂家信息、数据检验字段以及客户端接入口令。

在上述步骤4）中，事务监听子系统还对合法数据、非法数据、以及合法数据中的各类数据分别作数量统计。

本发明具有以下优点：

本发明采用的成熟的中间件管理模式为交通管理部门提供了安全的、先进的、智能的、有效的数据访问和数据共享手段；高速而稳定的数据交互通道为不同的系统提供可靠的交通数据。因此，本发明能够有效提高海量数据访问和共享的效率、质量和安全性，具体体现在以下几个方面：

1、多道模式的交互服务。在愈来愈多的客户端需要共享数据的情况下，降低传输延迟、提高吞吐量、提高传输可靠性尤为重要。系统使用多道模式的交互服务，数据交互服务为每个客户端提供独立的非阻塞式I/O数据通道和多道的作业调度，为各个作业提供动作决策。数据进入数据通道后，系统在数据处理线程池中为数据分配处理线程。处理线程将对数据进行解密，并识别数据协议、验证数据合法性、记录处理信息。多道模式的交互服务在高访问量的负载下，能够有效的提高传输质量、降低传输时间，节约宝贵的时间。

2、通过事务处理监控，能够保障系统的稳定性，提高故障恢复的能力，提高系统的整体性能，提高大规模事务处理的可靠性，为海量数据的访问和共享提供了可靠的保障。

3、数据安全措施。审核数据请求者的身份和合法性，为数据加密并进行发送，为数据提供安全保护，防止未经授权的第三方窃取或修改数据。

4、数据智能纠错。进行数据纠错时，根据数据等待的数量和系统运行的压力自行调整响应时间和处理线程数量。另外，在恶劣的物理通信环境中，数据智能纠错能对残缺数据、错误数据进行识别并恢复，维护数据的完整性。

附图说明

图1为本发明的原理示意图。

具体实施方式

本发明设计的数据交互中间件采用面向对象的思想设计并开发，以数据为核心，以事务为线索，以多道的处理方式运作。

整个系统包含事务处理监控功能，以流程为驱动，处理并全程跟踪、监控整个流程，进行事务管理与协调、连接管理、负载平衡、失败恢复、数据分发等。

如图1所示，本发明的交通信息数据与命令交互方法，以两个有序而统一的主线运行，分别对应于数据处理子系统和事务监听子系统。

数据处理子系统对数据进行处理和操作。

事务监听子系统全程监听数据处理的执行过程，为数据处理开辟和分配系统资源，保障数据处理的正常执行并记录相关信息。具体涉及：一，管理系统内存和CPU状态，有效的调度和使用内存空间和CPU时间片资源，在系统崩溃的情况下重启服务，维护系统稳定；二，管理数据库连接池，当数据库异常时，暂停系统的数据库操作，保存运行状态，进行数据库的重连，并恢复系统的正常运行；三，管理系统日志，跟踪数据和命令的流向和操作过程，捕获异常信息并记录。

本发明的交通信息数据与命令交互方法，具体包括以下运行环节：

1）数据处理子系统对每一个客户端分配有独立的非阻塞式高速I/O数据通道，客户端发送的数据进入非阻塞式高速I/O数据通道等待下一步处理；

同时，事务监听子系统为数据建立数据状态档案，监听数据通道状态、监听缓冲区的使用情况，在数据处理子系统繁忙时扩大数据缓冲区，以保证系统高效稳定的运行；

2）数据处理子系统的客户端身份验证模块验证客户端的合法性，如果客户端接入非法，则中断客户端连接，事务监听子系统将非法连接客户端的IP地址、端口和连接时间加入数据状态档案；如果客户端连接合法，则事务监听子系统将正确的验证信息加入数据状态档案，数据处理子系统对数据进行下一步处理；

3）数据处理子系统的多道作业调度模块在线程池中提取空闲线程以高速并行的方式解密数据；所解密的数据中包含有数据协议类型信息、客户端生产厂家信息、数据检验字段以及客户端接入口令；

同时，事务监听子系统的作业调度负载监听模块实时监控系统状态，根据负载情况开辟或释放处理线程，回收服务器空闲资源；

4）数据处理子系统验证数据合法性；

若数据合法，则从解密后的数据中识别数据协议，根据数据的类型将数据分类，分别为设备命令、数据查询命令、卡口数据、违法数据、流量数据；

当数据为设备命令时，触发设备操作；

当数据为数据查询命令时，连接指定数据库，查询数据并返回给客户端；

当数据为卡口数据、违法数据、流量数据时，验证数据格式，并交由下一步处理；

若数据不合法，则数据处理子系统的运行过程终止；

同时，无论数据是否合法，事务监听子系统均记录日志，将数据缓存在本地硬盘，并对合法数据、非法数据、以及合法数据中的各类数据分别作数量统计；

5）数据处理子系统的数据处理调度模块在数据库连接池中提取数据库连接，根据数据协议连接对应的数据库；

若数据库连接正常时，开始将数据存入对应的数据库；同时，事务监听子系统的处理调度负载监听模块根据负载情况开辟或释放处理线程，回收服务器空闲资源；

若数据库连接异常时，数据处理调度模块将异常汇报至事务监听子系统的数据库状态监听与连接池管理模块，数据库状态监听与连接池管理模块中断连接池内所有连接，然后尝试重新连接数据库直至数据库连接恢复正常，并重新建立数据库连接池；

6）在存入数据库的过程中，如果数据完整有效且能够正确存入数据库，则处理完毕，将正确的处理结果代码返回客户端；如果数据不能正常入库，则交由纠错服务进行数据容错，再次尝试存入数据库，如果经过多次纠错尝试，数据依然不能正常存入数据库，则将数据作为错误数据处理，保存错误数据，记录错误信息原因，将错误代码返回客户端；同时，事务监听子系统的数据库状态监听与连接池管理模块实时监听数据库运行情况，分发和回收数据库连接资源。

Claims (3)

1.交通信息数据与命令交互方法，运行过程分为两条主线，分别对应于数据处理子系统和事务监听子系统；具体包括以下运行环节：

1)数据处理子系统对每一个客户端分配有独立的非阻塞式高速I/O数据通道，客户端发送的数据进入非阻塞式高速I/O数据通道等待下一步处理；

同时，事务监听子系统为数据建立数据状态档案，监听数据通道状态、监听数据缓冲区的使用情况，在数据处理子系统繁忙时扩大数据缓冲区，以保证系统高效稳定的运行；

2)数据处理子系统的客户端身份验证模块验证客户端的合法性，如果客户端接入非法，则中断客户端连接，事务监听子系统将非法连接客户端的IP地址、端口和连接时间加入数据状态档案；如果客户端连接合法，则事务监听子系统将正确的验证信息加入数据状态档案，数据处理子系统对数据进行下一步处理；

3)数据处理子系统的多道作业调度模块在线程池中提取空闲线程以高速并行的方式解密数据；

同时，事务监听子系统的作业调度负载监听模块实时监控系统状态，根据负载情况开辟或释放处理线程，回收服务器空闲资源；

4)数据处理子系统验证数据合法性；

若数据合法，则从解密后的数据中识别数据协议，根据数据的类型将数据分类，分别为设备命令、数据查询命令、卡口数据、违法数据、流量数据；

当数据为设备命令时，触发设备操作；

当数据为数据查询命令时，连接指定数据库，查询数据并返回给客户端；

当数据为卡口数据、违法数据、流量数据时，验证数据格式，并交由下一步处理；

若数据不合法，则数据处理子系统的运行过程终止；

同时，无论数据是否合法，事务监听子系统均记录日志，将数据缓存在本地硬盘；

5)数据处理子系统的数据处理调度模块在数据库连接池中提取数据库连接，根据数据协议连接对应的数据库；

若数据库连接正常时，开始将数据存入对应的数据库；同时，事务监听子系统的处理调度负载监听模块根据负载情况开辟或释放处理线程，回收服务器空闲资源；

若数据库连接异常时，数据处理调度模块将异常汇报至事务监听子系统的数据库状态监听与连接池管理模块，数据库状态监听与连接池管理模块中断连接池内所有连接，然后尝试重新连接数据库直至数据库连接恢复正常，并重新建立数据库连接池；

6)在存入数据库的过程中，如果数据完整有效且能够正确存入数据库，则处理完毕，将正确的处理结果代码返回客户端；如果数据不能正常入库，则交由纠错服务进行数据容错，再次尝试存入数据库，如果经过多次纠错尝试，数据依然不能正常存入数据库，则将数据作为错误数据处理，保存错误数据，记录错误信息原因，将错误代码返回客户端；同时，事务监听子系统的数据库状态监听与连接池管理模块实时监听数据库运行情况，分发和回收数据库连接资源。

2.根据权利要求1所述的交通信息数据与命令交互方法，其特征在于：步骤3)所解密的数据中包含有数据协议类型信息、客户端生产厂家信息、数据检验字段以及客户端接入口令。

3.根据权利要求1所述的交通信息数据与命令交互方法，其特征在于：在步骤4)中，事务监听子系统还对合法数据、非法数据、以及合法数据中的各类数据分别作数量统计。