CN102065090B - 高帧频海量数据的实时通讯控制与存储方法 - Google Patents

Abstract

高帧频海量数据的实时通讯控制与存储方法属于半实物仿真系统数据处理技术领域，该方法使所有联邦成员接收外部统一时钟信号，并在数据帧中加入时间戳保证时间推进过程中接收到正确的数据帧；同时为数据库服务器系统建立多个分布式缓冲区，构建SWITCH中间件，实现随机切换数据库服务器，保证高帧频海量数据的实时存储。本发明的方法既保证了实时数据通讯的高频率和高可靠性，又实现了对实时数据的采集与存储，保证了数据的完整性；同时也为事后对数据进行分析、对设备进行测试和评估提供了一个良好的操作和维护平台。

Description

高帧频海量数据的实时通讯控制与存储方法

技术领域

本发明属于仿真系统的数据处理技术领域，涉及一种高帧频海量数据的实时通讯控制与存储方法。

背景技术

随着光电对抗技术的不断发展，告警手段和干扰源的不断增加，开发高层次的光电对抗仿真系统已势在必行。由于全数字仿真需要以大量、可靠的技术与战术参数为基础，鉴于目前国内光电对抗的发展，在缺乏先进的实物受试对象的情况下，半实物仿真成为首选，半实物仿真系统具有较强的灵活性，同时可为全数字光电对抗仿真系统发展提供数据。

半实物仿真系统的主要功能及目的是用于对设备的鉴定，那么就需要对仿真过程中邦员的状态数据和邦员间各种交互行为数据进行及时完整的采集，以便于在仿真中或仿真完成后为仿真参与者提供深入的关于仿真过程的各种信息，并根据这些数据结果对设备进行分析、测试和评估等。

为了保证在半实物仿真过程中对数据进行及时完整的采集，重点及难点就是要保证仿真过程中实时数据通讯的正确性及可靠性，以及要保证实时数据能够被及时的保存下来。由于仿真过程中实时数据的通讯频率极高，且数据量极大，想要突破这两个难点非常困难。因此，提供一种对高帧频海量数据进行实时控制和实时存储的方法势在必行。

发明内容

本发明的目的是提出一种高帧频海量数据的实时通讯控制与存储方法，该方法使用外时钟和对帧加时间戳的方式，外时钟统一下发时钟信号，为仿真系统提供同步时钟，对帧加时间戳为帧数据编号排序；此外提出了使用多数据库服务器与分布式缓冲区技术来实现对实时数据的采集与存储，多数据库服务器共同处理数据用以防止单服务器出错，影响系统数据存储的完整性，分布式缓冲区技术用于提高系统数据的存储速率，解决数据库写入速率的瓶颈问题。

本发明的技术方案如下：

高帧频海量数据的实时通讯控制与存储方法，包括如下步骤：

步骤一、将HLA/RTI半实物仿真系统中的实体设备作为原型系统通过控制计算机以联邦成员的方式加入到仿真系统中，将仿真计算机、数据库服务器等以普通联邦成员的方式加入到仿真系统中，普通联邦成员之间通过RTI总线通讯，同时，将所有联邦成员都接入外时统，启动联邦成员；

步骤二、联邦成员在接收到外时统发出的外部统一时钟触发信号后，对数据帧加入时间戳字段，并通过RTI总线发送数据帧；

步骤三、HLA判断数据帧传送过程是否超时，若没有超时，则执行步骤四；若数据帧传送过程超时，则进行出错处理，对数据帧进行抛物插值补偿后执行步骤七；

步骤四、HLA接收订购的全部联邦成员的数据帧；

步骤五、HLA判断时间推进过程中，所接收到的联邦成员数据帧的时间戳是否正确；若每组数据帧的时间戳都正确，则执行步骤六；若出现时间戳不正确的情况，则进行出错处理，对数据帧进行抛物插值补偿后执行步骤七；

步骤六、仿真系统通过设置定时器，进行判断定时时间内是否收到订购的全部联邦成员的数据帧；若已全部收到每个联邦成员完整且正确的数据帧，则执行步骤七；若收到联邦成员的数据帧的组数错误，则返回执行步骤三；

步骤七、HLA对数据帧进行仿真模型解算；

步骤八、为数据库服务器系统建立多个分布式缓冲区，其个数大于所使用的服务器个数，并且分布式缓冲区的容量大于单个服务器写磁盘缓冲区的容量，确立分布式存储使用的服务器数量；

步骤九、构建SWITCH中间件，利用SWITCH中间件随机切换数据库服务器，通过遍历当前活跃的服务器，从中选取处在空闲状态的服务器，并将已经写满的分布式缓冲区中的数据存储到该空闲服务器中；

步骤十、由HLA判断高帧频海量数据的实时通讯控制与存储方法是否结束；若未结束，则返回执行步骤一；若结束，则执行联邦成员退出联邦的操作。

本发明的有益效果是：使用外时钟和对帧加时间戳的方式，保证了实时数据通讯的高频率，同时也保证了数据通讯的高可靠性；使用多数据库服务器与分布式缓冲区技术实现对实时数据的采集与存储，解决了数据库管理系统对于数据存储速率的瓶颈问题，保证了数据的完整性，同时也为事后对数据进行分析、对设备进行测试和评估提供了一个良好的操作和维护平台。

附图说明

图1是本发明方法所应用的半实物仿真系统结构示意图。

图2是本发明高帧频海量数据的实时通讯控制与存储方法的流程图。

图3是本发明的多数据库服务器与分布式缓冲区存储结构示意图。

图4是本发明的SWITCH中间件的工作流程图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

本发明高帧频海量数据的实时通讯控制与存储方法的实施环境为WindowsXP系统，程序实现采用VC 6.0，数据库使用Oracle。

如图1所示，HLA/RTI(High Level Architecture/运行支撑环境RTI是HLA接口规范的具体实现)的半实物仿真系统中实体设备是作为原型系统通过控制计算机以联邦成员的方式加入到仿真系统中，仿真计算机、数据库服务器等以普通联邦成员的方式加入，联邦成员之间通讯都通过RTI软总线完成，同时，设备和联邦成员都接入统一的外部时钟信号，这样就保证了仿真周期的统一，即保证了数据通讯周期的正确性。

本发明高帧频海量数据的实时通讯控制与存储方法由以下步骤实现：

1)所有联邦成员接收外部统一时钟信号，在收到触发信号后，发送数据帧，同时接收其他联邦成员的数据帧；

2)在数据帧中加入时间戳字段，通过判断接收到数据帧时间戳，保证时间推进过程中接收到正确的数据帧；

3)系统推进过程中，设置定时器，如果在定时时间内没有全部收到订购的其他联邦成员的数据帧，则进行出错处理，采用抛物插值补偿方法来进行仿真模型解算；

4)为数据库服务器系统建立多个分布式缓冲区，要求缓冲区的个数要大于所使用的服务器个数，并且分布式缓冲区的容量要大于单个服务器写磁盘缓冲区的容量；确立分布式存储使用的服务器数量；

5)构建SWITCH中间件，其主要功能是随机切换数据库服务器，通过遍历当前活跃的服务器，从中选取处在空闲状态的服务器，并将已经写满的分布式缓冲区中的数据存储到该服务器中。

如图2所示，本发明高帧频海量数据的实时通讯控制与存储方法的具体实施过程如下：

步骤一、将HLA/RTI半实物仿真系统中的实体设备作为原型系统通过控制计算机以联邦成员的方式加入到仿真系统中，将仿真计算机、数据库服务器等以普通联邦成员的方式加入到仿真系统中，普通联邦成员之间通过RTI总线通讯，同时，将所有联邦成员都接入外时统，启动联邦成员；

步骤二、联邦成员在接收到外时统发出的外部统一时钟触发信号后，对数据帧加入时间戳字段，并通过RTI总线发送数据帧；

步骤三、HLA判断数据帧传送过程是否超时，若没有超时，则执行步骤四；若数据帧传送过程超时，则进行出错处理，对数据帧进行抛物插值补偿后执行步骤七，所述的抛物插值补偿法是，取前三帧数据作抛物插值，构造插值函数，求出当前帧的数据结果的近似值；

步骤四、HLA接收订购的全部联邦成员的数据帧；

步骤五、HLA判断时间推进过程中，所接收到的联邦成员数据帧的时间戳是否正确；若每组数据帧的时间戳都正确，则执行步骤六；若出现时间戳不正确的情况，则进行出错处理，对数据帧进行抛物插值补偿后执行步骤七；

步骤六、仿真系统通过设置定时器，定时的时间要小于一个仿真周期的时间，进行判断定时时间内是否收到订购的全部联邦成员的数据帧；若已全部收到每个联邦成员完整且正确的数据帧，则执行步骤七；若收到联邦成员的数据帧的组数错误，则返回执行步骤三；

步骤七、HLA对数据帧进行仿真模型解算；

步骤八、为数据库服务器系统建立多个分布式缓冲区，其个数大于所使用的服务器个数，并且分布式缓冲区的容量大于单个服务器写磁盘缓冲区的容量，确立分布式存储使用的服务器数量，一般小型半实物仿真系统使用两台即可，大型的半实物仿真系统则需要三台以上的服务器；

步骤九、构建SWITCH中间件，利用SWITCH中间件随机切换数据库服务器，通过遍历当前活跃的服务器，从中选取处在空闲状态的服务器，并将已经写满的分布式缓冲区中的数据存储到该空闲服务器中；

步骤十、由HLA判断高帧频海量数据的实时通讯控制与存储方法是否结束；若未结束，则返回执行步骤一；若结束，则执行联邦成员退出联邦的操作。

多数据库服务器与分布式缓冲区方法实际上是多台数据库服务器同时完成一个存储功能，提高数据存储速率，并且任何一台或者几台服务器出现故障，都不会影响整个存储过程的继续，保证了数据存储的完整性和可靠性。该多数据库服务器与分布式缓冲区方法由SWITCH中间件实现，具体步骤如下：

步骤A、SWITCH中间件为每个服务器设置一个时间戳，初始时设置为0，构成一个时间戳列表；

步骤B、SWITCH中间件判断是否出现某个缓冲区已满，若不出现，则重复执行本步骤，直到出现某个缓冲区已满；若出现某个缓冲区已满，则执行步骤C；

步骤C、SWITCH中间件遍历步骤A所述的时间戳列表，从中寻找一个最小值，并将当前系统时间赋值给该时间戳；

步骤D、SWITCH中间件与步骤C所述时间戳相对应的服务器建立连接；

步骤E、SWITCH中间件判断步骤D所述的与服务器建立连接是否成功，若不成功，则从时间戳列表中删除步骤D所述的时间戳以及与该时间戳相对应的服务器，返回步骤C；若成功，则执行步骤F；

步骤F、将缓冲区中的数据存储到步骤E所述连接成功的服务器中，并将缓冲区清零；

步骤G、SWITCH中间件判断存储过程是否结束，若不结束，则返回执行步骤B；若结束，则存储过程终止。

本发明采用外时钟和对数据帧加时间戳的方式，保证了实时数据通讯的高频率，同时也保证了数据通讯的高可靠性；使用多数据库服务器与分布式缓冲区技术实现对实时数据的采集与存储，解决了数据库管理系统对于数据存储速率的瓶颈问题，保证了数据的完整性，同时也为事后对数据进行分析、对设备进行测试和评估提供了一个良好的操作和维护平台。

Claims (3)

1.高帧频海量数据的实时通讯控制与存储方法，其特征在于，该方法包括如下步骤：

步骤一、将HLA/RTI（High Level Architecture/运行支撑环境RTI是HLA接口规范的具体实现）半实物仿真系统中的实体设备作为原型系统通过控制计算机以联邦成员的方式加入到仿真系统中，将仿真计算机、数据库服务器以普通联邦成员的方式加入到仿真系统中，普通联邦成员之间通过RTI总线通讯，同时，将所有联邦成员都接入外时统，启动联邦成员；

步骤二、联邦成员在接收到外时统发出的外部统一时钟触发信号后，对数据帧加入时间戳字段，并通过RTI总线发送数据帧；

步骤三、HLA判断数据帧传送过程是否超时，若没有超时，则执行步骤四；若数据帧传送过程超时，则进行出错处理，对数据帧进行抛物插值补偿后执行步骤七；

步骤四、HLA接收订购的全部联邦成员的数据帧；

步骤五、HLA判断时间推进过程中，所接收到的联邦成员数据帧的时间戳是否正确；若每组数据帧的时间戳都正确，则执行步骤六；若出现时间戳不正确的情况，则进行出错处理，对数据帧进行抛物插值补偿后执行步骤七；

步骤六、仿真系统通过设置定时器，进行判断定时时间内是否收到订购的全部联邦成员的数据帧；若已全部收到每个联邦成员完整且正确的数据帧，则执行步骤七；若收到联邦成员的数据帧的组数错误，则返回执行步骤三；

步骤七、HLA对数据帧进行仿真模型解算；

步骤八、为数据库服务器系统建立多个分布式缓冲区，其个数大于所使用的服务器个数，并且分布式缓冲区的容量大于单个服务器写磁盘缓冲区的容量，确立分布式存储使用的服务器数量；

步骤九、构建SWITCH中间件，利用SWITCH中间件随机切换数据库服务器，通过遍历当前活跃的服务器，从中选取处在空闲状态的服务器，并将已经写满的分布式缓冲区中的数据存储到该空闲服务器中；

步骤十、由HLA判断高帧频海量数据的实时通讯控制与存储方法是否结束；若未结束，则返回执行步骤一；若结束，则执行联邦成员退出联邦的操作。

2.如权利要求1所述的高帧频海量数据的实时通讯控制与存储方法，其特征在于，步骤六所述的定时时间小于仿真系统的一个仿真周期的时间。

3.如权利要求1所述的高帧频海量数据的实时通讯控制与存储方法，其特征在于，所述步骤九由以下步骤实现：

步骤A、SWITCH中间件为每个服务器设置一个时间戳，初始时设置为0，构成一个时间戳列表；

步骤B、SWITCH中间件判断是否出现某个缓冲区已满，若不出现，则重复执行本步骤，直到出现某个缓冲区已满；若出现某个缓冲区已满，则执行步骤C；

步骤C、SWITCH中间件遍历步骤A所述的时间戳列表，从中寻找一个最小值，并将当前系统时间赋值给该时间戳；

步骤D、SWITCH中间件与步骤C所述时间戳相对应的服务器建立连接；

步骤E、SWITCH中间件判断步骤D所述的与服务器建立连接是否成功，若不成功，则从时间戳列表中删除步骤D所述的时间戳以及与该时间戳相对应的服务器，返回步骤C；若成功，则执行步骤F；

步骤F、将缓冲区中的数据存储到步骤E所述连接成功的服务器中，并将缓冲区清零；

步骤G、SWITCH中间件判断存储过程是否结束，若不结束，则返回执行步骤B；若结束，则存储过程终止。

Images