CN104683445A - 分布式实时数据融合系统 - Google Patents

Abstract

本发明公开了一种分布式实时数据融合系统，其包括决策信息分发模块以及依次运行在Storm引擎的五个工作节点上的数据采集模块、预处理模块、对准模块、状态估计模块和威胁估计模块。本发明采用Storm实时流式计算引擎作为系统的基础设施，使数据采集模块、预处理模块、对准模块、状态估计模块和威胁估计模块分别运行在Storm集群环境中的五个工作节点上，能够充分利用Storm分布式集群的高性能并行处理能力，大大提高了分布式实时数据融合系统的数据实时处理能力、容错性和稳定性，增强了分布式实时数据融合系统的并发性和扩展性，克服了传统的集中式数据融合系统存在的在并发性和扩展性上将受到限制的技术缺陷。

Description

分布式实时数据融合系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种分布式实时数据融合系统。

背景技术

随着传感器技术及其相关技术的不断发展，传感器技术的应用场景不断丰富，工业、农业、军事等领域都在大量地使用传感器来感知环境中的各种参数。多传感器数据融合技术是一门集多种学科于一体的前沿技术，已经广泛应用于战场监视、自动目标识别、工业过程控制、机器人、遥感、医疗诊断等领域。多传感器数据融合技术经过多年的研究与发展已经取得了丰硕的理论和应用成果，计算机技术、通信技术和数据处理技术等相关技术的进步也为多传感器数据融合技术的发展提供了新的动力。

在民用领域，传感器技术用在自动化生产过程中可以监控生产设备的各项指标并及时地反馈生产过程状态或发出报警，确保生产设备处于正确的工作状态；在军事领域，传感器的应用更为重要，通过部署大量传感器弥补了人工监视和人工探测在距离与持久性等方面的短板，对现代国防工业的发展具有重要的意义。但是在目前的实际应用中，只采用单一种类传感器提供的感知或观测数据已经远远无法满足我们日益增长的需求，必须通过使用多种类型传感器的感知或观测数据综合计算与分析，得到目标或场景的状态和参数。其中，实时处理技术在多传感器数据融合系统中的作用和地位越来越重要，应用也越来越广泛。随着系统结构越来越复杂，数据规模越来越大，随着系统结构越来越复杂，数据规模越来越大，需要一种实时数据处理策略来维持系统的稳定运行，确保采集的数据流得到实时的计算。

发明内容

本发明所要解决的技术问题是：随着传感器类型的增加、传感器部署区域的扩大，多传感器数据融合技术的应用场景也越来越多，加上现代数据融合的算法更加复杂，新型传感器感知数据的结构更加多样，多传感器数据融合系统在并发性和扩展性上将逐渐受到限制，传统的集中式数据融合系统面临着严峻的性能考验。

为了解决上述技术问题，本发明提供了一种基于Storm引擎的分布式实时数据融合系统，充分利用了Storm引擎分布式集群的高性能并行处理能力。

本发明的技术方案为：

一种分布式实时数据融合系统，包括：

数据采集模块，设置为获取并解析多个数据源发送的感知数据；

预处理模块，设置为依次对各个数据源对应的解析后的感知数据进行滤波；

对准模块，设置为将各个数据源对应的滤波后的感知数据对齐到同一采样时间点或时间片上；

状态估计模块，设置为利用各个数据源对应的对准后的感知数据生成并更新曲线拟合方程，并根据更新后的曲线拟合方程预估目标特征数据；

威胁估计模块，设置为根据预设的决策策略和预估的目标特征数据，得到决策信息；以及

决策信息分发模块，设置为将决策信息分发给订阅用户；

依次运行在Storm引擎的五个工作节点上的数据采集模块、预处理模块、对准模块、状态估计模块和威胁估计模块均受控于Storm引擎的Zookeeper节点。

优选的是，所述数据采集模块包括：

采集单元，设置为与各个数据源建立连接，并获取各个数据源发送的感知数据；

格式化单元，设置为对各个数据源对应的感知数据进行格式化；

去冗余单元，设置为删除各个数据源对应的格式化后的感知数据中的冗余数据，得到各个数据源对应的解析后的感知数据。

优选的是，所述数据采集模块还包括与所述去冗余单元电连接的日志生成单元，所述日志生成单元设置为利用各个数据源对应的解析后的感知数据生成运行日志，并将生成的运行日志提交给日志记录单元。

优选的是，所述预处理模块包括：

第一接收单元，设置为接收所述数据采集模块发送的各个数据源对应的解析后的感知数据；

第一缓存单元，设置为依次对每个数据源，将所述数据源对应的解析后的感知数据存入相应的预处理缓存队列中；

第一判断单元，设置为判断所述预处理缓存队列中的解析后的感知数据的个数是否大于或者等于预设的第一数据个数；

滤波单元，设置为在所述预处理缓存队列里的解析后的感知数据的个数大于或者等于第一数据个数时，从所述预处理缓存队列里取出从当前时刻起的第一数据个数的解析后的感知数据，并将取出的解析后的感知数据装载进滤波算法执行器中进行分析和计算，得到所述数据源对应的滤波后的感知数据。

优选的是，所述预处理模块还包括与所述滤波单元电连接的优化单元；

所述优化单元，设置为依次对每个数据源，利用所述数据源对应的滤波后的感知数据替换所述数据源对应的预处理缓存队列里的解析后的感知数据。

优选的是，所述对准模块包括：

第二接收单元，设置为接收所述预处理模块发送的各个数据源对应的滤波后的感知数据；

第二缓存单元，设置为依次对每个数据源，将所述数据源对应的滤波后的感知数据存入相应的对准缓存队列中；

第二判断单元，设置为判断各个数据源对应的对准缓存队列中的滤波后的感知数据的个数是否均大于或者等于预设的第二数据个数；

对准单元，设置为在各个数据源对应的对准缓存队列中的滤波后的感知数据的个数均大于或者等于第二数据个数时，依次从各个数据源对应的对准缓存队列里取出从当前时刻起的第二数据个数的滤波后的感知数据，并将取出的滤波后的感知数据装载进对准算法执行器中进行分析和计算，得到各个数据源对应的对准后的感知数据。

优选的是，所述状态估计模块包括：

第三接收单元，设置为接收所述对准模块发送的各个数据源对应的对准后的感知数据；

第三缓存单元，设置为依次对每个数据源，将所述数据源对应的对准后的感知数据存入相应的状态估计缓存队列中；

第三判断单元，设置为判断所述状态估计缓存队列里的对准后的感知数据的个数是否大于或者等于预设的第三数据个数；

状态估计单元，设置为在所述状态估计缓存队列里的对准后的感知数据的个数大于或者等于第三数据个数时，从所述状态估计缓存队列里取出从当前时刻起的第三数据个数的对准后的感知数据，并将取出的对准后的感知数据装载进状态估计算法执行器中进行分析和计算，得到所述目标特征数据。

优选的是，所述威胁估计模块包括：

第四接收单元，设置为接收所述状态估计模块发送的目标特征数据；

策略执行单元，设置为根据所述目标特征数据从评估策略集中选择威胁评估策略；

决策信息生成单元，设置为根据所述目标特征数据和所述威胁评估策略，生成决策信息。

优选的是，所述决策信息分发模块包括：

第一连接构建单元，设置为构建集成在威胁估计模块中的发布者客户端与决策信息分发单元之间的第一连接；

第二连接构建单元，设置为构建集成在决策信息分发模块中的订阅者客户端与服务器之间的第二连接；

主题创建单元，设置为在决策信息分布模块中创建主题；

决策信息分布单元，设置为通过所述第一连接接收所述威胁估计模块发送的决策信息且使所述决策信息与一个主题相关联，并通过所述第二连接将与订阅用户对应的服务器订阅的主题相关联的决策信息分发给所述订阅用户。

优选的是，所述数据源为传感器、视频输出设备、雷达或者集成网关。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

应用本发明实施例提供的分布式实时数据融合系统基于分布式软件架构，采用Storm实时流式计算引擎作为系统的基础设施，使数据采集模块、预处理模块、对准模块、状态估计模块和威胁估计模块分别运行在Storm集群环境中的五个工作节点上，能够充分利用Storm分布式集群的高性能并行处理能力，大大提高了分布式实时数据融合系统的数据实时处理能力、容错性和稳定性，增强了分布式实时数据融合系统的并发性和扩展性，克服了传统的集中式数据融合系统存在的在并发性和扩展性上将受到限制的技术缺陷。

本发明的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1示出了本发明实施例分布式实时数据融合系统的结构示意图；

图2示出了图1所示的分布式实时数据融合系统的具体结构示意图；

图3示出了本发明实施例分布式实时数据融合系统的拓扑结构数据流的示意图；

图4示出了本发明实施例中数据采集模块的结构示意图；

图5示出了本发明实施例中数据采集模块的工作流程示意图；

图6示出了本发明实施例中预处理模块的结构示意图；

图7示出了本发明实施例中预处理模块的工作流程示意图；

图8示出了本发明实施例中对准模块的结构示意图；

图9示出了本发明实施例中对准模块的工作流程示意图；

图10示出了本发明实施例中状态估计模块的结构示意图；

图11示出了本发明实施例中状态估计模块的工作流程示意图；

图12示出了本发明实施例中威胁估计模块的结构示意图；

图13示出了本发明实施例中威胁估计模块的工作流程示意图；

图14示出了本发明实施例中决策信息分发模块的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

本发明所要解决的技术问题是：随着传感器类型的增加、传感器部署区域的扩大，多传感器数据融合技术的应用场景也越来越多，加上现代数据融合的算法更加复杂，新型传感器感知数据的结构更加多样，多传感器数据融合系统在并发性和扩展性上将逐渐受到限制，传统的集中式数据融合系统面临着严峻的性能考验。为解决上述技术问题，本发明实施例提供了一种分布式实时数据融合系统。

图1示出了本发明实施例分布式实时数据融合系统的结构示意图，图2示出了图1中所示的分布式实时数据融合系统的具体结构示意图。参照图1和图2，分布式实时数据融合系统包括数据采集模块1、预处理模块2、对准模块3、状态估计模块4、威胁估计模块5和决策信息分发模块6。其中数据采集模块1、预处理模块2、对准模块3、状态估计模块4和威胁估计模块5分别运行在Storm引擎的五个工作节点上，其中各个工作节点分别对应独立的CPU，各个工作节点间的通讯连接通过Storm引擎的Zookeeper节点和Nimbus节点8来实现。如图1和图2所示，数据采集模块1、预处理模块2和对准模块3均与第一Zookeeper节点71电连接，状态估计模块4和威胁估计模块5均与第二Zookeeper节点72电连接，第一Zookeeper节点71与第二Zookeeper节点72通过Nimbus节点8电连接，以接收Storm引擎的控制节点发出的控制信号。特别地，为了提高分布式实时数据融合系统的容错性和稳定性，数据采集模块1、预处理模块2、对准模块3、状态估计模块4和威胁估计模块5分别一一对应地与Storm引擎的第一Zookeeper节点、第二Zookeeper节点、第三Zookeeper节点、第四Zookeeper节点和第五Zookeeper节点电连接，同时第一Zookeeper节点、第二Zookeeper节点、第三Zookeeper节点、第四Zookeeper节点和第五Zookeeper节点均与Nimbus节点8电连接，如果Nimbus节点8出现故障，其状态也保存在某一个Zookeeper节点上，待Nimbus节点8重启后可继续工作。这样，即使一个Zookeeper节点出现故障，其他的Zookeeper节点依然能正常工作，从而能够维持分布式实时数据融合系统的运行。

具体地，数据采集模块1设置为获取并解析多个数据源发送的感知数据，其主要功能是接入各种类型的数据源(例如传感器)，采集并解析各个数据源发送的原始感知数据，并将最终解析的结果发送给下一级融合计算模块(在本实施例中为预处理模块2)进一步处理，同时将解析的结果写入历史数据库并记录日志。数据采集模块1的具体工作流程将在下文中结合图4和图5进行详细地阐述。

预处理模块2设置为依次对各个数据源对应的解析后的感知数据进行滤波，其主要功能是分别对各个数据源对应的解析后的感知数据进行预处理，得到各个数据源各自对应的滤波后的感知数据。详细地，预处理模块2实时地从数据采集模块1接收的各个数据源对应的解析后的感知数据(优选为未经过滤波处理的数据或者受噪声影响的数据)，并将对应每个数据源的解析后的感知数据加入到与所述数据源相对应的预处理缓存队列中，随后对于每一个预处理缓存队列，分别采用相应的滤波算法(对于不同的预处理缓存队列，采用的滤波算法可以相同也可以不相同)分析和计算预处理缓存队列里的最靠近当前时刻的数据，降低被判定为误差较大的数据的波动幅度，从而降低数据中随机误差的影响。预处理模块2的具体工作流程将在下文中结合图6和图7进行详细地阐述。

对准模块3设置为将各个数据源对应的滤波后的感知数据对齐到同一采样时间点或时间片上，为后续功能模块进行融合计算提供必要条件。对准模块3的具体工作流程将在下文中结合图8和图9进行详细地阐述。

状态估计模块4设置为利用各个数据源对应的对准后的感知数据生成并更新曲线拟合方程，并根据更新后的曲线拟合方程预估目标特征数据，其主要功能是利用各个数据源对应的对准后的感知数据计算各个字段的曲线拟合方程(这里字段指的是数据源所感知的属性特征，例如速度、高度、方位角等)，通过将新的感知数据与较近的历史数据作为输入不断地更新曲线拟合方程的系数，所得到曲线拟合方程可以用来预估出目标(属性特征)未来某时刻的运动状态，即预估出目标特征数据，进而为威胁估计提供重要的参考数据。状态估计模块4的具体工作流程将在下文中结合图10和图11进行详细地阐述。

威胁估计模块5设置为根据预设的决策策略和预估的目标特征数据，得到决策信息，这里决策信息也称为威胁程度，威胁程度可以为危险、一般或者正常。威胁估计模块5的具体工作流程将在下文中结合图12和图13进行详细地阐述。

决策信息分发模块6设置为将决策信息分发给订阅用户，其主要负责将威胁估计模块5生成的决策信息分发给各个订阅用户。该决策信息模块创建一个主题，威胁估计模块5将决策信息发送至此主题，决策信息用户订阅此主题以获取决策信息。

如图3所示，是本发明实施例分布式实时数据融合系统的拓扑结构数据流的示意图，Storm引擎提供了TopologyBuilder类负责创建系统的拓扑结构，使用起来非常方便。我们首先生成各个功能模块中的Spout和Bolt类的实例对象，然后按照图1中的顺序把上述实例对象添加到TopologyBuilder对象中，并在它们之间建立数据流流向关系。同时在创建拓扑时配置每个模块的并行度。Storm集群会在系统运行启动后分别在不同的工作节点(Worker)上创建这些Spout和Bolt对象，并行度可以控制相同的模块在多个物理机上创建相同的逻辑以提高计算性能。

综上所述，本发明实施例分布式实时数据融合系统基于分布式软件架构，采用Storm实时流式计算引擎作为系统的基础设施，使数据采集模块1、预处理模块2、对准模块3、状态估计模块4和威胁估计模块5分别运行在Storm集群环境中的五个工作节点上，能够充分利用Storm分布式集群的高性能并行处理能力(Storm引擎在实时计算和流式数据处理方面表现优异，而且支持分布式架构，擅长对大数据的实时处理。这些特性可以支撑多传感器数据融合系统对大规模感知数据的实时处理)，大大提高了分布式实时数据融合系统的数据实时处理能力、容错性和稳定性，增强了分布式实时数据融合系统的并发性和扩展性，克服了传统的集中式数据融合系统存在的在并发性和扩展性上将受到限制的技术缺陷。

以下参照图4至图14依次详细地阐述数据采集模块1、预处理模块2、对准模块3、状态估计模块4和威胁估计模块5的具体工作流程，还详细地阐述了决策信息分发模块6的具体工作流程。

图4示出了本发明实施例中数据采集模块1的工作流程示意图，如图4所示，数据采集模块1包括采集单元、格式化单元和去冗余单元。这里，格式单元和去冗余单元相当于图2中的数据解析器。

具体地，采集单元设置为与各个数据源建立连接，并获取各个数据源发送的感知数据。格式化单元，设置为对各个数据源对应的感知数据进行格式化。去冗余单元设置为删除各个数据源对应的格式化后的感知数据中的冗余数据，得到各个数据源对应的解析后的感知数据。

参照图4和图5，数据采集模块1的执行步骤如下：

步骤101：数据采集模块1核心Spout(SensorSpout)与数据源建立连接，从数据源获取感知数据。由于数据源的差异性，导致获取数据源的感知数据的方式有所不同。具体地，一种是直接调用数据源的接口请求实时数据；另一种是调用数据源网络的网关接口，网关返回所请求的数据源的数据；还有一种是数据源主动上传感知数据，这时可以使用某种缓存技术暂存数据源上传的感知数据，数据采集模块1再从此缓存中拉取数据。

步骤102：格式化数据。不同类型的数据源上传的感知数据的格式千差万别，有文本数据，有二进制数据，部分还带有校验信息等。这时就需要根据数据源的类型分别实现针对此数据源的解析方案，最终把原始感知数据拆分成多个键值对。

步骤103：去除冗余信息。针对步骤102中已经生成的键值对，需要根据实际业务场景选择保留对数据融合有用的字段，去除重复或无效的字段，使数据变得最精简，以便在后续的传输过程中提高性能。

步骤104：将去除冗余信息后的数据存入HashMap或自定义的Model中，符合面向对象设计思想。此Model可以被序列化，这样才能在集群中传输此类型的数据对象。

步骤105：步骤104中生成的数据对象已经是数据采集模块1最终的结果，可以发送给下一级数据融合处理模块做进一步融合计算。步骤104中生成的数据对象是在业务场景范畴内最简化的，将此时的数据存入数据库即可以减小开销，也能满足数据的可读性。历史数据库可备以后查阅或作他用。

优选地包括步骤106：数据采集模块1每执行完一次数据采集和处理，向日志记录模块提交运行日志。具体地，数据采集模块1还包括与去冗余单元电连接的日志生成单元，日志生成单元设置为利用各个数据源对应的解析后的感知数据生成运行日志，并将生成的运行日志提交给日志记录单元。

图6示出了本发明实施例中预处理模块2的工作流程示意图，如图6所示，预处理模块2包括第一接收单元、第一缓存单元、第一判断单元和滤波单元。

具体地，第一接收单元设置为接收数据采集模块1发送的各个数据源对应的解析后的感知数据。第一缓存单元，设置为依次对每个数据源，将所述数据源对应的解析后的感知数据存入相应的预处理缓存队列中。第一判断单元，设置为判断预处理缓存队列中的解析后的感知数据的个数是否大于或者等于预设的第一数据个数。滤波单元，设置为在预处理缓存队列里的解析后的感知数据的个数大于或者等于第一数据个数时，从预处理缓存队列里取出从当前时刻起的第一数据个数的解析后的感知数据，并将取出的解析后的感知数据装载进滤波算法执行器中进行分析和计算，得到数据源对应的滤波后的感知数据。特别地，预处理模块2还包括与滤波单元电连接的优化单元；优化单元，设置为依次对每个数据源，利用数据源对应的滤波后的感知数据替换数据源对应的预处理缓存队列里的解析后的感知数据

参照图6和图7，预处理模块2的执行步骤如下：

步骤201：预处理模块2核心Bolt(PreprocessBolt)接收数据采集模块1发送过来的元组Tuple对象，并进行反序列化。由于数据采集模块1和预处理模块2的处理对象分别运行在Storm集群的不同的物理机上，它们之间需要通过网络传输数据。数据采集模块1在发送数据之前把数据对象序列化为二进制数据，预处理模块2在接收到二进制数据后将其反序列化为Tuple对象。

步骤202：从Tuple对象中获取POJO数据对象，并将其加入到预处理缓存队列里。预处理缓存队列可以调整大小，具体数值需结合实际滤波精度做调整。

步骤203：判断预处理缓存队列里的数据的个数是否已经满足滤波算法的需求(即第一数据个数)。如果没有满足则返回到步骤201继续等待接收数据；如果已经满足则进入步骤204。

步骤204：从预处理缓存队列中取出符合滤波算法要求数量(可以为第一数据个数，也可以小于第一数据个数)的，且距离当前时刻最近的一些数据，将它们装载进滤波算法执行器中分析和计算。用于算法的输入数据的数量越大，计算结果越精确，但计算所消耗的时间也越长，两者之间的平衡需要结合实际情况慎重考虑。

优选地包括步骤205：将滤波后的数据加入预处理缓存队列中，替换预处理缓存队列中相应的数据，可用于优化滤波算法计算时的参数。同时将滤波后的数据发射出去，订阅此数据流的下一级融合计算模块将能获取之。

图8示出了本发明实施例中对准模块3的工作流程示意图，如图8所示，对准模块3包括第二接收单元、第二缓存单元、第二判断单元和对准单元。

具体地，第二接收单元设置为接收预处理模块2发送的各个数据源对应的滤波后的感知数据。第二缓存单元设置为依次对每个数据源，将所述数据源对应的滤波后的感知数据存入相应的对准缓存队列中。第二判断单元，设置为判断各个数据源对应的对准缓存队列中的滤波后的感知数据的个数是否均大于或者等于预设的第二数据个数。对准单元，设置为在各个数据源对应的对准缓存队列中的滤波后的感知数据的个数均大于或者等于第二数据个数时，依次从各个数据源对应的对准缓存队列里取出从当前时刻起的第二数据个数的滤波后的感知数据，并将取出的滤波后的感知数据装载进对准算法执行器中进行分析和计算，得到各个数据源对应的对准后的感知数据。

参照图8和图9，对准模块3的执行步骤如下：

步骤301：对准模块3核心Bolt(AlignmentBolt)接收从预处理模块2的多个数据源发送过来的元组Tuple对象，并进行反序列化。由于对准模块3和预处理模块2的处理对象分别运行在Storm集群的不同的物理机上，它们之间需要通过网络传输数据。预处理模块2在发送数据之前把数据对象序列化为二进制数据，对准模块3在接收到二进制数据后将其反序列化为Tuple对象。

步骤302：从Tuple对象中获取POJO数据对象，并将其加入到对准缓存队列里。对准缓存队列可以调整大小，具体数值需结合实际系统内存资源做调整。与预处理模块2类似的是，在本模块中每一个数据源发送过来的数据都需要创建一个队列来存储各自类型的数据对象，因此需要维持多个对准缓存队列。

步骤303：判断将要对准的每个对准缓存队列里的数据的个数是否都已经满足对准算法的需求(即第二数据个数)。如果没有满足则返回到步骤301继续等待接收数据；如果已经满足则进入步骤304。

步骤304：从每个对准缓存队列中取出符合对准算法数量需求的数据，将它们装载进对准算法执行器中分析和计算。用于对准算法的输入数据的数量越大，计算结果越精确，但计算所内存也越多，具体数量需要结合实际情况选取。

步骤305：将修正后的数据组合发射出去，使订阅此数据流的下一级融合计算模块能够获取。

图10示出了本发明实施例中状态估计模块4的工作流程示意图，如图10所示，状态估计模块4包括第三接收单元、第三缓存单元、第三判断单元和状态估计单元。

具体地，第三接收单元，设置为接收对准模块3发送的各个数据源对应的对准后的感知数据。第三缓存单元，设置为依次对每个数据源，将所述数据源对应的对准后的感知数据存入相应的状态估计缓存队列中。第三判断单元，设置为判断状态估计缓存队列里的对准后的感知数据的个数是否大于或者等于预设的第三数据个数。状态估计单元，设置为在状态估计缓存队列里的对准后的感知数据的个数大于或者等于第三数据个数时，从状态估计缓存队列里取出从当前时刻起的第三数据个数的对准后的感知数据，并将取出的对准后的感知数据装载进状态估计算法执行器中进行分析和计算，得到目标特征数据。

参照图10和图11，状态估计模块4的执行步骤如下：

步骤401：状态估计模块4核心Bolt(StateEstimationBolt)接收对准模块3发送过来的元组Tuple对象，并将其反序列化。

步骤402：从Tuple对象中抽取Map数据对象，并将其加入到状态估计缓存队列里。状态估计缓存队列可以调整大小，具体数值需结合实际需求与状态估计算法的要求来做调整。

步骤403：判断状态估计缓存队列里的数据的个数是否已经满足状态估计算法的需求。如果没有满足则返回到步骤401继续等待接收数据；如果已经满足则进入步骤404。

步骤404：从状态估计缓存队列中取出符合状态估计算法要求数量的(即第三数据个数)，且距离当前时刻最近的一些数据，将它们装载进算法执行器中分析和计算。

步骤405：将通过状态估计算法运算生成的目标特征数据发送出去，订阅此数据流的下一级融合计算模块将能获取此数据。

图12示出了本发明实施例中威胁估计模块5的工作流程示意图，如图12所示，威胁估计模块5包括第四接收单元、策略执行单元和决策信息生成单元。

具体地，第四接收单元，设置为接收状态估计模块4发送的目标特征数据。策略执行单元，设置为根据目标特征数据从评估策略集中选择威胁评估策略。决策信息生成单元，设置为根据目标特征数据和威胁评估策略，生成决策信息。

对照图12和图13，威胁估计模块5的执行步骤如下：

步骤501：威胁估计模块5核心Bolt(ThreatEstimationBolt)接收从状态估计模块4发送过来元组Tuple，从中解析出目标的特征和行为趋势信息。

步骤502：将上述信息发送至策略执行器。

步骤503：策略执行器加载一种威胁评估策略。

步骤504：将目标特征输入所选评估策略，生成决策信息。

图14示出了本发明实施例中决策信息分发模块6的工作流程示意图，如图14所示，决策信息分发模块6包括第一连接构建单元、第二连接构建单元、主题创建单元和决策信息分布单元。

具体地，第一连接构建单元，设置为构建集成在威胁估计模块5中的发布者客户端与决策信息分发单元之间的第一连接。第二连接构建单元，设置为构建集成在决策信息分发模块6中的订阅者客户端与服务器之间的第二连接。主题创建单元，设置为在决策信息分布模块中创建主题。决策信息分布单元，设置为通过第一连接接收威胁估计模块5发送的决策信息且使决策信息与一个主题相关联，并通过第二连接将与订阅用户对应的服务器订阅的主题相关联的决策信息分发给订阅用户。

决策信息分发模块6的执行步骤如下：

步骤601：在威胁估计模块5中集成决策信息分发模块6提供的发布者客户端SDK。

步骤602：在决策信息分发模块6创建一个指定的主题(Topic)。(本步骤与步骤601顺序无关)

步骤603：使用发布者客户端SDK中提供的接口创建与决策信息分发模块6之间的TCP连接(即第一连接)，同时配置此连接的主题和服务质量。

步骤604：威胁估计模块5将每次处理完数据生成的决策信息通过步骤603中的第一连接发送到决策信息分发模块6。

步骤605：决策信息的消费者通过使用决策信息分发模块6的订阅者SDK创建与服务器之间的连接(即第二连接)，并订阅与上述相同的主题。

步骤606：决策信息分发模块6每收到发布者发来的消息，会根据订阅者的优先级分别发送给相应的主题订阅者；如果没有订阅者则丢弃此条消息。

值得注意的是，本文中提到的数据源可以选为传感器、视频输出设备、雷达或者集成网关。

本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种分布式实时数据融合系统，其特征在于，包括：

数据采集模块，设置为获取并解析多个数据源发送的感知数据；

预处理模块，设置为依次对各个数据源对应的解析后的感知数据进行滤波；

对准模块，设置为将各个数据源对应的滤波后的感知数据对齐到同一采样时间点或时间片上；

状态估计模块，设置为利用各个数据源对应的对准后的感知数据生成并更新曲线拟合方程，并根据更新后的曲线拟合方程预估目标特征数据；

威胁估计模块，设置为根据预设的决策策略和预估的目标特征数据，得到决策信息；以及

决策信息分发模块，设置为将决策信息分发给订阅用户；

依次运行在Storm引擎的五个工作节点上的数据采集模块、预处理模块、对准模块、状态估计模块和威胁估计模块均受控于Storm引擎的Zookeeper节点。

2.根据权利要求1所述的分布式实时数据融合系统，其特征在于，所述数据采集模块包括：

采集单元，设置为与各个数据源建立连接，并获取各个数据源发送的感知数据；

格式化单元，设置为对各个数据源对应的感知数据进行格式化；

去冗余单元，设置为删除各个数据源对应的格式化后的感知数据中的冗余数据，得到各个数据源对应的解析后的感知数据。

3.根据权利要求2所述的分布式实时数据融合系统，其特征在于，所述数据采集模块还包括与所述去冗余单元电连接的日志生成单元，所述日志生成单元设置为利用各个数据源对应的解析后的感知数据生成运行日志，并将生成的运行日志提交给日志记录单元。

4.根据权利要求1所述的分布式实时数据融合系统，其特征在于，所述预处理模块包括：

第一接收单元，设置为接收所述数据采集模块发送的各个数据源对应的解析后的感知数据；

第一缓存单元，设置为依次对每个数据源，将所述数据源对应的解析后的感知数据存入相应的预处理缓存队列中；

第一判断单元，设置为判断所述预处理缓存队列中的解析后的感知数据的个数是否大于或者等于预设的第一数据个数；

滤波单元，设置为在所述预处理缓存队列里的解析后的感知数据的个数大于或者等于第一数据个数时，从所述预处理缓存队列里取出从当前时刻起的第一数据个数的解析后的感知数据，并将取出的解析后的感知数据装载进滤波算法执行器中进行分析和计算，得到所述数据源对应的滤波后的感知数据。

5.根据权利要求4所述的分布式实时数据融合系统，其特征在于，所述预处理模块还包括与所述滤波单元电连接的优化单元；

所述优化单元，设置为依次对每个数据源，利用所述数据源对应的滤波后的感知数据替换所述数据源对应的预处理缓存队列里的解析后的感知数据。

6.根据权利要求1所述的分布式实时数据融合系统，其特征在于，所述对准模块包括：

第二接收单元，设置为接收所述预处理模块发送的各个数据源对应的滤波后的感知数据；

第二缓存单元，设置为依次对每个数据源，将所述数据源对应的滤波后的感知数据存入相应的对准缓存队列中；

第二判断单元，设置为判断各个数据源对应的对准缓存队列中的滤波后的感知数据的个数是否均大于或者等于预设的第二数据个数；

对准单元，设置为在各个数据源对应的对准缓存队列中的滤波后的感知数据的个数均大于或者等于第二数据个数时，依次从各个数据源对应的对准缓存队列里取出从当前时刻起的第二数据个数的滤波后的感知数据，并将取出的滤波后的感知数据装载进对准算法执行器中进行分析和计算，得到各个数据源对应的对准后的感知数据。

7.根据权利要求1所述的分布式实时数据融合系统，其特征在于，所述状态估计模块包括：

第三接收单元，设置为接收所述对准模块发送的各个数据源对应的对准后的感知数据；

第三缓存单元，设置为依次对每个数据源，将所述数据源对应的对准后的感知数据存入相应的状态估计缓存队列中；

第三判断单元，设置为判断所述状态估计缓存队列里的对准后的感知数据的个数是否大于或者等于预设的第三数据个数；

状态估计单元，设置为在所述状态估计缓存队列里的对准后的感知数据的个数大于或者等于第三数据个数时，从所述状态估计缓存队列里取出从当前时刻起的第三数据个数的对准后的感知数据，并将取出的对准后的感知数据装载进状态估计算法执行器中进行分析和计算，得到所述目标特征数据。

8.根据权利要求1所述的分布式实时数据融合系统，其特征在于，所述威胁估计模块包括：

第四接收单元，设置为接收所述状态估计模块发送的目标特征数据；

策略执行单元，设置为根据所述目标特征数据从评估策略集中选择威胁评估策略；

决策信息生成单元，设置为根据所述目标特征数据和所述威胁评估策略，生成决策信息。

9.根据权利要求1所述的分布式实时数据融合系统，其特征在于，所述决策信息分发模块包括：

第一连接构建单元，设置为构建集成在威胁估计模块中的发布者客户端与决策信息分发单元之间的第一连接；

第二连接构建单元，设置为构建集成在决策信息分发模块中的订阅者客户端与服务器之间的第二连接；

主题创建单元，设置为在决策信息分布模块中创建主题；

决策信息分布单元，设置为通过所述第一连接接收所述威胁估计模块发送的决策信息且使所述决策信息与一个主题相关联，并通过所述第二连接将与订阅用户对应的服务器订阅的主题相关联的决策信息分发给所述订阅用户。

10.根据权利要求1至9中任一项所述的分布式实时数据融合系统，其特征在于，所述数据源为传感器、视频输出设备、雷达或者集成网关。