CN103473459A - 一种多系统大数据的处理及融合方法 - Google Patents

Abstract

本发明公开了一种多系统大数据的处理及融合方法，属于计算机信息实时处理技术，包括：根据各子系统采集到的多源数据获得真值系统的标准数据，并确定参数的动态赋值方法；剔除各子系统采集到的数据集合中的异常数据，并进行历史数据的补偿；对完成数据补偿的多源数据实时分级信息融合；本发明通过建立真值系统获得各种采集方式正确的初始赋值参数，对真实采集到的数据进行异常剔除，缺失数据根据历史数据进行合理填补以保证数据的准确性和完整性，对不同类别的采集方式获得的数据进行分级逐级融合处理以保证数据的可靠性，融合过程的快速性。

Description

一种多系统大数据的处理及融合方法

【技术领域】

本发明涉及大数据的实时智能融合处理技术领域，尤其涉及一种多系统大数据的处理及融合方法。

【背景技术】

信息融合最早应用于军事领域，是组合多源信息和数据完成目标检测、关联、状态评估的多层次、多方面的过程。这种信息融合的目的是获得准确的目标识别、完整而及时的战场态势和威胁评估。随着传感器技术、计算机科学和信息技术的发展，各种面向复杂应用背景的多传感器系统大量涌现，使得多渠道的信息获取、处理和融合成为可能，并且在金融管理、心理评估和预测、医疗诊断、气象预报、组织管理决策、机器人视觉、交通管制、遥感遥测等诸多领域，人们都认识到把多个数据源中的信息综合起来能够提高工作的成绩。因此，多源信息融合技术在军事领域和民用领域得到了广泛的重视和成功的应用，其理论和方法已成为智能信息处理及控制的一个重要研究方向。

现有技术更集中在数据级信息融合，其直接对未经预处理的传感器原始观测数据进行综合和分析。优点是保持了尽可能多的客体信息，基本不发生信息丢失或遗漏；缺点是处理数据太多，耗费时间太长，实时性差。另一种信息融合是特征级信息融合，亦称文件级信息融合，是对已经过传感器初步预处理之后，在传感器实现基本特征提取、提供文件报告的基础上执行的综合分析处理。其优点是既保持足够数量的重要信息，又已经过可容许的数据压缩，大大稀释了数据量，可以提高处理过程的实时性；而且特别有价值的是在模式识别、图像分析、计算机视觉等现代高技术应用中，实际都以特征提取为基础，都已在这方面开展大量工作。特征级信息融合的缺点是，不可避免地会有某些信息损失，因而需对传感器预处理提出较严格的要求。

由于数据的多源性，必须运用一种有效的方法合理协调多源数据，充分综合有用信息，提高在多变环境中正确决策的能力。数据融合技术是一种可满足该要求的良好工具。数据的多源性和复杂性要求信息处理必须拥有数据融合技术，这样才能提供信息的稳健性。

现有的数据融合技术更集中在数据级信息融合，融合过程未对数据根据传感器的稳定性进行分级，并且未对传感器采集到的数据进行校验剔除，数据逐级融合。

因此，有必要提出一种新的技术方案来解决上述缺点。

【发明内容】

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

本发明的目的在于提供一种多系统大数据的处理及融合方法，包括：

根据各子系统采集到的多源数据获得真值系统的标准数据，并确定参数的动态赋值方法；剔除所述各子系统采集到的数据集合中的异常数据，并进行历史数据的补偿；对完成数据补偿的多源数据实时分级信息融合。

本发明通过建立真值系统获得各种采集方式正确的初始赋值参数，对真实采集到的数据进行异常剔除，缺失数据根据历史数据进行合理填补以保证数据的准确性和完整性，对不同类别的采集方式获得的数据进行分级逐级融合处理以保证数据的可靠性，融合过程的快速性。经该融合过程，实现融合的快速、准确、可靠等效果，真值系统解决了现有技术初始参数赋值不准确的问题；对异常数据剔除、缺失数据填补克服了现有技术采集终端性能不稳定，以及采集终端损坏的难题；采用D-S理论对处理后的数据进行分级融合处理，解决了数据融合的多源性问题。

【附图说明】

结合参考附图及接下来的详细描述，本发明将更容易理解，其中：

图1为本发明实施例提供的多系统大数据的处理及融合方法流程图；

图2为本发明实施例中对参数动态赋值的方法流程图。

【具体实施方式】

本发明的详细描述主要通过程序、步骤、逻辑块、过程或其他象征性的描述来直接或间接地模拟本发明技术方案的运作。为透彻的理解本发明，在接下来的描述中陈述了很多特定细节。而在没有这些特定细节时，本发明则可能仍可实现。所属领域内的技术人员使用此处的这些描述和陈述向所属领域内的其他技术人员有效的介绍他们的工作本质。换句话说，为避免混淆本发明的目的，由于熟知的方法、程序、成分和电路已经很容易理解，因此它们并未被详细描述。

此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。此外，表示一个或多个实施例的方法、流程图或功能框图中的模块顺序并非固定的指代任何特定顺序，也不构成对本发明的限制。

本发明实施例提供的数据融合过程能够实现融合的快速、准确、可靠等效果，真值系统解决了现有技术初始参数赋值不准确的问题；对异常数据剔除、缺失数据填补克服了现有技术采集终端性能不稳定，以及采集终端损坏的难题；采用D-S理论对处理后的数据进行分级融合处理，解决了数据融合的多源性问题。

图1为本发明实施例提供的多系统大数据的处理及融合方法流程图，包括以下步骤：

步骤101、获得真值系统，并确定D-S(Dempster-Sharer证据理论多源数据融合方法)中参数的动态赋值方法。

所述真值系统标准数据是通过多个系统在不同时段多次测试，并获得时段t的平均值，作为标准值：

$\mathrm{Et}\left(X\right)=\frac{1}{n}\underset{i,j}{\mathrm{\Σ}}\frac{\mathrm{Xij}\left(t\right)}{m}$

Xi，j(t)表示第i个系统的第j次在时段t测试的测量值，n个系统进行m次测量。

图2为对参数动态赋值的方法流程图，包括以下步骤：

步骤1011、将时段t各子系统采集到的数据，拆分出红外数据、烟感数据、加速度数据、微波/线圈数据、视频监控数据以及人脸和车牌识别数据，作为时段t的各类信息数据。由于不同的采集系统均能采集到同类型的数据，但是各个采集系统采集精度及其受影响因素不同，因此，在后续步骤中会出现分步融合。

上述说明已经充分揭露了本发明的具体实施方式。需要指出的是，熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地，本发明的权利要求的范围也并不仅仅局限于所述具体实施方式。

步骤1012、分别以红外数据、烟感数据、加速度数据、微波/线圈数据、视频监控数据以及人脸和车牌识别数据在时段t的平均值为标准值计算其标准差：

$D\left(X\right)=\sqrt{\frac{1}{N}\underset{i=1,..}{\mathrm{\Σ}}{(\mathrm{Xi}-E\left(X\right))}^2}$

其中，E(X)为t时段测试得到所有数据的平均值，Xi表示各类数据的第i个测试数据；

标准差反应数据的离散程度，即数据的稳定程度。

步骤1013、使用所述标准值及标准差，分别获得每类数据的正态分布图，确定可信区间，根据正态曲线，计算数据在可信区间的概率：

$P(a<X<b)={\&Integral;}_a^b\frac{1}{D\left(X\right)\sqrt{2\mathrm{\&Pi;}}}{e}^{{\frac{1}{2}\left(\frac{X-E\left(X\right)}{D\left(X\right)}\right)}^2}$

其中，a，b分别表示测试数据偏离标准值X的左右可接受数据的界限值，D(X)为标准差，E(X)为平均值；

步骤1014、以所述数据在可信区间的概率对每类数据基本概率赋值函数m(A)进行赋值，赋值过程为m(A)=P(a<A<b)，A表示每类数据，P(a<A<b)表示每类数据在可信区间的概率，如上计算。

步骤102、剔除子系统采集到的数据集合中的异常数据。步骤101是子系统在正常情况下多次测试获得的数据，为数据融合过程中的各类数据初始参数赋值做准备。而在现实情况中由于各种因素会导致数据的异常，因此，实际子系统采集到数据之后首先要进行异常数据剔除，以下是对实际数据进行的处理。

分别计算时段t对应分类(包括红外数据、烟感数据、加速度数据、微波/线圈数据、视频监控数据以及人脸和车牌识别数据)信息数据X(X是实际环境下采集到的数据，101步骤叙述X是在子系统及采集器一切正常的环境下的数据)与历史信息数据H。H是对过去一年的信息数据(包括红外数据、烟感数据、加速度数据、微波/线圈数据、视频监控数据以及人脸和车牌识别数据)的存储。计算X、H的数学期望E(X)、E(H)，计算时段t各类信息数据X与过去同期历史信息数据H的标准差D(X)、D(H)，如果：

(1)针对时段t各个子系统采集到的信息数据，数学期望E(X)与数学期望E(H)差值在设定阀值th范围内，且D(X)与D(H)差值同样在设定阀值th′内，则认为该时刻数据没有发生异常；

(2)针对时段t各个子系统采集到的信息数据，数学期望E(X)与数学期望E(H)超出设定阀值th，但D(X)与D(H)差值在设定阀值th′内，则等待下一时段的信息数据X"生成；如果下一时段的信息数据D(X)与D(X")有较大差异，超出设定阀值th′，则认为时段t的信息发生异常，并将异常数据剔除掉。

在较佳实施例中，th阈值设定为th=E(H)/2，th′=D(X)/2。

步骤103、历史数据的补偿。每天各个子系统采集到的信息数据经过步骤102后得到的数据存储起来，作为历史数据，为未来出现数据缺失时作为补偿数据。

根据历史数据，分别计算相同天内各类信息数据，生成趋势曲线。

每天各个子系统采集到数据后，及时对数据进行初步处理(剔除数据中的异常数据)过程中，查找相邻Z个时间段内的包含的Q个数据文件(即前面分类存储的具有相似趋势曲线的数据)，计算每一个时间段数据文件的路网平均速度，并将该平均速度视为一个点，平滑连接Z个点生成信息曲线片段。将该曲线片段与相同时间段内的历史数据进行匹配，找出最为相似的P条曲线作为辅助信息源，其中Z、P和Q是根据算法、历史统计、实践、经验、系统性能得出的函数值，Z表示时间段，Q表示Z个时间段内生成的文件量，P表示最相似的曲线数量。相邻Z个时间段，以一小时为单位，24个时间段。一般数据采集每五分钟生成一个数据，一个时间段会生成12个数据文件，Q按24个时间段算会生成288个取值，P取值为1即可。

根据各个子系统集到的各类信息数据的时间属性，从以上步骤中获得的辅助信息源中查找与数据缺失的路链具有相同唯一编号、相同时间属性的历史数据对补偿区域中空缺信息路链进行填补。其中时间属性包含星期周期和该时刻所处的时间窗特性。之所以数据会出现缺失，一方面是由于异常数据剔除有可能造成数据的不连续，另一方面是由于各个数据源设备由于外界因素或人为因素短暂失效造成数据不能及时采集或采集误差较大。而后者尤为重要。

步骤104、对完成数据补偿的多源数据(此处的多源数据包括经过剔除以及数据补偿后的红外数据、烟感数据、加速度数据、微波/线圈数据、视频监控数据以及人脸和车牌识别数据)实时分级信息融合。前面三个步骤是实时分级信息融合的基础，步骤101产生真值系统为分级信息融合确定各类别数据融合时的融合参数，并为步骤102异常数据的剔除提供标准数据，步骤103对于数据缺失的路链或数据缺失时间段进行数据补偿，以步骤102与步骤103产生的数据作为多源信息数据的数据源，以下步骤中使用的数据均是经过步骤101、102、103处理的数据。

为了保障数据精度和覆盖率，首先融合大规模多样的红外数据、烟感数据、加速度数据、微波/线圈数据、视频监控数据以及人脸和车牌识别数据。步骤如下：

D-S证据理论中最基本的概念是建立辨识框架，记作U，辨识框架中的元素满足互不相容的条件。命题A对函数m的赋值m(A)是集合到的影射，若函数m满足如下条件：

m(Φ)=0

对m(A)≥0，且 $\underset{{A\&Element;2}^U}{\mathrm{\&Sigma;}}m\left(A\right)=1$

则称m(A)为A的基本概率赋值函数(BPAF)。其中Φ表示空集，m(A)表示对命题A的精确信任程度，表示了对A的直接支持。

在以下步骤中，对于红外数据、烟感数据、加速度数据、微波/线圈数据、视频监控数据以及人脸和车牌识别数据的初始化，同样采用步骤1014的方式对基本概率赋值函数赋值。步骤1013得到的是在正常情况下通过子系统获得的对各类数据在可信区间的概率。

以上方法充分考虑了多种采集方式的稳定性、准确性和可靠性。建立真值系统获得各种采集方式正确的初始赋值参数，对真实采集到的数据进行异常剔除，缺失数据根据历史数据进行合理填补以保证数据的准确性和完整性，对不同类别的采集方式获得的数据进行分级逐级融合处理以保证数据的可靠性，融合过程的快速性。

经以上步骤的融合过程，实现融合的快速、准确、可靠等效果，真值系统解决了现有技术初始参数赋值不准确的问题；对异常数据剔除、缺失数据填补克服了现有技术采集终端性能不稳定，以及采集终端损坏的难题；采用D-S理论对处理后的数据进行分级融合处理，解决了数据融合的多源性问题。

总之，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (5)

1.一种多系统大数据的处理及融合方法，其特征在于，包括：

根据各子系统采集到的多源数据获得真值系统的标准数据，并确定参数的动态赋值方法；剔除所述各子系统采集到的数据集合中的异常数据，并进行历史数据的补偿；对完成数据补偿的多源数据实时分级信息融合。

2.根据权利要求1所述的多系统大数据的处理及融合方法，其特征在于，所述获得真值系统的标准数据的步骤具体包括：

通过多个系统在不同时段多次测试，并获得时段t的平均值，作为标准值：

$\mathrm{Et}\left(X\right)=\frac{1}{n}\underset{i,j}{\mathrm{\&Sigma;}}\frac{\mathrm{Xij}\left(t\right)}{m}$

其中，Xi，j(t)表示第i个系统的第j次在时段t测试的测量值，n个系统进行m次测量。

3.根据权利要求2所述的多系统大数据的处理及融合方法，其特征在于，所述确定参数的动态赋值方法的步骤具体包括：

将时段t各子系统采集到的数据，拆分出红外数据、烟感数据、加速度数据、微波/线圈数据、视频监控数据以及人脸和车牌识别数据，作为时段t的各类信息数据。

分别以红外数据、烟感数据、加速度数据、微波/线圈数据、视频监控数据以及人脸和车牌识别数据在时段t的平均值为标准值计算其标准差：

$D\left(X\right)=\sqrt{\frac{1}{N}\underset{i=1,.}{\mathrm{\&Sigma;}}{(\mathrm{Xi}-E\left(X\right))}^2}$

其中，E(X)为t时段测试得到所有数据的平均值，Xi表示各类数据的第i个测试数据；

使用所述标准值及标准差，分别获得每类数据的正态分布图，确定可信区间，根据正态曲线，计算数据在可信区间的概率：

$P(a<X<b)={\&Integral;}_a^b\frac{1}{D\left(X\right)\sqrt{2\mathrm{\&Pi;}}}{e}^{{\frac{1}{2}\left(\frac{X-E\left(X\right)}{D\left(X\right)}\right)}^2}$

其中，a，b分别表示测试数据偏离标准值X的左右可接受数据的界限值，D(X)为标准差，E(X)为平均值；

以所述数据在可信区间的概率对每类数据基本概率赋值函数m(A)进行赋值，赋值过程为m(A)=P(a<A<b)，A表示每类数据，P(a<A<b)表示每类数据在可信区间的概率。

4.根据权利要求3所述的多系统大数据的处理及融合方法，其特征在于，所述剔除各子系统采集到的数据集合中的异常数据的步骤具体包括：

分别计算时段t对应分类信息数据X与历史信息数据H，计算X、H的数学期望E(X)、E(H)，计算时段t各类信息数据X与历史信息数据H的标准差D(X)、D(H)，如果：

数学期望E(X)与数学期望E(H)差值在设定阀值th范围内，且D(X)与D(H)差值同样在设定阀值th′内，则该时刻数据没有发生异常；

数学期望E(X)与数学期望E(H)超出设定阀值th，但D(X)与D(H)差值在设定阀值th′内，则等待下一时段的信息数据X"生成；如果下一时段的信息数据D(X)与D(X")的差异超出设定阀值th′，则时段t的信息发生异常，并将异常数据剔除掉。

5.根据权利要求4所述的多系统大数据的处理及融合方法，其特征在于，所述阈值th与th′设定为：th=E(H)/2，th′=D(X)/2。

Images