CN103778263A - 地铁车辆数据采集处理的装置和方法 - Google Patents

Abstract

本发明涉及一种地铁车辆数据采集处理的装置和方法，采用FPGA编程的方式处理数据，使用的方法为多重插补法，将多重插补法的运算模式和公式编程至FPGA，使FPGA能够通过多重插补法实时处理数据，并采用格拉贝斯准则剔除异常数据。本发明通过数据采集模块采集数据到FPGA中进行数据处理，然后将处理后的数据传送给CPU用于车辆控制，结构简单，流程简化。本发明在地铁车辆强电磁干扰使数据采集产生误差和缺失的环境下，通过FPGA对异常数据，缺失数据进行处理，在保证不减少数据信息的前提下，合理有效的对数据进行预处理，改善数据质量，提高系统运行性能和车辆运行的安全性和稳定性。

Description

地铁车辆数据采集处理的装置和方法

技术领域

本发明涉及一数据采集的装置和方法，特别涉及一种地铁车辆数据采集处理的装置和方法。

背景技术

数据采集技术是信息科学的一个重要分支,它研究信息数据的采集、处理以及控制等作业。在智能仪器、信号处理以及工业自动控制等领域，都存在着数据的测量与控制问题。将外部世界存在的温度、压力、电压、位移以及角度等模拟量转换为数字信号, 在收集到控制器并进一步予以显示、处理、传输与记录这一过程，即称为数据采集，在数据采集过程中针对数据孤立点、数据缺失等的处理越发引起人们的重视。

随着地铁车辆数字化程度的不断提高，在地铁车辆强电磁干扰的情况下，数据采集难免存在误差和缺失等情况，为保证地铁车辆的正常可靠运行，数据采集与处理的过程变得尤为重要。

又如以下在先申请并公开的发明专利，申请号200810010703.7，名称为列车故障数据的分析处理方法，其方案是首先把故障运行数据按采样点的时间顺序分成若干段,使每一时间段内的数据呈现出单调变化或稳定不变的特征。设定相邻故障数据之间要插入的故障数据数,在故障数据单调变化区间内,利用最小二乘法拟合多项式,求出相应的插入故障数据。对插值后各变化区间上的数据,进行三次样条函数拟合,根据求出的拟合函数,画出区间上连续变化的故障曲线。在故障数据稳定不变的区间内,直接在各故障数据点之间以直线连接。该篇专利所提到对于缺失数据的填补采用最小二乘法拟合多项式以及三次样条函数拟合的方法，采用这种方法无法对数据进行实时处理，并且效率低。

通常关于缺失数据的填补方法有以下几种：

删除缺失值法：

删除缺失值法即删除读取不完全的变量，是处理缺失值最简单的方法。这种方法简便、易实施，但会使数据量变少，估计效果差，实际应用中通常不使用。

均值填补法：

均值填补法利用研究变量的样本均值对缺失数据进行填补，可分为条件均数法和非条件均数法。

条件均数法能很好的保持变量与其相关预测变量之间的关系，对变量估计的程度比较高。但该方法缺点也很明显，即预测变量的变化范围变大时会导致填补数据误差变大。非条件均数法用变量的均值来代替，减少了辅助变量的影响，从而导致了变量之间的关联性变差。

特殊值填补法：

特殊值填补法是指利用特殊值对样本中的某个属性值进行填补。若选取的属性值合适，将会获得很到的效果。

回归填补法：

回归填补法实际是一种条件性的均值填补法，是利用辅助变量X_i(i=1,2,…,K)与目标变量Y 之间的关联关系建立变量之间的回归方程，然后将已知的辅助变量带入回归方程来预测缺失值。如果变量X_i(i=1,2,…,K)与Y 之间高度相关或者是非线性关系，则需要对预测的缺失数据进行偏差估计。若辅助变量与目标变量的关系是线性回归时，根据最小二乘法的原理，其预测的模型就应该是线性关系模型。利用这种逻辑推出的第 j 个缺失数据的估计为

$Z_j={\mathrm{\β}}_0+{\displaystyle \underset{i=1}{\overset{k}{\∑}}{\mathrm{\β}}_i{X}_{ij}+e_j}$

式中β——回归系数；

e_j ——随机残差。

当X_i(i=1,2,…,K)是定性的，就采用虚拟变量处理法。当Y 是定性的，可进行相应变换，然后通过 Logistic 线性回归处理。若只进行线性回归，可表示为

$Z_j={\mathrm{\β}}_0+{\displaystyle \underset{i=1}{\overset{k}{\∑}}{\mathrm{\β}}_i{X}_{ij}}$ 。

多重插补法：

多重插补法用两个以上的样本集对缺失数据进行填补，其产生的候选集可以准确的预测出缺失数据的分布概率，比均值填补法更有说服力。它是建立在贝叶斯理论的基础上，基于期望最大化算法对缺失数据进行填补。多重插补法应用的前提条件是，缺失的数据必须是随机缺失的。

用Y_obs表示数据集中不含缺失值的那部分变量, Y_mis表示含缺失值的那部分变量,运用马尔科夫链蒙特卡罗法，简称MCMC法，对该数据集进行多重估算可分为两步:

估算步：

在每一次循环运算的估算步中,根据给定的均数向量μ和协方差矩阵Σ,从条件分布p(Y_mis|Y_obs,θ)中为缺失值抽取替换值。假设μ=[μ＇₁,μ＇₂]＇是两部分变量的均数向量, μ₁是Y_obs的均数向量, μ₂是Y_mis的均数向量。同时设定

${\displaystyle \∑=\left[\begin{array}{cc}{\displaystyle \∑{}_{11}}& {\displaystyle \∑{}_{12}}\\ {\displaystyle \∑{{}_{12}}^{\′}}& {\displaystyle \∑{}_{22}}\end{array}\right]}$

是这些变量的协方差矩阵,其中Σ₁₁是Y_obs的协方差矩阵, Σ₂₂是Y_mis的协方差矩阵, Σ₁₂是Y_obs与Y_mis间的协方差矩阵。则当给定Y_obs=y₁时的Y_mis的条件分布是一个多元正态分布,它的均数向量为

${\mathrm{\μ}}_{2.1}={\mathrm{\μ}}_2+{\displaystyle \∑{{}_{12}}^{\′}}{\displaystyle \∑{}_{11}^{?1}\left(y_1?{\mathrm{\μ}}_1\right)}$

条件协方差矩阵为

${\displaystyle \∑{}_{22.1}={\displaystyle \∑{}_{22}?}}{\displaystyle \∑{{}_{12}}^{\′}}{\displaystyle \∑{}_{11}^{?1}}{\displaystyle \∑{}_{12}}$

后验步：

在每一次循环运算中,后验步用上一步得到μ和Σ来模拟后验总体的均数向量、协方差矩阵和参数θ。

每次循环过程也可表述为:估算步用t循环得到的参数θ^(t)从分布p(Y_mis|Y_obs,θ^(t))中抽取

,后验步从分布

中抽取θ^(t+1)。

重复此过程,产生一个足够长的马尔科夫链：

$\left(Y_{mis}^{(1)},{\mathrm{\θ}}^{(1)}\right),\left(Y_{mis}^{(2)},{\mathrm{\θ}}^{(2)}\right),\mathrm{...},$

当该链会聚在一个稳定的分布p(Y_mis,θ|Y_obs)时,就可以近似独立地从该分布中为缺失值抽取替代值。

把数据集中所有的缺失值都进行了替换之后,就完成了一次估算,并产生了一个完整的数据集。这一过程将被重复m次,以产生m个完整的数据集。设P_i为第i次估算数据集对参数向量的点估计,则由m次估算得到的参数P的联合点估计值是：

$P=\frac{1}{m}{\displaystyle \underset{i=1}{\overset{m}{\∑}}{P}_i}$

发明内容

本发明主要目的在于解决上述问题和不足，提供一种结构简单，能够处理采集数据中的误差和缺失数据的地铁车辆数据采集处理的装置。

本发明的另一个主要目的在于提供一种利用上述装置实现的地铁车辆数据采集处理的方法。

为实现上述目的，本发明的技术方案是：

一种地铁车辆数据采集处理的装置，包括数据采集模块，用于输入采集数据；数据处理模块，用于处理数据；中央处理器CPU，用于控制车辆，所述数据采集模块包括数字量输入器和模拟量输入器，所述数据处理模块包括现场可编程门阵列FPGA和用于将模拟信号转化为数字信号的模数变换器ADC，所述数字量输入器和所述现场可编程门阵列FPGA连接，所述模拟量输入器和所述现场可编程门阵列FPGA通过模数变换器ADC连接，所述现场可编程门阵列FPGA和中央处理器CPU连接。

进一步，模拟量输入器与ADC之间设置有数据选择器MUX。

进一步，在所述数据选择器MUX与所述ADC之间设置有用于暂时存放数据的缓冲器BUFFER。

进一步，在所述现场可编程门阵列FPGA内设置有通过多重插补法填补数据的数据填补模块和通过格拉贝斯准则剔除数据的数据剔除模块。

为实现本发明另一个目的，提供一种利用上述装置实现的地铁车辆数据采集处理的方法，包括以下步骤：

步骤1、采集数据到FPGA；

步骤2、FPGA分析数据，如有缺失数据，则FPGA填补数据，如有异常数据，则FPGA去除异常数据；

步骤3、FPGA将处理完的数据传送给CPU。

进一步，在所述步骤2中FPGA通过多重插补法填补数据。

进一步，在所述步骤2中FPGA通过格拉贝斯准则判断异常数据。

进一步，在所述步骤2中FPGA去除异常数据后，通过多重插补法将去除的数据填补。

进一步，在所述步骤1中，数字量输入器和模拟量输入器将采集的数据传输至所述现场可编程门阵列FPGA中。

进一步，数字量输入器直接将数据传输给所述现场可编程门阵列FPGA中，所述模拟量输入器通过所述数据选择器MUX、缓冲器BUFFER以及模数变换器ADC将数据转换为数字模式传输给所述现场可编程门阵列FPGA。

综上内容，本发明有以下有益效果：

与背景技术中的对比专利相比，本发明提供另一种利用多重估算法的方法对缺失的数据进行分析填补，本发明与该篇对比专利的区别还在于，本发明提供一种实时处理数据的方法，采用FPGA编程的方式处理数据，使用的方法为多重插补法以及格拉贝斯准则，将多重插补法和格拉贝斯准则的运算模式和公式编程至FPGA，使FPGA能够通过多重插补法实时处理数据，通过格拉贝斯准则剔除异常数据。

本发明通过数据采集模块采集数据到FPGA中进行数据处理，然后将处理后的数据传送给CPU用于车辆控制，结构简单，流程简化。

本发明在地铁车辆强电磁干扰使数据采集产生误差和缺失的环境下，通过FPGA对异常数据，缺失数据进行处理，在保证不减少数据信息的前提下，合理有效的对数据进行预处理，改善数据质量，提高系统运行性能和车辆运行的安全性和稳定性。

附图说明

图1 是本发明结构示意图；

图2 是本发明方法流程图。

如图1所示，数字量输入器1，模拟量输入器2，数据选择器MUX3，缓冲器BUFFER4，ADC5，FPGA6，CPU7。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

如图1所示，一种地铁车辆数据采集处理的装置，包括数据采集模块，用于输入采集数据；数据处理模块，用于处理数据；中央处理器CPU7，用于通过数据来控制车辆。

数据采集模块包括了数字量输入器1和模拟量输入器2，他们连接车体各个数据采集器，主要负责输入采集到的车辆运行所需数据，并将数据传送给数据处理模块。

数据处理模块包括了数据选择器MUX3、缓冲器BUFFER4、模数转换器ADC5和现场可编程门阵列FPGA6。数据选择器MUX3用于选择连入的数据线路。缓冲器BUFFER4用于暂时存储数据，以便处理器取走，有了缓冲器BUFFER4，就可以使高速工作的处理器与慢速工作的外设起协调和缓冲作用，实现数据传送的同步。ADC5为模数变换器，用于将模拟量输入器2输入的模拟数据转换为数字数据。FPGA6（Field－Programmable Gate Array），即现场可编程门阵列，FPGA6是由逻辑功能块排成阵列并由可编程的互连资源连接这些逻辑功能块，从而实现不同的设计，通过对FPGA6的编程，可使其完成数据的处理，本方案对于缺失数据的处理方法是多重插补法，对于异常数据的判断依据格拉贝斯准则，将多重插补法和格拉贝斯准则的运算模式以及公式编程入FPGA6。

数字量输入器1直接与FPGA6连接，传输数据；模拟量输入器2与FPGA6的连接是通过数据选择器MUX3、缓冲器BUFFER4和ADC5实现的，模拟量输入器2所传输的模拟数据通过ADC5实现了数字量的转换。FPGA6与CPU7连接，CPU7通过FPGA6所处理的数据来控制车辆的运行。

地铁车辆数据采集处理的装置作用在整个车辆网络中，为其中的一个采集数据系统，采集的数据由FPGA6进行异常数据的判断以及缺失数据的填补，实现了实时数据的处理。

如图2所示，利用上述装置实现的地铁车辆数据采集处理的方法，包括以下步骤：

步骤1、地铁车辆通过车体各处信息采集器采集数据，如速度、压力等，所采集的数据通过数字量输入器1和模拟量输入器2接收，数字量输入器1接收的数字数据直接传输给FPGA6，模拟量输入器2接收的模拟数据要经过数据模式转换，模拟数据首先经过数据选择器MUX3选择传输线路，并暂存在缓冲器BUFFER4中，由模数转换器ADC5将模拟数据转换为数字数据，再传输至FPGA6中；

步骤2、将多重插补法和格拉贝斯准则的运算模式和公式编写入FPGA6，FPGA6将处理数据，如果数据中有缺失的数据，则FPGA6将通过多重插补法来填补数据。FPGA6通过格拉贝斯准则来判断哪些数据为异常数据，并将其去除，再通过多重插补法来填补去除的数据；

步骤3、FPGA6将处理完的完整数据传送给CPU7，CPU7根据数据结果控制车辆。

上面步骤2中所提到的多重插补法是指用复杂方法给每个缺失值都构造m个估计值（m>1），以形成m个完全数据集，对每个完全数据集分别使用相同的分析方法进行处理，综合得到的m个处理结果，以获得对分析变量的估计。

结合到本发明中，FPGA6建立数据集，包含缺失值和不缺失值，然后，运用马尔科夫链蒙特卡罗法，简称MCMC法，对该数据集进行多重估算，产生一个足够长的马尔科夫链，当该链会聚在一个稳定的分布时，就可以近似独立地从该分布中为缺失值抽取替代值。把数据集中所有的缺失值都进行了替换之后,就完成了一次估算,并产生了一个完整的数据集。这一过程将被重复m次，以产生m个完整的数据集。

最后，求取m个完成数据集的平均值，得出缺失值的点估计量。由于多重插补技术并不是用单一的值来替换缺失值，而是试图产生缺失值的一个随机样本，这种方法反映出了由于数据缺失而导致的不确定性，能够产生更加有效的统计推断。

上面步骤2中提到的格拉贝斯（Grubbs）准则：Grubbs导出了统计量

的分布。取显著水平α，可以得到临界值g₀，使得：

$P\left(|x_i?\bar{x}|\≥g_{0}s\right)=\mathrm{\α}$

其中 $\bar{x}=\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\∑}}{x}_i}$      $s=\sqrt{\frac{1}{n?1}{{\displaystyle \underset{i=1}{\overset{n}{\∑}}\left(x_i?\bar{x}\right)}}^2}$

若某一个测量数据x_i满足下式时，则认为数据为异常数据

$|x_i?\bar{x}|\≥g_{0}s$

上面提到的，x_i表示第i个数据，

表示数据均值，s表示数据标准差，n表示数据个数，其中g₀可通过专门g₀表得到。

结合到本发明中，通过对FPGA6的编程，将g₀表编写如FPGA6，FPGA6通过统计一段时间内的n个数据x_i，计算得到

、s，由于g₀通过n与α确定，α常取0.05为基准，故FPGA6通过n来确定g₀。

FPGA6将各个数据带入

，如果满足该式则带入的数据为异常数据，FPGA6将其剔除，直至没有异常数据为止。

如上所述，结合附图所给出的方案内容，可以衍生出类似的技术方案。但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种地铁车辆数据采集处理的装置，其特征在于：包括数据采集模块，用于输入采集数据；数据处理模块，用于处理数据；中央处理器CPU，用于控制车辆，所述数据采集模块包括数字量输入器和模拟量输入器，所述数据处理模块包括现场可编程门阵列FPGA和用于将模拟信号转化为数字信号的模数变换器ADC，所述数字量输入器和所述现场可编程门阵列FPGA连接，所述模拟量输入器和所述现场可编程门阵列FPGA通过模数变换器ADC连接，所述现场可编程门阵列FPGA和中央处理器CPU连接。

2.根据权利要求1所述的地铁车辆数据采集处理的装置，其特征在于：在所述模拟量输入器与模数变换器ADC之间设置有数据选择器MUX。

3.根据权利要求2所述的地铁车辆数据采集处理的装置，其特征在于：在所述数据选择器MUX与所述模数变换器ADC之间设置有用于暂时存放数据的缓冲器BUFFER。

4.根据权利要求1所述的地铁车辆数据采集处理的装置，其特征在于：在所述现场可编程门阵列FPGA内设置有通过多重插补法填补数据的数据填补模块和通过格拉贝斯准则剔除数据的数据剔除模块。

5.一种利用如权利要求1所述装置的地铁车辆数据采集处理的方法，其特征在于包括以下步骤：

步骤1、采集数据到现场可编程门阵列FPGA；

步骤2、现场可编程门阵列FPGA分析数据，如有缺失数据，则现场可编程门阵列FPGA填补数据，如有异常数据，则现场可编程门阵列FPGA去除异常数据；

步骤3、现场可编程门阵列FPGA将处理完的数据传送给中央处理器CPU。

6.根据权利要求5所述的地铁车辆数据采集处理的方法，其特征在于：在所述步骤2中现场可编程门阵列FPGA通过多重插补法填补数据。

7.根据权利要求5所述的地铁车辆数据采集处理的方法，其特征在于：在所述步骤2中现场可编程门阵列FPGA通过格拉贝斯准则判断异常数据。

8.根据权利要求7所述的地铁车辆数据采集处理的方法，其特征在于：在所述步骤2中现场可编程门阵列FPGA去除异常数据后，通过多重插补法将去除的数据填补。

9.根据权利要求5所述的地铁车辆数据采集处理的方法，其特征在于：在所述步骤1中，数字量输入器和模拟量输入器将采集的数据传输至所述现场可编程门阵列FPGA中。

10.根据权利要求9所述的地铁车辆数据采集处理的方法，其特征在于：所述数字量输入器直接将数据传输给所述现场可编程门阵列FPGA中，所述模拟量输入器通过所述数据选择器MUX、缓冲器BUFFER以及模数变换器ADC将数据转换为数字模式传输给所述现场可编程门阵列FPGA。

Images