CN103778263A - 地铁车辆数据采集处理的装置和方法 - Google Patents
地铁车辆数据采集处理的装置和方法 Download PDFInfo
- Publication number
- CN103778263A CN103778263A CN201210407897.0A CN201210407897A CN103778263A CN 103778263 A CN103778263 A CN 103778263A CN 201210407897 A CN201210407897 A CN 201210407897A CN 103778263 A CN103778263 A CN 103778263A
- Authority
- CN
- China
- Prior art keywords
- data
- programmable gate
- gate array
- array fpga
- site programmable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Electric Propulsion And Braking For Vehicles (AREA)
- Complex Calculations (AREA)
Abstract
本发明涉及一种地铁车辆数据采集处理的装置和方法,采用FPGA编程的方式处理数据,使用的方法为多重插补法,将多重插补法的运算模式和公式编程至FPGA,使FPGA能够通过多重插补法实时处理数据,并采用格拉贝斯准则剔除异常数据。本发明通过数据采集模块采集数据到FPGA中进行数据处理,然后将处理后的数据传送给CPU用于车辆控制,结构简单,流程简化。本发明在地铁车辆强电磁干扰使数据采集产生误差和缺失的环境下,通过FPGA对异常数据,缺失数据进行处理,在保证不减少数据信息的前提下,合理有效的对数据进行预处理,改善数据质量,提高系统运行性能和车辆运行的安全性和稳定性。
Description
技术领域
本发明涉及一数据采集的装置和方法,特别涉及一种地铁车辆数据采集处理的装置和方法。
背景技术
数据采集技术是信息科学的一个重要分支,它研究信息数据的采集、处理以及控制等作业。在智能仪器、信号处理以及工业自动控制等领域,都存在着数据的测量与控制问题。将外部世界存在的温度、压力、电压、位移以及角度等模拟量转换为数字信号, 在收集到控制器并进一步予以显示、处理、传输与记录这一过程,即称为数据采集,在数据采集过程中针对数据孤立点、数据缺失等的处理越发引起人们的重视。
随着地铁车辆数字化程度的不断提高,在地铁车辆强电磁干扰的情况下,数据采集难免存在误差和缺失等情况,为保证地铁车辆的正常可靠运行,数据采集与处理的过程变得尤为重要。
又如以下在先申请并公开的发明专利,申请号200810010703.7,名称为列车故障数据的分析处理方法,其方案是首先把故障运行数据按采样点的时间顺序分成若干段,使每一时间段内的数据呈现出单调变化或稳定不变的特征。设定相邻故障数据之间要插入的故障数据数,在故障数据单调变化区间内,利用最小二乘法拟合多项式,求出相应的插入故障数据。对插值后各变化区间上的数据,进行三次样条函数拟合,根据求出的拟合函数,画出区间上连续变化的故障曲线。在故障数据稳定不变的区间内,直接在各故障数据点之间以直线连接。该篇专利所提到对于缺失数据的填补采用最小二乘法拟合多项式以及三次样条函数拟合的方法,采用这种方法无法对数据进行实时处理,并且效率低。
通常关于缺失数据的填补方法有以下几种:
删除缺失值法:
删除缺失值法即删除读取不完全的变量,是处理缺失值最简单的方法。这种方法简便、易实施,但会使数据量变少,估计效果差,实际应用中通常不使用。
均值填补法:
均值填补法利用研究变量的样本均值对缺失数据进行填补,可分为条件均数法和非条件均数法。
条件均数法能很好的保持变量与其相关预测变量之间的关系,对变量估计的程度比较高。但该方法缺点也很明显,即预测变量的变化范围变大时会导致填补数据误差变大。非条件均数法用变量的均值来代替,减少了辅助变量的影响,从而导致了变量之间的关联性变差。
特殊值填补法:
特殊值填补法是指利用特殊值对样本中的某个属性值进行填补。若选取的属性值合适,将会获得很到的效果。
回归填补法:
回归填补法实际是一种条件性的均值填补法,是利用辅助变量Xi(i=1,2,…,K)与目标变量Y 之间的关联关系建立变量之间的回归方程,然后将已知的辅助变量带入回归方程来预测缺失值。如果变量Xi(i=1,2,…,K)与Y 之间高度相关或者是非线性关系,则需要对预测的缺失数据进行偏差估计。若辅助变量与目标变量的关系是线性回归时,根据最小二乘法的原理,其预测的模型就应该是线性关系模型。利用这种逻辑推出的第 j 个缺失数据的估计为
式中β——回归系数;
ej ——随机残差。
当Xi(i=1,2,…,K)是定性的,就采用虚拟变量处理法。当Y 是定性的,可进行相应变换,然后通过 Logistic 线性回归处理。若只进行线性回归,可表示为
多重插补法:
多重插补法用两个以上的样本集对缺失数据进行填补,其产生的候选集可以准确的预测出缺失数据的分布概率,比均值填补法更有说服力。它是建立在贝叶斯理论的基础上,基于期望最大化算法对缺失数据进行填补。多重插补法应用的前提条件是,缺失的数据必须是随机缺失的。
用Yobs表示数据集中不含缺失值的那部分变量, Ymis表示含缺失值的那部分变量,运用马尔科夫链蒙特卡罗法,简称MCMC法,对该数据集进行多重估算可分为两步:
估算步:
在每一次循环运算的估算步中,根据给定的均数向量μ和协方差矩阵Σ,从条件分布p(Ymis|Yobs,θ)中为缺失值抽取替换值。假设μ=[μ'1,μ'2]'是两部分变量的均数向量, μ1是Yobs的均数向量, μ2是Ymis的均数向量。同时设定
是这些变量的协方差矩阵,其中Σ11是Yobs的协方差矩阵, Σ22是Ymis的协方差矩阵, Σ12是Yobs与Ymis间的协方差矩阵。则当给定Yobs=y1时的Ymis的条件分布是一个多元正态分布,它的均数向量为
条件协方差矩阵为
后验步:
在每一次循环运算中,后验步用上一步得到μ和Σ来模拟后验总体的均数向量、协方差矩阵和参数θ。
重复此过程,产生一个足够长的马尔科夫链:
当该链会聚在一个稳定的分布p(Ymis,θ|Yobs)时,就可以近似独立地从该分布中为缺失值抽取替代值。
把数据集中所有的缺失值都进行了替换之后,就完成了一次估算,并产生了一个完整的数据集。这一过程将被重复m次,以产生m个完整的数据集。设Pi为第i次估算数据集对参数向量的点估计,则由m次估算得到的参数P的联合点估计值是:
发明内容
本发明主要目的在于解决上述问题和不足,提供一种结构简单,能够处理采集数据中的误差和缺失数据的地铁车辆数据采集处理的装置。
本发明的另一个主要目的在于提供一种利用上述装置实现的地铁车辆数据采集处理的方法。
为实现上述目的,本发明的技术方案是:
一种地铁车辆数据采集处理的装置,包括数据采集模块,用于输入采集数据;数据处理模块,用于处理数据;中央处理器CPU,用于控制车辆,所述数据采集模块包括数字量输入器和模拟量输入器,所述数据处理模块包括现场可编程门阵列FPGA和用于将模拟信号转化为数字信号的模数变换器ADC,所述数字量输入器和所述现场可编程门阵列FPGA连接,所述模拟量输入器和所述现场可编程门阵列FPGA通过模数变换器ADC连接,所述现场可编程门阵列FPGA和中央处理器CPU连接。
进一步,模拟量输入器与ADC之间设置有数据选择器MUX。
进一步,在所述数据选择器MUX与所述ADC之间设置有用于暂时存放数据的缓冲器BUFFER。
进一步,在所述现场可编程门阵列FPGA内设置有通过多重插补法填补数据的数据填补模块和通过格拉贝斯准则剔除数据的数据剔除模块。
为实现本发明另一个目的,提供一种利用上述装置实现的地铁车辆数据采集处理的方法,包括以下步骤:
步骤1、采集数据到FPGA;
步骤2、FPGA分析数据,如有缺失数据,则FPGA填补数据,如有异常数据,则FPGA去除异常数据;
步骤3、FPGA将处理完的数据传送给CPU。
进一步,在所述步骤2中FPGA通过多重插补法填补数据。
进一步,在所述步骤2中FPGA通过格拉贝斯准则判断异常数据。
进一步,在所述步骤2中FPGA去除异常数据后,通过多重插补法将去除的数据填补。
进一步,在所述步骤1中,数字量输入器和模拟量输入器将采集的数据传输至所述现场可编程门阵列FPGA中。
进一步,数字量输入器直接将数据传输给所述现场可编程门阵列FPGA中,所述模拟量输入器通过所述数据选择器MUX、缓冲器BUFFER以及模数变换器ADC将数据转换为数字模式传输给所述现场可编程门阵列FPGA。
综上内容,本发明有以下有益效果:
与背景技术中的对比专利相比,本发明提供另一种利用多重估算法的方法对缺失的数据进行分析填补,本发明与该篇对比专利的区别还在于,本发明提供一种实时处理数据的方法,采用FPGA编程的方式处理数据,使用的方法为多重插补法以及格拉贝斯准则,将多重插补法和格拉贝斯准则的运算模式和公式编程至FPGA,使FPGA能够通过多重插补法实时处理数据,通过格拉贝斯准则剔除异常数据。
本发明通过数据采集模块采集数据到FPGA中进行数据处理,然后将处理后的数据传送给CPU用于车辆控制,结构简单,流程简化。
本发明在地铁车辆强电磁干扰使数据采集产生误差和缺失的环境下,通过FPGA对异常数据,缺失数据进行处理,在保证不减少数据信息的前提下,合理有效的对数据进行预处理,改善数据质量,提高系统运行性能和车辆运行的安全性和稳定性。
附图说明
图1 是本发明结构示意图;
图2 是本发明方法流程图。
如图1所示,数字量输入器1,模拟量输入器2,数据选择器MUX3,缓冲器BUFFER4,ADC5,FPGA6,CPU7。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述:
如图1所示,一种地铁车辆数据采集处理的装置,包括数据采集模块,用于输入采集数据;数据处理模块,用于处理数据;中央处理器CPU7,用于通过数据来控制车辆。
数据采集模块包括了数字量输入器1和模拟量输入器2,他们连接车体各个数据采集器,主要负责输入采集到的车辆运行所需数据,并将数据传送给数据处理模块。
数据处理模块包括了数据选择器MUX3、缓冲器BUFFER4、模数转换器ADC5和现场可编程门阵列FPGA6。数据选择器MUX3用于选择连入的数据线路。缓冲器BUFFER4用于暂时存储数据,以便处理器取走,有了缓冲器BUFFER4,就可以使高速工作的处理器与慢速工作的外设起协调和缓冲作用,实现数据传送的同步。ADC5为模数变换器,用于将模拟量输入器2输入的模拟数据转换为数字数据。FPGA6(Field-Programmable Gate Array),即现场可编程门阵列,FPGA6是由逻辑功能块排成阵列并由可编程的互连资源连接这些逻辑功能块,从而实现不同的设计,通过对FPGA6的编程,可使其完成数据的处理,本方案对于缺失数据的处理方法是多重插补法,对于异常数据的判断依据格拉贝斯准则,将多重插补法和格拉贝斯准则的运算模式以及公式编程入FPGA6。
数字量输入器1直接与FPGA6连接,传输数据;模拟量输入器2与FPGA6的连接是通过数据选择器MUX3、缓冲器BUFFER4和ADC5实现的,模拟量输入器2所传输的模拟数据通过ADC5实现了数字量的转换。FPGA6与CPU7连接,CPU7通过FPGA6所处理的数据来控制车辆的运行。
地铁车辆数据采集处理的装置作用在整个车辆网络中,为其中的一个采集数据系统,采集的数据由FPGA6进行异常数据的判断以及缺失数据的填补,实现了实时数据的处理。
如图2所示,利用上述装置实现的地铁车辆数据采集处理的方法,包括以下步骤:
步骤1、地铁车辆通过车体各处信息采集器采集数据,如速度、压力等,所采集的数据通过数字量输入器1和模拟量输入器2接收,数字量输入器1接收的数字数据直接传输给FPGA6,模拟量输入器2接收的模拟数据要经过数据模式转换,模拟数据首先经过数据选择器MUX3选择传输线路,并暂存在缓冲器BUFFER4中,由模数转换器ADC5将模拟数据转换为数字数据,再传输至FPGA6中;
步骤2、将多重插补法和格拉贝斯准则的运算模式和公式编写入FPGA6,FPGA6将处理数据,如果数据中有缺失的数据,则FPGA6将通过多重插补法来填补数据。FPGA6通过格拉贝斯准则来判断哪些数据为异常数据,并将其去除,再通过多重插补法来填补去除的数据;
步骤3、FPGA6将处理完的完整数据传送给CPU7,CPU7根据数据结果控制车辆。
上面步骤2中所提到的多重插补法是指用复杂方法给每个缺失值都构造m个估计值(m>1),以形成m个完全数据集,对每个完全数据集分别使用相同的分析方法进行处理,综合得到的m个处理结果,以获得对分析变量的估计。
结合到本发明中,FPGA6建立数据集,包含缺失值和不缺失值,然后,运用马尔科夫链蒙特卡罗法,简称MCMC法,对该数据集进行多重估算,产生一个足够长的马尔科夫链,当该链会聚在一个稳定的分布时,就可以近似独立地从该分布中为缺失值抽取替代值。把数据集中所有的缺失值都进行了替换之后,就完成了一次估算,并产生了一个完整的数据集。这一过程将被重复m次,以产生m个完整的数据集。
最后,求取m个完成数据集的平均值,得出缺失值的点估计量。由于多重插补技术并不是用单一的值来替换缺失值,而是试图产生缺失值的一个随机样本,这种方法反映出了由于数据缺失而导致的不确定性,能够产生更加有效的统计推断。
其中
若某一个测量数据xi满足下式时,则认为数据为异常数据
结合到本发明中,通过对FPGA6的编程,将g0表编写如FPGA6,FPGA6通过统计一段时间内的n个数据xi,计算得到、s,由于g0通过n与α确定,α常取0.05为基准,故FPGA6通过n来确定g0。
如上所述,结合附图所给出的方案内容,可以衍生出类似的技术方案。但凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (10)
1.一种地铁车辆数据采集处理的装置,其特征在于:包括数据采集模块,用于输入采集数据;数据处理模块,用于处理数据;中央处理器CPU,用于控制车辆,所述数据采集模块包括数字量输入器和模拟量输入器,所述数据处理模块包括现场可编程门阵列FPGA和用于将模拟信号转化为数字信号的模数变换器ADC,所述数字量输入器和所述现场可编程门阵列FPGA连接,所述模拟量输入器和所述现场可编程门阵列FPGA通过模数变换器ADC连接,所述现场可编程门阵列FPGA和中央处理器CPU连接。
2.根据权利要求1所述的地铁车辆数据采集处理的装置,其特征在于:在所述模拟量输入器与模数变换器ADC之间设置有数据选择器MUX。
3.根据权利要求2所述的地铁车辆数据采集处理的装置,其特征在于:在所述数据选择器MUX与所述模数变换器ADC之间设置有用于暂时存放数据的缓冲器BUFFER。
4.根据权利要求1所述的地铁车辆数据采集处理的装置,其特征在于:在所述现场可编程门阵列FPGA内设置有通过多重插补法填补数据的数据填补模块和通过格拉贝斯准则剔除数据的数据剔除模块。
5.一种利用如权利要求1所述装置的地铁车辆数据采集处理的方法,其特征在于包括以下步骤:
步骤1、采集数据到现场可编程门阵列FPGA;
步骤2、现场可编程门阵列FPGA分析数据,如有缺失数据,则现场可编程门阵列FPGA填补数据,如有异常数据,则现场可编程门阵列FPGA去除异常数据;
步骤3、现场可编程门阵列FPGA将处理完的数据传送给中央处理器CPU。
6.根据权利要求5所述的地铁车辆数据采集处理的方法,其特征在于:在所述步骤2中现场可编程门阵列FPGA通过多重插补法填补数据。
7.根据权利要求5所述的地铁车辆数据采集处理的方法,其特征在于:在所述步骤2中现场可编程门阵列FPGA通过格拉贝斯准则判断异常数据。
8.根据权利要求7所述的地铁车辆数据采集处理的方法,其特征在于:在所述步骤2中现场可编程门阵列FPGA去除异常数据后,通过多重插补法将去除的数据填补。
9.根据权利要求5所述的地铁车辆数据采集处理的方法,其特征在于:在所述步骤1中,数字量输入器和模拟量输入器将采集的数据传输至所述现场可编程门阵列FPGA中。
10.根据权利要求9所述的地铁车辆数据采集处理的方法,其特征在于:所述数字量输入器直接将数据传输给所述现场可编程门阵列FPGA中,所述模拟量输入器通过所述数据选择器MUX、缓冲器BUFFER以及模数变换器ADC将数据转换为数字模式传输给所述现场可编程门阵列FPGA。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210407897.0A CN103778263B (zh) | 2012-10-23 | 2012-10-23 | 地铁车辆数据采集处理的装置和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210407897.0A CN103778263B (zh) | 2012-10-23 | 2012-10-23 | 地铁车辆数据采集处理的装置和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103778263A true CN103778263A (zh) | 2014-05-07 |
CN103778263B CN103778263B (zh) | 2017-09-05 |
Family
ID=50570498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210407897.0A Expired - Fee Related CN103778263B (zh) | 2012-10-23 | 2012-10-23 | 地铁车辆数据采集处理的装置和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103778263B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104537131A (zh) * | 2014-12-04 | 2015-04-22 | 上海卫星装备研究所 | 一种面向卫星总装过程的数据采集方法 |
CN112193279A (zh) * | 2020-09-24 | 2021-01-08 | 北京交大思诺科技股份有限公司 | 一种冗余架构的btm |
CN113469468A (zh) * | 2021-09-02 | 2021-10-01 | 杭州华网信息技术有限公司 | 一种改进插补方法的学生体能分数预测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5051920A (en) * | 1989-08-04 | 1991-09-24 | Accurate Metering Systems, Inc. | Flow-meter data collection and processing system |
CN101158856A (zh) * | 2007-12-17 | 2008-04-09 | 江苏金智科技股份有限公司 | 多通道串行模拟量的串并处理装置及方法 |
CN102136841A (zh) * | 2010-11-30 | 2011-07-27 | 浙江大学 | 高速高精度记录仪及其采样数据自校正和高位匹配方法 |
-
2012
- 2012-10-23 CN CN201210407897.0A patent/CN103778263B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5051920A (en) * | 1989-08-04 | 1991-09-24 | Accurate Metering Systems, Inc. | Flow-meter data collection and processing system |
CN101158856A (zh) * | 2007-12-17 | 2008-04-09 | 江苏金智科技股份有限公司 | 多通道串行模拟量的串并处理装置及方法 |
CN102136841A (zh) * | 2010-11-30 | 2011-07-27 | 浙江大学 | 高速高精度记录仪及其采样数据自校正和高位匹配方法 |
Non-Patent Citations (2)
Title |
---|
杨庆芳: "先进的交通管理系统关键理论与方法研究", 《中国博士学位论文全文数据库》 * |
肖静: "面向水路交通信息平台的数据处理技术与应用研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104537131A (zh) * | 2014-12-04 | 2015-04-22 | 上海卫星装备研究所 | 一种面向卫星总装过程的数据采集方法 |
CN104537131B (zh) * | 2014-12-04 | 2017-12-08 | 上海卫星装备研究所 | 一种面向卫星总装过程的数据采集方法 |
CN112193279A (zh) * | 2020-09-24 | 2021-01-08 | 北京交大思诺科技股份有限公司 | 一种冗余架构的btm |
CN113469468A (zh) * | 2021-09-02 | 2021-10-01 | 杭州华网信息技术有限公司 | 一种改进插补方法的学生体能分数预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103778263B (zh) | 2017-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106228270B (zh) | 一种大数据驱动的挤压设备的能耗预测方法及其系统 | |
CN101799674B (zh) | 一种数控装备服役状态分析方法 | |
CN103745229A (zh) | 一种基于svm的轨道交通故障诊断方法及系统 | |
CN109636171A (zh) | 一种区域植被恢复的综合诊断与风险评价方法 | |
CN102680812A (zh) | 一种产品寿命评价方法和装置 | |
CN102042848A (zh) | 基于多元混合时序分析的多性能参数加速退化试验产品寿命预测方法 | |
CN107807860B (zh) | 一种基于矩阵分解的电力故障分析方法及系统 | |
Yang et al. | Multi-dimensional scenario forecast for generation of multiple wind farms | |
CN102270302A (zh) | 一种基于灰色支持向量机的多应力加速寿命试验预测方法 | |
CN105468866A (zh) | 一种轨道车辆led驱动电源剩余寿命预测方法 | |
CN109815855B (zh) | 一种基于机器学习的电子设备自动测试方法及系统 | |
CN116933626A (zh) | 一种基于数字孪生的数据监测方法及装置 | |
CN106682835A (zh) | 一种数据驱动的复杂机电系统服役质量状态评估方法 | |
CN110361609A (zh) | 特高压设备监测系统及方法 | |
CN103778263A (zh) | 地铁车辆数据采集处理的装置和方法 | |
CN116166655B (zh) | 大数据清洗系统 | |
CN112598319A (zh) | 一种基于bim的智慧桥梁运维管理方法、系统、计算机设备及存储介质 | |
CN116961231A (zh) | 一种基于电力物联网安全管理系统 | |
CN111597663A (zh) | 融合剩余寿命经验数据的动量轮剩余寿命预测方法 | |
CN111078779A (zh) | 一种大数据数据中心运行监测系统 | |
CN202956762U (zh) | 地铁车辆数据采集处理的装置 | |
CN103578043B (zh) | 一种电网数据处理的装置、方法及系统 | |
CN100440089C (zh) | 一种基于fisher的工业过程非线性故障诊断系统及方法 | |
CN116415385A (zh) | 风机联调仿真方法、装置、服务器及计算机存储介质 | |
CN112710918A (zh) | 基于边缘计算的无线数据采集方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: Chengyang District of Shandong city of Qingdao province Jinhong road 266111 No. 88 Applicant after: CRRC QINGDAO SIFANG CO., LTD. Address before: Jihongtan town Chengyang District Shandong city Qingdao province Jinhong road 266111 No. 88 Applicant before: CSR Qingdao Sifang Locomotive and Rolling Stock Co., Ltd. |
|
COR | Change of bibliographic data | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170905 Termination date: 20201023 |
|
CF01 | Termination of patent right due to non-payment of annual fee |