CN105955713A - 基于样条插值与数据并行的数据处理方法 - Google Patents

基于样条插值与数据并行的数据处理方法 Download PDF

Info

Publication number
CN105955713A
CN105955713A CN201610305743.9A CN201610305743A CN105955713A CN 105955713 A CN105955713 A CN 105955713A CN 201610305743 A CN201610305743 A CN 201610305743A CN 105955713 A CN105955713 A CN 105955713A
Authority
CN
China
Prior art keywords
data
thread
subset
data subset
parallel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610305743.9A
Other languages
English (en)
Other versions
CN105955713B (zh
Inventor
崔彦军
马艳东
王志强
董佳
梅欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute Of Applied Mathematics Hebei Academy Of Sciences
Original Assignee
Institute Of Applied Mathematics Hebei Academy Of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute Of Applied Mathematics Hebei Academy Of Sciences filed Critical Institute Of Applied Mathematics Hebei Academy Of Sciences
Priority to CN201610305743.9A priority Critical patent/CN105955713B/zh
Publication of CN105955713A publication Critical patent/CN105955713A/zh
Application granted granted Critical
Publication of CN105955713B publication Critical patent/CN105955713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Complex Calculations (AREA)

Abstract

本发明提供一种基于样条插值与数据并行的数据处理方法，包括：将原始监测数据集按顺序分割为Q个数据子集，对于每个数据子集，采用唯一对应的线程进行处理，处理方法为：对于被处理的数据子集，生成三次样条函数；在其样条曲线上，等间距采集数据点，形成新的数据子集；再用原数据子集标志数据点替换新的数据子集对应位置的数据点，形成处理后数据子集。将各线程处理后的数据子集拼接成最终数据集。本发明提供的基于样条插值与数据并行的数据处理方法具有以下优点：不论输入的原始监测数据的维数大于期望数据维数，还是小于预期数据维数，均可以高效快速的将原始监测数据的维数调整到期望数据维数，并且还能最大程度的保留原始数据所蕴含的信息。

Description

基于样条插值与数据并行的数据处理方法
技术领域
本发明属于数据处理技术领域，具体涉及一种基于样条插值与数据并行的数据处理方法。
背景技术
微机监测系统是保证列车安全运行、监测各信号设备运行状态的重要设备，微机监测系统通过对采集到的信号设备监测数据进行分析，可及时发现信号设备运行中的安全隐患，也可以分析各信号设备运行过程中产生故障的原因，从而指导现场维修，提高信号部门维修水平和故障处理效率。
然而，受信号设备自身健康状况的变化、环境因素的干扰以及其他未知因素的影响，由微机监测系统采集到的信号设备监测数据的维数有可能有较大的变化，例如，对于道岔启动电流，在某个连续时间段，可能采集到700个位于不同时间点的道岔启动电流数据，即：该连续时间段所对应的道岔启动电流数据的维数是700；而在另一连续时间段，可能采集到2000个位于不同时间点的道岔启动电流数据，即：该连续时间段所对应的道岔启动电流数据的维数是2000；经实践证明，在不同的连续时间段，道岔启动电流的数据维数可能在700-3000的范围内变化。
然而，微机监测系统对采集到的信号设备监测数据进行分析时，普遍采用智能算法模型，例如神经网络、深度学习，或其他人工智能算法。上述智能算法模型基本都要求输入数据的维数固定不变。否则，会给模型的建立、算法的实现带来很大的困难。
因此，对于微机监测系统采集到的维数不固定的原始监测数据，如何在尽量保留原始监测数据所包含的信息的前提下，使其数据维数调整到固定维数，从而能够输入到智能算法模型中，具有重要现实意义，现有技术中尚未出现有效的解决方案。
发明内容
针对现有技术存在的缺陷，本发明提供一种基于样条插值与数据并行的数据处理方法，可有效解决上述问题。
本发明采用的技术方案如下：
本发明提供一种基于样条插值与数据并行的数据处理方法，包括以下步骤：
步骤1，设定目标维数，其值为M；设定并行线程数，其值为Q；将Q个并行线程依次记为线程1、线程2、…、线程Q；
步骤2，接收待处理的原始监测数据集；
步骤3，将所述原始监测数据集按顺序分割为Q个数据子集，将Q个数据子集按顺序依次记为数据子集P1、数据子集P2、…、数据子集PQ；
步骤4，将数据子集P1分配给线程1；将数据子集P2分配给线程2；依此类推，将数据子集PQ分配给线程Q；
另外，分别设定线程1、线程2、…、线程Q需取样的取样点数，将取样点数依次记为U1、U2、…、UQ，使U1+U2+…+UQ＝M；
步骤5，并行运行线程1、线程2、…、线程Q；
其中，对于任意的线程i，其采用以下方式对数据子集Pi进行处理，其中，i∈(1、2、…、Q)：
步骤5.1，假设数据子集Pi共包括b个数据，按顺序排列依次为数据X1、数据X2、…、数据Xb；以数据X1、数据X2、…、数据Xb为节点，生成数据X1、数据X2、…、数据Xb的三次样条函数fi(x)；
步骤5.2，在三次样条函数fi(x)所对应的样条曲线上，等间距采集Ui个数据点，形成新的数据子集Pi’；
步骤5.3，分析数据子集Pi，定位到数据子集Pi中的标志数据点及其第1位置信息；
然后，在新的数据子集Pi’中，定位到与第1位置信息最为接近的第1’位置信息；最后，将新的数据子集Pi’中第1’位置信息所对应的数据替换为数据子集Pi第1位置的标志数据，从而形成数据子集Pi”；
步骤6，因此，线程1、线程2、…、线程Q分别对数据子集P1、数据子集P2、…、数据子集PQ进行处理后，形成数据子集P1”、数据子集P2”、…、数据子集PQ”；
将数据子集P1”、数据子集P2”、…、数据子集PQ”按次序依次拼接成最终数据集；该最终数据集即为维数为目标维数M且最大程度的保留原始数据所蕴含的信息的数据集。
优选的，步骤4中，采用以下方法设定各个线程所对应的取样点数：
如果Q能被M整除，则线程1、线程2、…、线程Q需取样的取样点数均相同，值为M/Q；
如果Q不能被M整除，则令M/Q的整数部分为T1，余数部分为T2；随机选择T2个线程，为所述T2个线程设定需取样的取样点数为T1+1；为其余线程设定需取样的取样点数为T1。
优选的，步骤5.3中，所述标志数据点包括数据子集Pi中的最大值数据点、最小值数据点和零值数据点；
所述第1位置信息是指：数据子集Pi共包括b个数据，假设标志数据点为第a个数据点，则其第1位置信息等于a/b。
本发明提供的基于样条插值与数据并行的数据处理方法具有以下优点：
可快速高效的将原始监测数据的维数调整到期望数据维数，并且还能最大程度的保留原始数据所蕴含的信息。
附图说明
图1为本发明提供的基于样条插值与数据并行的数据处理方法的流程示意图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
结合图1，本发明提供一种基于样条插值与数据并行的数据处理方法，包括以下步骤：
步骤1，设定目标维数，其值为M；设定并行线程数，其值为Q；将Q个并行线程依次记为线程1、线程2、…、线程Q；
步骤2，接收待处理的原始监测数据集；
步骤3，将所述原始监测数据集按顺序分割为Q个数据子集，将Q个数据子集按顺序依次记为数据子集P1、数据子集P2、…、数据子集PQ；
步骤4，将数据子集P1分配给线程1；将数据子集P2分配给线程2；依此类推，将数据子集PQ分配给线程Q；
另外，分别设定线程1、线程2、…、线程Q需取样的取样点数，将取样点数依次记为U1、U2、…、UQ，使U1+U2+…+UQ＝M；
本步骤中，为充分利用各个线程，使各线程的负载尽量均衡，可采用以下方法设定各个线程所对应的取样点数：如果Q能被M整除，则线程1、线程2…线程Q需取样的取样点数均相同，值为M/Q；
如果Q不能被M整除，则令M/Q的整数部分为T1，余数部分为T2；随机选择T2个线程，为所述T2个线程设定需取样的取样点数为T1+1；为其余线程设定需取样的取样点数为T1。
例如，如果线程数量Q为5个，目标维数M为800，则每个线程需取样的取样点数均为160个；
如果线程数量Q为5个，目标维数M为803，则可选择线程1、线程2和线程3，其需取样的取样点数为161；线程4和线程5需取样的取样点数为160。
步骤5，并行运行线程1、线程2、…、线程Q；
其中，对于任意的线程i，其采用以下方式对数据子集Pi进行处理，其中，i∈(1、2、…、Q)：
步骤5.1，假设数据子集Pi共包括b个数据，按顺序排列依次为数据X1、数据X2、…、数据Xb；以数据X1、数据X2、…、数据Xb为节点，生成数据X1、数据X2、…、数据Xb的三次样条函数fi(x)；
步骤5.2，在三次样条函数fi(x)所对应的样条曲线上，等间距采集Ui个数据点，形成新的数据子集Pi’；
步骤5.3，分析数据子集Pi，定位到数据子集Pi中的标志数据点及其第1位置信息；
然后，在新的数据子集Pi’中，定位到与第1位置信息最为接近的第1’位置信息；最后，将新的数据子集Pi’中第1’位置信息所对应的数据替换为数据子集Pi第1位置的标志数据，从而形成数据子集Pi”；
本步骤中，标志数据点包括但不限于数据子集Pi中的最大值数据点、最小值数据点和零值数据点；具体选择何种类型的数据点作为标志数据点，根据实际需求而定。
步骤6，因此，线程1、线程2、…、线程Q分别对数据子集P1、数据子集P2、…、数据子集PQ进行处理后，形成数据子集P1”、数据子集P2”、…、数据子集PQ”；
将数据子集P1”、数据子集P2”、…、数据子集PQ”按次序依次拼接成最终数据集；该最终数据集即为维数为目标维数M且最大程度的保留原始数据所蕴含的信息的数据集。
因此，本发明提供的基于样条插值与数据并行的数据处理方法具有以下优点：
不论输入的原始监测数据的维数大于期望数据维数，还是小于预期数据维数，均可以高效快速的将原始监测数据的维数调整到期望数据维数，并且还能最大程度的保留原始数据所蕴含的信息。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (3)

1.一种基于样条插值与数据并行的数据处理方法，其特征在于，包括以下步骤：
步骤1，设定目标维数，其值为M；设定并行线程数，其值为Q；将Q个并行线程依次记为线程1、线程2、…、线程Q；
步骤2，接收待处理的原始监测数据集；
步骤3，将所述原始监测数据集按顺序分割为Q个数据子集，将Q个数据子集按顺序依次记为数据子集P1、数据子集P2、…、数据子集PQ；
步骤4，将数据子集P1分配给线程1；将数据子集P2分配给线程2；依此类推，将数据子集PQ分配给线程Q；
另外，分别设定线程1、线程2、…、线程Q需取样的取样点数，将取样点数依次记为U1、U2、…、UQ，使U1+U2+…+UQ＝M；
步骤5，并行运行线程1、线程2、…、线程Q；
其中，对于任意的线程i，其采用以下方式对数据子集Pi进行处理，其中，i∈(1、2、…、Q)：
步骤5.1，假设数据子集Pi共包括b个数据，按顺序排列依次为数据X1、数据X2、…、数据Xb；以数据X1、数据X2、…、数据Xb为节点，生成数据X1、数据X2、…、数据Xb的三次样条函数fi(x)；
步骤5.2，在三次样条函数fi(x)所对应的样条曲线上，等间距采集Ui个数据点，形成新的数据子集Pi’；
步骤5.3，分析数据子集Pi，定位到数据子集Pi中的标志数据点及其第1位置信息；
然后，在新的数据子集Pi’中，定位到与第1位置信息最为接近的第1’位置信息；最后，将新的数据子集Pi’中第1’位置信息所对应的数据替换为数据子集Pi第1位置的标志数据，从而形成数据子集Pi”；
步骤6，因此，线程1、线程2、…、线程Q分别对数据子集P1、数据子集P2、…、数据子集PQ进行处理后，形成数据子集P1”、数据子集P2”、…、数据子集PQ”；
将数据子集P1”、数据子集P2”、…、数据子集PQ”按次序依次拼接成最终数据集；该最终数据集即为维数为目标维数M且最大程度的保留原始数据所蕴含的信息的数据集。
2.根据权利要求1所述的基于样条插值与数据并行的数据处理方法，其特征在于，步骤4中，采用以下方法设定各个线程所对应的取样点数：
如果Q能被M整除，则线程1、线程2、…、线程Q需取样的取样点数均相同，值为M/Q；
如果Q不能被M整除，则令M/Q的整数部分为T1，余数部分为T2；随机选择T2个线程，为所述T2个线程设定需取样的取样点数为T1+1；为其余线程设定需取样的取样点数为T1。
3.根据权利要求1所述的基于样条插值与数据并行的数据处理方法，其特征在于，步骤5.3中，所述标志数据点包括数据子集Pi中的最大值数据点、最小值数据点和零值数据点；
所述第1位置信息是指：数据子集Pi共包括b个数据，假设标志数据点为第a个数据点，则其第1位置信息等于a/b。
CN201610305743.9A 2016-05-10 2016-05-10 基于样条插值与数据并行的数据处理方法 Active CN105955713B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610305743.9A CN105955713B (zh) 2016-05-10 2016-05-10 基于样条插值与数据并行的数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610305743.9A CN105955713B (zh) 2016-05-10 2016-05-10 基于样条插值与数据并行的数据处理方法

Publications (2)

Publication Number Publication Date
CN105955713A true CN105955713A (zh) 2016-09-21
CN105955713B CN105955713B (zh) 2018-04-03

Family

ID=56914211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610305743.9A Active CN105955713B (zh) 2016-05-10 2016-05-10 基于样条插值与数据并行的数据处理方法

Country Status (1)

Country Link
CN (1) CN105955713B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116628446A (zh) * 2023-05-24 2023-08-22 成都工业职业技术学院 基于聚类算法的道岔健康度标准值智能分析方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609393A (zh) * 2012-02-08 2012-07-25 浪潮(北京)电子信息产业有限公司 一种线性方程组的数据处理方法及装置
CN102880597A (zh) * 2012-09-28 2013-01-16 用友软件股份有限公司 用于计算机系统的多维数据生成装置和多维数据生成方法
CN103049246A (zh) * 2012-12-05 2013-04-17 北京奇虎科技有限公司 一种矩阵数据元素标识连续化方法和系统
US20140149716A1 (en) * 2010-12-29 2014-05-29 University Of New Brunswick Systems and method for assigning executable functions to available processors in a multiprocessing environment
CN104391679A (zh) * 2014-11-18 2015-03-04 浪潮电子信息产业股份有限公司 一种非规则流中高维数据流的gpu处理方法
CN104794128A (zh) * 2014-01-20 2015-07-22 阿里巴巴集团控股有限公司 数据处理方法和装置
CN105224291A (zh) * 2015-09-29 2016-01-06 北京奇艺世纪科技有限公司 一种数据处理方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140149716A1 (en) * 2010-12-29 2014-05-29 University Of New Brunswick Systems and method for assigning executable functions to available processors in a multiprocessing environment
CN102609393A (zh) * 2012-02-08 2012-07-25 浪潮(北京)电子信息产业有限公司 一种线性方程组的数据处理方法及装置
CN102880597A (zh) * 2012-09-28 2013-01-16 用友软件股份有限公司 用于计算机系统的多维数据生成装置和多维数据生成方法
CN103049246A (zh) * 2012-12-05 2013-04-17 北京奇虎科技有限公司 一种矩阵数据元素标识连续化方法和系统
CN104794128A (zh) * 2014-01-20 2015-07-22 阿里巴巴集团控股有限公司 数据处理方法和装置
CN104391679A (zh) * 2014-11-18 2015-03-04 浪潮电子信息产业股份有限公司 一种非规则流中高维数据流的gpu处理方法
CN105224291A (zh) * 2015-09-29 2016-01-06 北京奇艺世纪科技有限公司 一种数据处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马艳东: ""—种基于AutoEncoder的RBF神经网络训练算法"", 《中国科技信息》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116628446A (zh) * 2023-05-24 2023-08-22 成都工业职业技术学院 基于聚类算法的道岔健康度标准值智能分析方法及系统

Also Published As

Publication number Publication date
CN105955713B (zh) 2018-04-03

Similar Documents

Publication Publication Date Title
CN103714150B (zh) 配电网拓扑模型可视化纠错方法
Shushpanov et al. Towards the flexible distribution networks design using the reliability performance metric
CN107798395A (zh) 一种电网事故信号自动诊断方法及系统
CN104992147A (zh) 一种基于快慢结合云计算环境的深度学习的车牌识别方法
CN104133143B (zh) 一种基于Hadoop云计算平台的电网线路故障诊断系统及方法
CN104518927A (zh) 数据中心网络中错误连线的检测方法及装置
CN102904333B (zh) 一种电网备自投仿真方法
DE102017208293A1 (de) Industrielle Einrichtungsverwaltungssysteme und Verfahren dafür
CN106097161A (zh) 水务管理系统及其数据处理方法
CN103208194A (zh) 一种城市交通信号协同控制系统
CN102820706B (zh) 智能化变电站智能告警及辅助决策的实现方法及装置
EP3239908A1 (de) Vorrichtung für wahrscheinlichkeitsvorhersagen, mit einer solchen einrichtung ausgestattetes energieübertragungs- und/oder energieverteilnetz und verfahren für dessen betrieb
CN107679089A (zh) 一种用于电力传感数据的清洗方法、装置和系统
CN103164779A (zh) 一种电力系统数据的处理方法及装置
CN106228280A (zh) 电网运行监控信息辨识分类系统
CN106570775A (zh) 电网故障预案联合编制方法及装置
CN112763963A (zh) 一种基于深度网络对互感器进行在线监控的系统及方法
CN104572329B (zh) 一种故障确定方法及装置
Assaf et al. An anomaly detection and explainability framework using convolutional autoencoders for data storage systems
WO2014141837A1 (ja) ノウハウ可視化装置及びノウハウ可視化方法
CN110263622A (zh) 列车火情监测方法、装置、终端及存储介质
CN105955713A (zh) 基于样条插值与数据并行的数据处理方法
CN103632414B (zh) 一种地铁列车信号系统在线监测与预警的装置
Calabrese et al. Components monitoring and intelligent diagnosis tools for Prognostic Health Management approach
CN105512801A (zh) 一种输电设备状态评估方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Wang Zhiqiang

Inventor after: Cui Yanjun

Inventor after: Ma Yandong

Inventor after: Dong Jia

Inventor after: Mei Huan

Inventor before: Cui Yanjun

Inventor before: Ma Yandong

Inventor before: Wang Zhiqiang

Inventor before: Dong Jia

Inventor before: Mei Huan