CN112905571A - 一种列车轨道交通传感器数据管理方法及装置 - Google Patents

一种列车轨道交通传感器数据管理方法及装置 Download PDF

Info

Publication number
CN112905571A
CN112905571A CN202110019807.XA CN202110019807A CN112905571A CN 112905571 A CN112905571 A CN 112905571A CN 202110019807 A CN202110019807 A CN 202110019807A CN 112905571 A CN112905571 A CN 112905571A
Authority
CN
China
Prior art keywords
data
sensor data
sensor
train
target index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110019807.XA
Other languages
English (en)
Other versions
CN112905571B (zh
Inventor
刘琦
田寅
唐海川
咸晓雨
樊玉明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CRRC Industry Institute Co Ltd
Original Assignee
CRRC Industry Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CRRC Industry Institute Co Ltd filed Critical CRRC Industry Institute Co Ltd
Priority to CN202110019807.XA priority Critical patent/CN112905571B/zh
Publication of CN112905571A publication Critical patent/CN112905571A/zh
Application granted granted Critical
Publication of CN112905571B publication Critical patent/CN112905571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R19/00—Arrangements for measuring currents or voltages or for indicating presence or sign thereof
    • G01R19/0092—Arrangements for measuring currents or voltages or for indicating presence or sign thereof measuring current only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

本发明提供一种列车轨道交通传感器数据管理方法及装置。其中，该方法包括：获取列车轨道对应的传感器集群所采集的传感器数据；基于预设的数据处理模块对所述传感器数据进行清洗预处理；构建与所述传感器数据适配的数据立方体结构；对处理后的传感器数据进行存储时，在所述数据立方体结构中对应维度位置创建相应的目标索引，基于所述目标索引对存储的所述处理后的传感器数据进行管理操作。采用本发明公开的列车轨道交通传感器数据管理方法，能够通过对传感器数据进行整合处理并建立索引的方式提高数据管理的效率和准确率，从而降低故障率提高列车运行的可靠性。

Description

一种列车轨道交通传感器数据管理方法及装置
技术领域
本发明涉及计算机应用技术领域，具体涉及一种列车轨道交通传感器数据管理方法和装置。另外，还涉及一种电子设备及非暂态计算机可读存储介质。
背景技术
近年来，随着经济技术的发展，铁路运输、城市轨道交通在交通运输中起着举足轻重的作用，并在经济社会中占有极其重要的地位。尤其是，随着列车运营管理的综合化、复杂化、一体化、智能化程度也不断提高，其运行安全、数据分析及检修的高效与快速等问题正变得越来越重要。目前，许多数据感知技术可以用于轨道交通设备的智能监控系统，比如采用多个通用传感器，通过传感器信息数据的处理，快速识别可能产生故障的类别和部位，再集合大数据处理、云计算分析能力的基础上，实现轨道交通设备零部件、设备及整个系统状态的辨识与分类工作。
为获取更为精确的实时数据，通过各种类型的传感器采集设备运行的数据，数据流入采集设备后上传至云服务器。然后通过算法对其进行处理解析。这是基于传感器数据进行设备故障的监测与诊断的基本流程。通过传感器对设备进行监控，可得到设备运行的实时数据；通过对传感器数据处理的流程进行管理，有利于高效地进行设备维护。然而，目前，解决现有的轨道交通存储管理系统样式繁多，通常都存在数据管理混乱的现状。如何整合现有的智能检测接口场景并设计良好的接入、拓展模式，即形成通用数据接口以降低轨道交通智能检测与数据分析平台运营成本，极大提高设备状态监测效率成为目前业界亟待解决的需要课题。
发明内容
为此，本发明提供一种列车轨道交通传感器数据管理方法及装置，以解决现有技术中存在的数据存储方式对处理后的传感器数据管理效率较低的问题。
本发明提供一种列车轨道交通传感器数据管理方法，包括：
获取列车轨道对应的传感器集群所采集的传感器数据；
基于预设的数据处理模块对所述传感器数据进行清洗预处理；
构建与所述传感器数据适配的数据立方体结构；
对处理后的传感器数据进行存储时，在所述数据立方体结构中对应维度位置创建相应的目标索引，基于所述目标索引对存储的所述处理后的传感器数据进行管理操作。
进一步的，所述构建与所述传感器数据适配的数据立方体结构，具体包括：
基于预设的数据仓库工具表，构建包含所述处理后的传感器数据和所述目标索引的一一映射关系，生成相应的第一层弹性分布式数据集；并将第一层弹性分布式数据集作为基础数据立方体结构；
在所述基础数据立方体结构上生成相应的三层子弹性分布式数据集，形成所述数据立方体；并将所述数据立方体的映射结构存储到预设的分布式存储系统中。
进一步的，所述在所述数据立方体结构中对应维度位置创建相应的目标索引，具体包括：
根据所述传感器数据传输格式，为存储到所述数据立方体结构中相应的立方数据设计目标索引；其中，所述目标索引在维度空间上划分为时间标识信息、传感器标识信息以及设备标识信息三维。
进一步的，所述基于所述目标索引对存储的所述处理后的传感器数据进行管理操作，具体包括：基于所述目标索引对存储的所述处理后的传感器数据进行查询操作、读取操作、存储操作、传输操作、分析操作以及共享操作中的至少一种。
进一步的，所述的列车轨道交通传感器数据管理方法还包括：对所述传感器集群采集的所述传感器数据传输格式进行设计，预先设定所述传感器数据传输格式；其中，所述传感器数据封装的数据包格式具体包括起始符、设备编号、时间戳、数据长度、数据内容以及数据结束标志中的至少一种。
进一步的，所述基于预设的数据处理模块对所述传感器数据进行清洗预处理，具体包括：
基于预设的数据处理模块对获取包含所述传感器数据的数据包进行解包，并将解包数据发送到预设的算法服务器中进行数据清洗预处理操作。
进一步的，所述传感器数据包括电流传感器数据和/或振动传感器数据。
本发明还提供一种列车轨道交通传感器数据管理装置，包括：
传感器数据获取单元，用于获取列车轨道对应的传感器集群所采集的传感器数据；
数据清洗预处理单元，用于基于预设的数据处理模块对所述传感器数据进行清洗预处理操作；
数据立方体结构构建单元，用于构建与所述传感器数据适配的数据立方体结构；
存储数据管理单元，用于对处理后的传感器数据进行存储时，在所述数据立方体结构中对应维度位置创建相应的目标索引，基于所述目标索引对存储的所述处理后的传感器数据进行管理操作。
进一步的，所述数据立方体结构构建单元具体用于：
基于预设的数据仓库工具表，构建包含所述处理后的传感器数据和所述目标索引的一一映射关系，生成相应的第一层弹性分布式数据集；并将第一层弹性分布式数据集作为基础数据立方体结构；
在所述基础数据立方体结构上生成相应的三层子弹性分布式数据集，形成所述数据立方体；并将所述数据立方体的映射结构存储到预设的分布式存储系统中。
进一步的，所述存储数据管理单元，具体用于：
根据所述传感器数据传输格式，为存储到所述数据立方体结构中相应的立方数据设计目标索引；其中，所述目标索引在维度空间上划分为时间标识信息、传感器标识信息以及设备标识信息三维。
进一步的，所述存储数据管理单元，具体用于：基于所述目标索引对存储的所述处理后的传感器数据进行读取操作、存储操作、传输操作、分析操作以及共享操作中的至少一种。
进一步的，所述的列车轨道交通传感器数据管理装置还包括：格式设计单元，用于对所述传感器集群采集的所述传感器数据传输格式进行设计，预先设定所述传感器数据传输格式；其中，所述传感器数据封装的数据包格式具体包括起始符、设备编号、时间戳、数据长度、数据内容以及数据结束标志中的至少一种。
进一步的，所述数据清洗预处理单元，具体用于：
基于预设的数据处理模块对获取包含所述传感器数据的数据包进行解包，并将解包数据发送到预设的算法服务器中进行数据清洗预处理操作。
进一步的，所述传感器数据包括电流传感器数据和/或振动传感器数据。
本发明还提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任意一项所述的列车轨道交通传感器数据管理方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任意一项所述的列车轨道交通传感器数据管理方法的步骤。
采用本发明所述的列车轨道交通传感器数据管理方法，能够通过将传感器集群所采集到的振动传感器数据进行整合，利用数据处理模块实现对振动传感器数据的处理，并基于数据立方结构建立数据索引，便于对处理后的数据进行管理，提高了数据管理的效率和准确率，从而降低了列车运行的故障率提升了可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
图1为本发明实施例提供的一种列车轨道交通传感器数据管理方法的流程示意图；
图2为本发明实施例提供的一种轨道交通智能检测软件平台架构图；
图3为本发明实施例提供的一种数据立方结构示意图；
图4为本发明实施例提供的一种列车轨道交通传感器数据管理方法中基于数据立方的分布式存储架构示意图；
图5为本发明实施例提供的一种列车轨道交通传感器数据管理方法中数据立方查询过程的流程示意图；
图6为本发明实施例提供的一种列车轨道交通传感器数据管理装置的结构示意图；
图7为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
下面基于本发明所述的列车轨道交通传感器数据管理方法，对其实施例进行详细描述。如图1所示，其为本发明实施例提供的列车轨道交通传感器数据管理方法的流程图，具体实现过程包括以下步骤：
步骤101：获取列车轨道对应的传感器集群所采集的传感器数据。
如图2所示其为本发明提供的轨道交通智能检测软件平台系统整体架构图，具体可将整个平台系统分为传感器集群(即传感器与数据采集系统)以及Kubernetes(K8s开源开发平台)集群(即提供服务的云平台)两部分。整个平台系统是基于以Docker(开源的应用容器引擎)为底层方案的Kubernetes集群，使得服务可以模块化地进行部署。数据立方体结构即搭建在Kubernetes集群中的传感器数据管理模块。其中，传感器集群采集数据的具体过程如下：由传感器数据管理模块中的采集管理子模块实现与数据采集系统的命令交互，从而控制传感器数据的采集。数据采集系统收集传感器数据，整合不同传感器通道，封装数据包，将数据包以流的形式发送至平台系统中的传感器数据管理模块。该传感器数据管理模块拉取数据包，对数据包进行解包，将数据推送至算法服务器交互模块，通过算法服务器交互模块实现数据清洗整合操作。
在本步骤执行之前，需要对所述传感器集群采集的所述传感器数据传输格式进行设计，预先设定所述传感器数据传输格式，即数据处理模块的数据输入格式。所述传感器数据封装的数据包格式具体包括起始符、设备编号、时间戳、数据长度、数据内容以及数据结束标志等中的至少一种。其中，数据内容为byte类型，二进制ASCII形式。所述传感器数据包括电流传感器数据和/或振动传感器数据等。
步骤102：基于预设的数据处理模块对所述传感器数据进行清洗预处理操作。
在具体实施过程中，可基于预设的数据处理模块对获取包含所述传感器数据的数据包进行解包及缓存，并将解包数据发送到预设的算法服务器中通过调用通过振动传感器数据预定义的清洗整合流程实现数据处理操作。
步骤103：构建与所述传感器数据适配的数据立方体结构。
在本发明实施例中，所述构建与所述传感器数据适配的数据立方体结构具体实现过程可包括：基于预设的数据仓库工具表(Hive表)，构建包含所述处理后的传感器数据和所述目标索引的一一映射关系，生成相应的第一层弹性分布式数据集(RDD-1)，并将第一层弹性分布式数据集作为基础数据立方体结构(base cuboid)；在所述基础数据立方体结构上生成相应的三层子弹性分布式数据集(子RDD)，形成所述数据立方体，并将所述数据立方体的映射结构存储到预设的分布式存储系统(HBase)中。
在具体实施过程中，可使用Spark(计算引擎)构建基于弹性分布式数据集(RDD；Resilient Distributed DataSet)所描述的立方体(Cube)，立方体的集合可以描述为弹性分布式数据集。其中，三维立方体具有四个弹性分布式数据集(如图3所示)，这些弹性分布式数据集具有parent/child关系，因为parent RDD可用于生成child RDD(子RDD或者子弹性分布式数据集)。通过将parent RDD缓存在内存中，child RDD的生成过程可以比从磁盘读取更加有效。
如图4所示，其为本发明实施例提供的一种列车轨道交通传感器数据管理方法中基于数据立方的分布式存储架构示意图。
在一个完整实施例中，首先使用Spark SQL中的Hive Context读取中间Hive表，然后执行一对一映射关系的“map”操作，将原始值编码为键值对Key-value。以振动传感器数据为例，对应原始值编码为<key，{equipment，sensor，time}>。其中，sensor是根据传感器数据包内容不同分为元数据、传感器设置交互等信息{sensor_tag，payload}。举例而言<sensor_tag，heartbeat，offset_x，offset_y，offset_z，act_thresh，fifo_samples，range>。
在生成RDD-1过程中，一对一映射关系完成后即得到一个中间编码的RDD。RDD用一个“reduceByKey”操作聚合以获得图3中所提到的RDD-1，并将其作为base cuboid。
在生成三层子RDD过程中，在RDD-1上做一个“flatMap”(一对多map)，因为basecuboid有三个子cuboid。以此类推，各级RDD得到计算。在完成时，这些RDD将完整地保存在分布式存储系统，可以缓存在内存中用于下一级的计算。当生成子cuboid时，缓存的数据将从缓存中删除。Mapper过程以上一层Cuboid的结果键值对(Key-Value)作为输入。由于Key是由各维度值拼接在一起，从其中找出要聚合的维度，去掉它的值组成新的Key，并对Value进行操作，然后把新Key和Value输出，进而Hadoop MapReduce对所有新Key进行排序、洗牌(shuffle)、再送到Reducer处。Reducer的输入会是一组有相同Key的Value集合，对这些Value做聚合计算，再结合Key输出就完成了一轮计算。以存储于HDFS中的一份振动数据为例，数据由Hive表建立映射关系，Hive Context读取此映射关系建立Key-Value对，即<key，{equipment，sensor，time}>，Key即为数据立方的三个维度所对应的元数据，而后逐层向上建立映射关系，每层节点对相同键下的数据进行聚合计算，如此得到基于RDD的数据立方。进一步的，对数据立方进行存储，即将数据立方的映射结构存于HBase中。
步骤104：对处理后的传感器数据进行存储时，在所述数据立方体结构中对应维度位置创建相应的目标索引，基于所述目标索引对存储的所述处理后的传感器数据进行管理操作。
在具体实施过程中，由于轨道交通设备繁多，传感器网络结构复杂，若针对传感器的唯一标识信息(ID；Identity document)与数据进行映射，数据量大计算量大，不利于维护。根据所述传感器数据传输格式，为存储到所述数据立方体结构中相应的立方数据设计目标索引；其中，所述目标索引在维度空间上划分为时间标识信息、传感器标识信息以及设备标识信息三维。
在本发明实施例中，所述基于所述目标索引对存储的所述处理后的传感器数据进行管理操作具体包括：基于所述目标索引对存储的所述处理后的传感器数据进行查询操作、读取操作、存储操作、传输操作、分析操作以及共享操作等中的至少一种，在此不做具体限定。
其中，以查询操作为例，其实现过程具体可参考图5所示，在此不再重复赘述。
本发明提供的数据立方技术在轨道交通智能检测场景中的应用，其中，数据立方体结构是位于数据存储层和数据库系统之上的，通过数据立方解析后，可以大大增加数据查询和检索等业务，可以让系统平台具备数据实时入库、实时查询、查询结果实时传输等优势。数据立方传感器统一接入技术可以将千差万别的传感器统一接入到云平台，快速实现传感器数据的查询、读取、存储、传输、管理、分析和共享等管理操作，是智慧感知应用信息管理的实用型物联网系统。
采用本发明实施例所述的列车轨道交通传感器数据管理方法，能够通过将传感器集群所采集到的振动传感器数据进行整合，利用数据处理模块实现对振动传感器数据的处理，并基于数据立方结构建立数据索引，便于对处理后的数据进行管理，提高了数据管理的效率和准确率，从而降低了列车运行的故障率提升了可靠性。
与上述提供的一种列车轨道交通传感器数据管理方法相对应，本发明还提供一种列车轨道交通传感器数据管理装置。由于该装置的实施例相似于上述方法实施例，所以描述得比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的列车轨道交通传感器数据管理装置的实施例仅是示意性的。请参考图6所示，其为本发明实施例提供的一种列车轨道交通传感器数据管理装置的结构示意图。
本发明所述的一种列车轨道交通传感器数据管理装置具体包括如下部分：
传感器数据获取单元601，用于获取列车轨道对应的传感器集群所采集的传感器数据；
数据清洗预处理单元602，用于基于预设的数据处理模块对所述传感器数据进行清洗预处理；
数据立方体结构构建单元603，用于构建与所述传感器数据适配的数据立方体结构；
存储数据管理单元604，用于对处理后的传感器数据进行存储时，在所述数据立方体结构中对应维度位置创建相应的目标索引，基于所述目标索引对存储的所述处理后的传感器数据进行管理操作。
采用本发明实施例所述的列车轨道交通传感器数据管理装置，能够通过将传感器集群所采集到的振动传感器数据进行整合，利用数据处理模块实现对振动传感器数据的处理，并基于数据立方结构建立数据索引，便于对处理后的数据进行管理，提高了数据管理的效率和准确率，从而降低了列车运行的故障率提升了可靠性。
与上述提供的列车轨道交通传感器数据管理方法相对应，本发明还提供一种电子设备。由于该电子设备的实施例相似于上述方法实施例，所以描述得比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的电子设备仅是示意性的。如图7所示，其为本发明实施例公开的一种电子设备的实体结构示意图。该电子设备可以包括：处理器(processor)701、存储器(memory)702和通信总线703，其中，处理器701，存储器702通过通信总线703完成相互间的通信。处理器701可以调用存储器702中的逻辑指令，以执行列车轨道交通传感器数据管理方法，该方法包括：获取列车轨道对应的传感器集群所采集的传感器数据；基于预设的数据处理模块对所述传感器数据进行清洗整合处理；构建与所述传感器数据适配的数据立方体结构；对处理后的传感器数据进行存储时，在所述数据立方体结构中对应维度位置创建相应的目标索引，基于所述目标索引对存储的所述处理后的传感器数据进行管理操作。
此外，上述的存储器702中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的列车轨道交通传感器数据管理方法，该方法包括：获取列车轨道对应的传感器集群所采集的传感器数据；基于预设的数据处理模块对所述传感器数据进行清洗预处理；构建与所述传感器数据适配的数据立方体结构；对处理后的传感器数据进行存储时，在所述数据立方体结构中对应维度位置创建相应的目标索引，基于所述目标索引对存储的所述处理后的传感器数据进行管理操作。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的列车轨道交通传感器数据管理方法，该方法包括：获取列车轨道对应的传感器集群所采集的传感器数据；基于预设的数据处理模块对所述传感器数据进行清洗整合处理；构建与所述传感器数据适配的数据立方体结构；对处理后的传感器数据进行存储时，在所述数据立方体结构中对应维度位置创建相应的目标索引，基于所述目标索引对存储的所述处理后的传感器数据进行管理操作。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种列车轨道交通传感器数据管理方法，其特征在于，包括：
获取列车轨道对应的传感器集群所采集的传感器数据；
基于预设的数据处理模块对所述传感器数据进行清洗预处理；
构建与所述传感器数据适配的数据立方体结构；
对处理后的传感器数据进行存储时，在所述数据立方体结构中对应维度位置创建相应的目标索引，基于所述目标索引对存储的所述处理后的传感器数据进行管理操作。
2.根据权利要求1所述的列车轨道交通传感器数据管理方法，其特征在于，所述构建与所述传感器数据适配的数据立方体结构，具体包括：
基于预设的数据仓库工具表，构建包含所述处理后的传感器数据和所述目标索引的一一映射关系，生成相应的第一层弹性分布式数据集；并将第一层弹性分布式数据集作为基础数据立方体结构；
在所述基础数据立方体结构上生成相应的三层子弹性分布式数据集，形成所述数据立方体；并将所述数据立方体的映射结构存储到预设的分布式存储系统中。
3.根据权利要求1所述的列车轨道交通传感器数据管理方法，其特征在于，所述在所述数据立方体结构中对应维度位置创建相应的目标索引，具体包括：
根据所述传感器数据传输格式，为存储到所述数据立方体结构中相应的立方数据设计目标索引；其中，所述目标索引在维度空间上划分为时间标识信息、传感器标识信息以及设备标识信息三维。
4.根据权利要求1所述的列车轨道交通传感器数据管理方法，其特征在于，所述基于所述目标索引对存储的所述处理后的传感器数据进行管理操作，具体包括：基于所述目标索引对存储的所述处理后的传感器数据进行查询操作、读取操作、存储操作、传输操作、分析操作以及共享操作中的至少一种。
5.根据权利要求1所述的列车轨道交通传感器数据管理方法，其特征在于，还包括：对所述传感器集群采集的所述传感器数据传输格式进行设计，预先设定所述传感器数据传输格式；其中，所述传感器数据封装的数据包格式具体包括起始符、设备编号、时间戳、数据长度、数据内容以及数据结束标志中的至少一种。
6.根据权利要求1所述的列车轨道交通传感器数据管理方法，其特征在于，所述基于预设的数据处理模块对所述传感器数据进行清洗预处理，具体包括：
基于预设的数据处理模块对获取包含所述传感器数据的数据包进行解包，并将解包数据发送到预设的算法服务器中进行数据清洗预处理操作。
7.根据权利要求1所述的列车轨道交通传感器数据管理方法，其特征在于，所述传感器数据包括电流传感器数据和/或振动传感器数据。
8.一种列车轨道交通传感器数据管理装置，其特征在于，包括：
传感器数据获取单元，用于获取列车轨道对应的传感器集群所采集的传感器数据；
数据清洗预处理单元，用于基于预设的数据处理模块对所述传感器数据清洗预处理；
数据立方体结构构建单元，用于构建与所述传感器数据适配的数据立方体结构；
存储数据管理单元，用于对处理后的传感器数据进行存储时，在所述数据立方体结构中对应维度位置创建相应的目标索引，基于所述目标索引对存储的所述处理后的传感器数据进行管理操作。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任意一项所述的列车轨道交通传感器数据管理方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7任意一项所述的列车轨道交通传感器数据管理方法的步骤。
CN202110019807.XA 2021-01-07 2021-01-07 一种列车轨道交通传感器数据管理方法及装置 Active CN112905571B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110019807.XA CN112905571B (zh) 2021-01-07 2021-01-07 一种列车轨道交通传感器数据管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110019807.XA CN112905571B (zh) 2021-01-07 2021-01-07 一种列车轨道交通传感器数据管理方法及装置

Publications (2)

Publication Number Publication Date
CN112905571A true CN112905571A (zh) 2021-06-04
CN112905571B CN112905571B (zh) 2024-03-19

Family

ID=76112289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110019807.XA Active CN112905571B (zh) 2021-01-07 2021-01-07 一种列车轨道交通传感器数据管理方法及装置

Country Status (1)

Country Link
CN (1) CN112905571B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115862183A (zh) * 2023-02-28 2023-03-28 禾多科技（北京）有限公司 传感器特征工程信息构建方法、装置、设备和计算机介质
US20230401191A1 (en) * 2022-06-09 2023-12-14 Sap Se Storage and retrieval of heterogenous sensor data

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140137894A (ko) * 2013-05-24 2014-12-03 한국전자통신연구원 센서 데이터 저장관리 장치
CN106682168A (zh) * 2016-12-27 2017-05-17 浙江大学 一种跨域城市数据可视查询系统的构建方法
CN108009290A (zh) * 2017-12-25 2018-05-08 国电南瑞科技股份有限公司 一种轨道交通指挥中心线网大数据的数据建模和存储方法
US20180191195A1 (en) * 2015-06-29 2018-07-05 Siemens Aktiengesellschaft Method for operating a network having multiple node devices, and network
CN110457316A (zh) * 2019-06-27 2019-11-15 四川工商学院 一种大规模数据集的Skyline查询方法及其系统
CN112181980A (zh) * 2020-09-16 2021-01-05 武汉大学 一种面向大规模分析的时空大数据立方体组织方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140137894A (ko) * 2013-05-24 2014-12-03 한국전자통신연구원 센서 데이터 저장관리 장치
US20180191195A1 (en) * 2015-06-29 2018-07-05 Siemens Aktiengesellschaft Method for operating a network having multiple node devices, and network
CN106682168A (zh) * 2016-12-27 2017-05-17 浙江大学 一种跨域城市数据可视查询系统的构建方法
CN108009290A (zh) * 2017-12-25 2018-05-08 国电南瑞科技股份有限公司 一种轨道交通指挥中心线网大数据的数据建模和存储方法
CN110457316A (zh) * 2019-06-27 2019-11-15 四川工商学院 一种大规模数据集的Skyline查询方法及其系统
CN112181980A (zh) * 2020-09-16 2021-01-05 武汉大学 一种面向大规模分析的时空大数据立方体组织方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MEGHANATHAN, N.: "An eigenvector centrality-based mobile target tracking algorithm for wireless sensor networks", 《INTERNATIONAL JOURNAL OF MOBILE NETWORK DESIGN AND INNOVATION 》, 11 May 2017 (2017-05-11), pages 202 - 11 *
刘建委;赵驰;唐忠诚;刘琼;: "城市轨道交通线网全文检索系统的设计与实现", 城市轨道交通研究, no. 12, 10 December 2015 (2015-12-10), pages 158 - 162 *
王雪莹: "基于用户认知的高速公路信息可视化设计研究", 《中国优秀硕士论文电子期刊网》, 15 April 2020 (2020-04-15), pages 034 - 279 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230401191A1 (en) * 2022-06-09 2023-12-14 Sap Se Storage and retrieval of heterogenous sensor data
CN115862183A (zh) * 2023-02-28 2023-03-28 禾多科技（北京）有限公司 传感器特征工程信息构建方法、装置、设备和计算机介质

Also Published As

Publication number Publication date
CN112905571B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN103023970B (zh) 一种物联网海量数据存储方法及系统
EP2674875B1 (en) Method, controller, program and data storage system for performing reconciliation processing
CN111586091B (zh) 一种实现算力组配的边缘计算网关系统
CN112905571B (zh) 一种列车轨道交通传感器数据管理方法及装置
CN110019267A (zh) 一种元数据更新方法、装置、系统、电子设备及存储介质
WO2022169784A1 (en) Systems and methods for data analytics
CN111258978A (zh) 一种数据存储的方法
CN107330017A (zh) 一种基于主题实例的电力海量数据存储和查询统计分析方法及其系统
CN104820700B (zh) 变电站非结构化数据的处理方法
CN107679127A (zh) 基于地理位置的点云信息并行提取方法及其系统
EP2208317A2 (en) Compressing null columns in rows of the tabular data stream protocol
JP2023531751A (ja) 車載データ記憶方法およびシステム
CN117201646A (zh) 一种电力物联终端报文的深度解析方法
CN116866422A (zh) 实时推送涉敏信息并脱敏的方法、装置、设备及存储介质
US11741133B1 (en) System and method for information management
CN114070718B (zh) 一种告警方法、装置和存储介质
CN114296785A (zh) 一种日志数据建模方法及系统
CN114153695A (zh) 一种基于Android的松耦合、高扩展性无埋点数据采集方法
Liu et al. Distributed and real-time query framework for processing participatory sensing data streams
CN112104684A (zh) 一种基于物联网的平台管理系统
JP7433335B2 (ja) 移動中のデータの処理技術
CN115859911B (zh) 适应数据动态变化下的标签自动生成演进方法、装置
Klipa et al. BIG DATA AND ARTIFICIAL INTELLIGENCE
CN113569122B (zh) 一种地图瓦片数据爬虫的识别方法及系统
Chakroun et al. Distributing intelligence for object detection using edge computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant