CN110187829A - 一种数据处理方法、装置、系统及电子设备 - Google Patents

Abstract

本发明公开了一种数据处理方法、装置、系统及电子设备。该数据处理方法包括如下步骤：接收任务调度模块从分布式消息队列中调度的上传事件；上传事件包括第一存储路径的信息；根据第一存储路径的信息，从分布式存储子系统的第一存储路径下获取原始信号数据；将原始信号数据处理为预设格式的数据；将预设格式的数据存储至分布式存储子系统的第二存储路径下，第二存储路径与第一存储路径的存储路径不同。该方法通过对车辆自动驾驶待处理的信号数据进行分布式云存储和云计算，满足了海量数据处理的要求，且实现了规范化存储；同时，经过处理的数据采用格式自解释，数据字段和数据路径存储于元数据管理子系统中，便于技术人员在后续工作的调用和处理。

Description

一种数据处理方法、装置、系统及电子设备

技术领域

本发明涉及分布式存储和计算领域，特别涉及一种数据处理方法、装置、系统及电子设备。

背景技术

电动汽车在行驶中会产生大量的内部信号数据，相当一部分与自动驾驶系统或自动辅助驾驶系统相关。这些数据具备如下特点：一是数据量大，该数据产生的周期在几毫秒至几十毫秒之间；二是数据种类多，该数据信号来自于汽车内部各个模块，接收装置有若干种，产生的数据也对应分为若干种；三是数据格式复杂，这些数据的字段有近千个，一般采用二进制保存，原始数据需要专业工具来解析；四是数据可能来源于多辆汽车；五是数据的字段变化频繁。

在现有技术中，一般将车辆中的自动驾驶信号数据导入机械硬盘中，技术人员将机械硬盘中的车辆自动驾驶信号数据导入电脑，使用专业工具进行解析和分析，但此种数据处理的方法存在诸多不足，如：车辆的数据较多，且存在软件版本的不同时，大量的数据不便于管理；同一辆车在不同时段的数据不便于管理；车辆内部不同类型的数据不便于管理；大量的原始信号数据在一台电脑上进行解析和分析，耗费大量时间，处理效率低；经过处理的数据共享性差，不利于其他技术人员快速获取并进行进一步的分析和处理。

发明内容

本发明实施例的目的是提供一种数据处理方法、装置、系统及电子设备，通过对车辆自动驾驶待处理的信号数据进行分布式云存储和分布式云计算，解决了传统的数据处理方式单一，数据处理速度慢、效率低，耗费时间长，无法满足海量数据处理的要求；原始信号数据和处理后的数据均按照一定规定对文件路径进行规范，使得多车辆、多时间、多版本、多类型的数据实现规范化存储，便于技术人员在后续工作中调用与查看；经过处理的数据采用格式自解释，该数据的数据字段和数据路径存储于元信息存储子系统中，便于技术人员在后续工作的调用和处理。

为解决上述技术问题，本发明实施例的第一方面提供了一种数据处理方法，包括如下步骤：

接收任务调度模块从分布式消息队列中调度的上传事件；所述上传事件是车载客户端将其原始信号数据存储至分布式存储子系统的第一存储路径下以后，发送至所述分布式消息队列中，所述上传事件包括所述第一存储路径的信息；

根据所述第一存储路径的信息，从所述分布式存储子系统的第一存储路径下获取所述原始信号数据；

将所述原始信号数据处理为预设格式的数据；

将所述预设格式的数据存储至所述分布式存储子系统的第二存储路径下，所述第二存储路径与所述第一存储路径的存储路径不同。

进一步地，所述预设格式的数据为Parquet格式。

进一步地，所述将所述原始信号数据处理为预设格式的数据，包括：

对所述原始信号数据进行至少包括数据解析、完整性检验、非法记录过滤、同步和采样的操作。

进一步地，对所述原始信号数据进行处理的结果还包括所述原始信号数据的元信息；

其中，所述方法还包括：

将所述原始信号数据的元信息存储至元数据管理子系统。

进一步地，所述原始信号数据，包括：未经处理的原始信号数据和处理失败的原始信号数据。

本发明实施例的第二方面提供了一种数据处理装置，包括：

获取模块，包括路径信息获取单元和数据获取单元，

所述路径信息获取单元用于接收任务调度模块从分布式消息队列中调度的上传事件；所述上传事件是车载客户端将其原始信号数据存储至分布式存储子系统的第一存储路径下以后，发送至所述分布式消息队列中，所述上传事件包括所述第一存储路径的信息；

所述数据获取单元用于根据所述第一存储路径的信息，从所述分布式存储子系统的第一存储路径下获取所述原始信号数据；

数据处理模块，用于将所述原始信号数据处理为预设格式的数据；

发送模块，用于将所述预设格式的数据存储至所述分布式存储子系统的第二存储路径下，所述第二存储路径与所述第一存储路径的存储路径不同。

进一步地，所述预设格式的数据为Parquet格式。

进一步地，所述数据处理模块包括：

数据处理单元，用于对所述原始信号数据进行至少包括数据解析、完整性检验、非法记录过滤、同步和采样的操作。

进一步地，对所述原始信号数据进行数据处理的结果还包括所述原始信号数据的元信息；

其中，所述发送模块还用于，将所述原始信号数据的元信息发送至元数据管理子系统以进行存储。

进一步地，所述原始信号数据，包括：未经处理的原始信号数据和处理失败的原始信号数据。

本发明实施例的第三方面提供了一种数据处理系统，包括上述任一种数据处理装置，还包括分布式存储子系统；所述数据处理装置将从所述分布式存储子系统获取的原始信号数据处理为预设格式的数据，并将所述预设格式的数据存储至所述分布式存储子系统的第二存储路径下。

进一步地，所述数据处理系统还包括：分布式消息队列和任务调度模块；

所述分布式消息队列，用于接收车载客户端发送的上传事件，所述上传事件是车载客户端将其原始信号数据存储至所述分布式存储子系统的第一存储路径下以后，发送至所述分布式消息队列中；所述上传事件包括所述第一存储路径的信息，所述第一存储路径与所述第二存储路径的存储路径不同；

所述任务调度模块，用于按照预设方式从所述分布式消息队列中调度所述上传事件，使得所述数据处理装置能够基于所述上传事件从所述分布式存储子系统中获取对应的所述原始信号数据。

进一步地，所述数据处理系统还包括：元数据管理子系统，用于存储所述原始信号数据的元信息，所述元信息是所述数据处理模块对所述原始信号数据处理得到。

本发明实施例的第四方面提供了一种计算机存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项数据处理方法中的步骤。

本发明实施例的第五方面提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项数据处理方法的步骤。

本发明实施例的上述技术方案具有如下有益的技术效果：

通过对车辆自动驾驶待处理的信号数据进行分布式云存储和分布式云计算，解决了传统的数据处理方式单一，数据处理速度慢、效率低，耗费时间长，无法满足海量数据处理要求等问题；原始信号数据和处理后的数据均按照一定规定对文件路径进行规范，使得多车辆、多时间、多版本、多类型的数据实现规范化存储，便于技术人员在后续工作中调用与查看；经过处理的数据采用格式自解释，该数据的数据字段和数据路径存储于元信息存储子系统中，便于技术人员在后续工作的调用和处理。

附图说明

图1是本发明实施例提供的数据处理方法的流程图；

图2是本发明实施例提供的数据处理装置的模块示意图；

图3是本发明实施例提供的获取模块的模块示意图；

图4是本发明实施例提供的数据处理模块的模块示意图；

图5是本发明实施例提供的数据处理系统的模块示意图。

附图标记：

1、数据处理装置，11、获取模块，111、路径信息获取单元，112、数据获取单元，12、数据处理模块，121、数据处理单元，13、发送模块，2、分布式存储子系统，3、分布式消息队列，4、任务调度模块，5、元数据管理子系统。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

下面基于车辆自动驾驶系统/车辆自动辅助驾驶系统的信号数据的分布式云存储和分布式云计算，对本数据处理方法、装置、系统及电子设备进行说明。

首先，车辆自动驾驶系统/车辆自动辅助驾驶系统的车载客户端将数据按照预设规则打包，并进一步将数据包进行压缩，按照指定路径上传至分布式存储子系统2。待数据压缩包成功上传后，车载客户端将上传事件发送至数据处理系统的分布式消息队列3中，等待数据处理系统的进一步处理。

图1是本发明实施例提供的数据处理方法的流程图。

请参照图1，本发明实施例的第一方面提供了一种数据处理方法，包括：

步骤S100,接收任务调度模块4从分布式消息队列3中依次调度的上传事件。上传事件是车载客户端将其原始信号数据存储至分布式存储子系统2的第一存储路径下以后，发送至分布式消息队列3中，上传事件包括第一存储路径的信息。

步骤S200，根据第一存储路径的信息，从分布式存储子系统2的第一存储路径下获取原始信号数据。

步骤S300，将原始信号数据处理为预设格式的数据。

步骤S400，将预设格式的数据存储至所述分布式存储子系统2的第二存储路径下，第二存储路径与第一存储路径的存储路径不同。

其中，车载客户端将包括第一存储路径的上传事件发送至分布式消息队列3中，任务调度模块4按照上传事件进入分布式消息队列3的时间顺序依次调取上传事件，发送给数据处理装置1进行处理。

分布式存储子系统2中第二存储路径下存储的预设格式的数据，具有结构化的特点。预设格式的数据中包括原始信号数据的信息，如：字段名称、字段顺序及字段数据类型；此外，预设格式的数据采用分块存储方式，按照数据类型按组分类，将每一块中存储的数据按列式存储方式在物理上集中存放。预设格式的数据相比于在分布式存储系统2中第一存储路径下存储的原始信号数据存放的更加有序，如可以按照日期、小时、车辆类型、车辆号分组组织到层级目录中，便于用户进行检索操作。

可选的，预设格式的数据为Parquet格式。Parquet格式是一种支持列式存储文件格式，可把嵌套结构存储成扁平格式。其中，列式存储文件格式可实现对于一个查询，只读取对这个查询有用的数据，以此来让硬盘输入/输出(即硬盘IO)最小。Parquet格式可以把大数据读取的数量降低到原来的三分之一，具有数据压缩率高、读取特定字段速度快、数据格式可自解释、可存储字段数目可达上前列等特点。

在本数据处理方法实施例的一个实施方式中，本数据处理方法中的对原始信号数据进行处理，包括：对原始信号数据进行至少包括数据解析、完整性检验、非法记录过滤、同步和采样的操作。

其中，执行数据解析、完整性校验操作和非法记录过滤操作，一方面是判断记录的头部信息(记录长度和版本号等)解析是否正确，及记录实际的长度和记录头部长度字段是否相符，如果校验未通过，则整条记录会被过滤掉；另一方面是判断记录中某个字段的字段类型是否符合定义或者字段取值是否超出范围，如果校验未通过，则该字段会被设置成无效值，而整条记录仍会保留下来。

因为不同信号的采样频率不同，如A信号是100ms，B信号是50ms，C信号是20ms，同步操作会设定一个更合理的采样频率周期(10ms)，然后在每个周期中，将A、B、C信号的取值以上述方式全部收集上来；如果在这个10ms周期内没有产生新信号值，则取之前周期中最近一次产生的值。

原始数据中数据周期采集频率很高(如10ms生成一条记录)，采样操作将会以一个较低的频率(如50ms)保留其中的部分数据。可选的，每连续5条记录保留1条。

在本数据处理方法实施例的另一个实施方式中，对原始信号数据进行数据处理的结果还包括原始信号数据的元信息。其中，数据处理方法还包括：将原始信号数据的元信息存储至元数据管理子系统5。

原始信号数据的元信息包括：信号所属车辆的类型、车辆号、车上各个软硬件版本号，还包括：信号所属的数据文件名称、文件类型、存储路径、文件开始录制时间和文件结束录制时间。

在本发明实施例的一个实施方式中，原始信号数据包括：未经处理的原始信号数据和处理失败的原始信号数据。原始信号数据编码失败后，其原文件仍存储于分布式存储子系统2中的第一存储路径下，待数据处理装置1中的获取模块11在下一个获取周期或按照预设间隔时间进行处理。

图2是本发明实施例提供的数据处理装置的模块示意图。

图3是本发明实施例提供的获取模块的模块示意图。

图4是本发明实施例提供的数据处理模块的模块示意图。

请参照图2、图3和图4，本发明实施例的第二方面提供了一种数据处理装置1，包括：获取模块11、数据处理模块12和发送模块13。

获取模块11包括路径信息获取单元111和数据获取单元112。路径信息获取单元111用于接收任务调度模块4从分布式消息队列3中调度的上传事件。上传事件是车载客户端将其原始信号数据存储至分布式存储子系统2的第一存储路径下以后，发送至分布式消息队列3中，上传事件包括第一存储路径的信息。数据获取单元112用于根据第一存储路径的信息，从分布式存储子系统2的第一存储路径下获取原始信号数据。

数据处理模块12，用于将原始信号数据处理为预设格式的数据。

数据处理模块12包括：数据处理单元121。数据处理单元121用于对原始信号数据进行至少包括数据解析、完整性检验、非法记录过滤、同步和采样的操作。

可选的，数据处理模块12为Apache Spark系统。Spark是一种基于内存计算的开源集群计算系统，其启用了内存分布数据集，即可以实现交互时查询，也可以优化迭代工作负载，通过在内存集群计算中将数据集缓存在内存中，以缩短访问延迟。

发送模块13，用于将预设格式的数据存储至分布式存储子系统2的第二存储路径下，第二存储路径与第一存储路径的存储路径不同。

在本数据处理装置1实施例的一个实施方式中，数据处理模块12对原始信号数据进行数据处理的结果中还包括原始信号数据的元信息。其中，发送模块13还用于将原始信号数据的元信息发送至元数据管理子系统5以进行存储。

可选的，原始信号数据的元信息，包括：车辆自动驾驶/自动辅助驾驶数据的样本采样时间、解析前后文件存储路径和/或数据版本等信息。

在本数据处理装置1的一个实施例中，原始信号数据包括：未经处理的原始信号数据和处理失败的原始信号数据。

图5是本发明实施例提供的数据处理系统的模块示意图。

请参照图5，本发明实施例的第三方面提供了一种数据处理系统，包括上述数据处理装置1，还包括分布式存储子系统2。数据处理装置1将从分布式存储子系统2获取的原始信号数据处理为预设格式的数据，并将预设格式的数据存储至分布式存储子系统2的第二存储路径下。

分布式存储子系统2首先接收车辆客户端上传的原始信号数据，并将原始信号数据存储至第一存储路径，待数据处理装置1的获取模块11按照第一存储路径获取原始信号数据。分布式存储子系统2在原始信号数据存储完毕后，将原始信号数据的第一存储路径发送至车载客户端。

可选的，分布式存储子系统2采用Amazon Simple Storage Service存储(AWSS3),AWS S3是一种面向互联网的存储服务，用户可通过AWS S3随时在web上的任何位置存储和检索任意大小的数据。

在本发明实施例的一个实施方式中，数据处理系统还包括：分布式消息队列3和任务调度模块4。

分布式消息队列3，用于接收车载客户端发送的上传事件。上传事件是车载客户端将其原始信号数据存储至分布式存储子系统2的第一存储路径下以后，发送至分布式消息队列3；上传事件包括第一存储路径的信息，第一存储路径与第二存储路径的存储路径不同。

任务调度模块4，用于按照预设方式从分布式消息队列3中调度上传事件，使得数据处理装置1能够基于上传事件从分布式存储子系统2中获取对应的原始信号数据。任务调度模块4按照上传事件进入分布式消息队列3的时间顺序依次调取上传事件，发送给数据处理装置1进行处理。

在本数据处理系统实施例的一个实施方式，任务调度模块4按照预定时间的方式从分布式消息队列3中调度上传事件。

在本数据处理系统实施例的另一个实施方式，任务调度模块4按照上传事件触发的方式从分布式消息队列3中调度上传事件。

车载客户端将包含原始信号数据在分布式存储子系统2中的第一存储路径的上传事件发送至分布式消息队列3中，以待任务调度模块4调取上传事件，使数据处理装置1按照原始信号数据在分布式存储子系统2中存储的第一存储路径读取原始信号数据，并进行数据处理。

可选的，分布式消息队列3采用Apache Kafka组件。Apache Kafka组件是一个开源消息系统项目，其目的是为处理实时数据提供一个统一、高通量、低等待的平台。消息队列技术是分布式应用间交换信息的一种技术，消息队列可驻留在内存或磁盘上，队列存储消息直到被数据处理装置1读取。

可选的，数据处理系统还包括：元数据管理子系统5。元数据管理子系统5用于存储原始信号数据的元信息，元信息是数据处理模块12对原始信号数据进行处理得到。

本发明实施例的第四方面提供了一种计算机存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时实现数据处理方法的步骤。

本发明实施例的第五方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现数据处理方法的步骤。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明实施例旨在保护一种数据处理方法，包括：

接收任务调度模块从分布式消息队列中调度的上传事件；上传事件是车载客户端将其原始信号数据存储至分布式存储子系统的第一存储路径下以后，发送至分布式消息队列中，上传事件包括第一存储路径的信息；根据第一存储路径的信息，从分布式存储子系统的第一存储路径下获取原始信号数据；将原始信号数据处理为预设格式的数据；将预设格式的数据存储至分布式存储子系统的第二存储路径下，第二存储路径与第一存储路径的存储路径不同。还保护一种数据处理装置、系统、存储介质和电子设备。上述技术方案具备如下有益的技术效果：

通过对车辆自动驾驶待处理的信号数据进行分布式云存储和分布式云计算，解决了传统的数据处理方式单一，数据处理速度慢、效率低，耗费时间长，无法满足海量数据处理的要求；原始信号数据和处理后的数据均按照一定规定对文件路径进行规范，使得多车辆、多时间、多版本、多类型的数据实现规范化存储，便于技术人员在后续工作中调用与查看；经过处理的数据采用格式自解释，该数据的数据字段和数据路径存储于元信息存储子系统中，便于技术人员在后续工作的调用和处理。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (15)

1.一种数据处理方法，其特征在于，包括：

接收任务调度模块(4)从分布式消息队列(3)中调度的上传事件；所述上传事件是车载客户端将其原始信号数据存储至分布式存储子系统(2)的第一存储路径下以后，发送至所述分布式消息队列(3)中，所述上传事件包括所述第一存储路径的信息；

根据所述第一存储路径的信息，从所述分布式存储子系统(2)的第一存储路径下获取所述原始信号数据；

将所述原始信号数据处理为预设格式的数据；

将所述预设格式的数据存储至所述分布式存储子系统(2)的第二存储路径下，所述第二存储路径与所述第一存储路径的存储路径不同。

2.根据权利要求1所述的数据处理方法，其特征在于，

所述预设格式的数据为Parquet格式。

3.根据权利要求1所述的数据处理方法，其特征在于，所述将所述原始信号数据处理为预设格式的数据，包括：

对所述原始信号数据进行至少包括数据解析、完整性检验、非法记录过滤、同步和采样的操作。

4.根据权利要求1所述的数据处理方法，其特征在于，对所述原始信号数据进行处理的结果还包括所述原始信号数据的元信息；

其中，所述方法还包括：

将所述原始信号数据的元信息存储至元数据管理子系统(5)。

5.根据权利要求1所述的数据处理方法，其特征在于，所述原始信号数据，包括：未经处理的原始信号数据和处理失败的原始信号数据。

6.一种数据处理装置，其特征在于，包括：

获取模块(11)，包括路径信息获取单元(111)和数据获取单元(112)，

所述路径信息获取单元(111)用于接收任务调度模块(4)从分布式消息队列(3)中调度的上传事件；所述上传事件是车载客户端将其原始信号数据存储至分布式存储子系统(2)的第一存储路径下以后，发送至所述分布式消息队列(3)中，所述上传事件包括所述第一存储路径的信息；

所述数据获取单元(112)用于根据所述第一存储路径的信息，从所述分布式存储子系统(2)的第一存储路径下获取所述原始信号数据；

数据处理模块(12)，用于将所述原始信号数据处理为预设格式的数据；

发送模块(13)，用于将所述预设格式的数据存储至所述分布式存储子系统(2)的第二存储路径下，所述第二存储路径与所述第一存储路径的存储路径不同。

7.根据权利要求6所述的数据处理装置，其特征在于，

所述预设格式的数据为Parquet格式。

8.根据权利要求6所述的一种数据处理装置，其特征在于，所述数据处理模块(12)包括：

数据处理单元(121)，用于对所述原始信号数据进行至少包括数据解析、完整性检验、非法记录过滤、同步和采样的操作。

9.根据权利要求6所述的一种数据处理装置，其特征在于，对所述原始信号数据进行数据处理的结果还包括所述原始信号数据的元信息；

其中，所述发送模块(13)还用于，将所述原始信号数据的元信息发送至元数据管理子系统(5)以进行存储。

10.根据权利要求6所述的一种数据处理装置，其特征在于，所述原始信号数据，包括：未经处理的原始信号数据和处理失败的原始信号数据。

11.一种数据处理系统，其特征在于，包括如权利要求6-10任一项所述的一种数据处理装置(1)，还包括分布式存储子系统(2)；

所述数据处理装置(1)将从所述分布式存储子系统(2)获取的原始信号数据处理为预设格式的数据，并将所述预设格式的数据存储至所述分布式存储子系统(2)的第二存储路径下。

12.根据权利要求11所述的一种数据处理系统，其特征在于，还包括：分布式消息队列(3)和任务调度模块(4)；

所述分布式消息队列(3)，用于接收车载客户端发送的上传事件，所述上传事件是车载客户端将其原始信号数据存储至所述分布式存储子系统(2)的第一存储路径下以后，发送至所述分布式消息队列(3)中；所述上传事件包括所述第一存储路径的信息，所述第一存储路径与所述第二存储路径的存储路径不同；

所述任务调度模块(4)，用于按照预设方式从所述分布式消息队列(3)中调度所述上传事件，使得所述数据处理装置(1)能够基于所述上传事件从所述分布式存储子系统(2)中获取对应的所述原始信号数据。

13.根据权利要求11所述的一种数据处理系统，其特征在于，还包括：元数据管理子系统(5)，用于存储所述原始信号数据的元信息；

所述元信息是所述数据处理模块(12)对所述原始信号数据处理得到。

14.一种计算机存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5中任意一项所述一种数据处理方法的步骤。

15.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-5中任意一项所述一种数据处理方法的步骤。