CN112069368A - 数据存储、调用方法及系统 - Google Patents

Abstract

本申请实施例公开了一种数据存储、调用方法和系统。所述数据存储方法包括：获取原始数据集，所述原始数据集包括多个数据元，每个数据元具有标注该数据元类型的类型信息；根据所述类型信息，得到不同类型的个数N，建立N个不同的目标数据集；基于所述原始数据集中的数据元的类型信息以及各目标数据集，将与所述目标数据集对应的数据元存储在相应的目标数据集中，所述目标数据集存储于第一存储设备中。所述数据调用方法包括：获取由用户端发送的数据调用请求，所述数据调用请求至少包括待调用数据所属的类型；基于所述数据调用请求获取所述目标数据集中的部分数据以得到所述待调用数据；以及将所述待调用数据发送至所述用户端的第二存储设备中。

Description

数据存储、调用方法及系统

技术领域

本申请涉及信息技术领域，特别涉及一种数据存储、调用方法及系统。

背景技术

自动驾驶测试车在道路测试中通常需要采集大量的数据(简称“路测数据”)以供分析、调试等用途。而相关人员对路测数据的需求通常是有针对性的，即，仅需要调用大量数据中的部分数据。例如，特定的团队通常仅需要调用属于特定类型的路测数据而非所有类型的路测数据(例如，图像处理团队仅需要图像类型相关的路测数据)。又例如，有些情况下只需要调用特定范围(例如，特定时间段)内的路测数据。

因此，希望提供一种数据存储和/或调用方案，能够从庞大数量的数据中高效地调用满足用户特定需求的部分数据。

发明内容

本申请的一个方面提供一种由计算装置执行的数据存储方法，其特征在于，所述方法包括：获取原始数据集，所述原始数据集包括多个数据元，每个数据元具有标注该数据元类型的类型信息；根据所述原始数据集中数据元的类型信息，得到不同类型的个数N，并对应建立N个不同的目标数据集，所述N个不同的目标数据集与不同类型的数据元相对应；其中，N为大于等于2的整数；以及基于所述原始数据集中的数据元的类型信息以及各目标数据集，将与所述目标数据集对应的数据元存储在相应的目标数据集中，所述目标数据集存储于第一存储设备中。

在一些实施例中，所述数据集为文件，所述文件的数据元为消息。

在一些实施例中，所述类型包括图像类、位置类、传感器类、数据包类和控制器局域网总线类中的一种或多种。

在一些实施例中，所述方法还包括：建立所述目标数据集的索引信息，所述索引信息至少包括所述目标数据集中各数据元的一一对应的元标识信息和存储位置信息；其中，元标识信息是指相应数据元的标识信息。

在一些实施例中，所述目标数据集中的数据元按时间顺序排列，所述元标识信息包括相应数据元的时间信息。

在一些实施例中，所述索引信息还包括所述目标数据集中各数据元对应的原始数据集的集标识信息；其中，集标识信息是指原始数据集的标识信息。

在一些实施例中，所述原始数据集中的数据包括自动驾驶交通工具在运行过程中所产生或采集的数据。

在一些实施例中，所述方法还包括：接收由用户端发送的数据调用请求，所述数据调用请求至少包括待调用数据所属的类型；基于所述数据调用请求从所述N个不同的目标数据集确定相应类型目标数据集；基于所述确定的目标数据集中的数据元，得到所述待调用数据；以及将所述待调用数据发送给所述用户端的第二存储设备中。

在一些实施例中，所述基于所述确定的目标数据集中的数据元，得到所述待调用数据还包括：从所述第一存储设备中获取所述目标数据集以及其存储的数据元；将所述目标数据集按预设的时间间隔划分成多个目标数据子集；以及基于所述数据调用请求，获取所述多个目标数据子集中部分目标数据子集对应的数据元，所述待调用数据包括所述部分目标数据子集对应的所述数据元。

在一些实施例中，所述基于所述确定的目标数据集中的数据元，得到所述待调用数据还包括：将所述第一存储设备中获取的所述确定的目标数据集以及其存储的数据元发送至第三存储设备，所述第一存储设备距离所述用户端远于所述第三存储设备距离所述用户端；将所述目标数据集按预设的时间间隔划分成多个目标数据子集并存储于所述第三存储设备；建立多个逻辑文件，每个逻辑文件对应所述多个目标数据子集中的一个，所述每个逻辑文件包括所述目标数据子集中的数据元对应的索引信息；以及基于所述数据调用请求以及所述逻辑文件，从所述第三存储设备中获取所述多个目标数据子集中的部分目标数据子集存储的数据元，所述待调用数据包括所述部分目标数据子集对应的所述数据元。

本申请的另一个方面提供一种数据存储系统，其特征在于，所述系统包括原始数据集获取模块、目标数据集建立模块和存储模块。所述原始数据集获取模块用于获取原始数据集，所述原始数据集包括多个数据元，每个数据元具有标注该数据元类型的类型信息。所述目标数据集建立模块用于根据所述原始数据集中数据元的类型信息，得到不同类型的个数N，并对应建立N个不同的目标数据集，所述N个不同的目标数据集与不同类型的数据元相对应；其中，N为大于等于2的整数。所述存储模块，用于基于所述原始数据集中的数据元的类型信息以及目标数据集，将与所述目标数据集对应的数据元存储在相应的目标数据集中。

在一些实施例中，所述数据集为文件，所述文件的数据元为消息。

在一些实施例中，所述类型包括图像类、位置类、传感器类、数据包类和控制器局域网总线类中的一种或多种。

在一些实施例中，所述系统还包括索引信息建立模块，用于建立所述目标数据集的索引信息，所述索引信息至少包括所述目标数据集中各数据元的一一对应的元标识信息和存储位置信息；其中，元标识信息是指相应数据元的标识信息。

在一些实施例中，所述目标数据集中的数据元按时间顺序排列，所述元标识信息包括相应数据元的时间信息。

在一些实施例中，所述索引信息还包括所述目标数据集中各数据元对应的原始数据集的集标识信息；其中，集标识信息是指原始数据集的标识信息。

本申请的又一个方面提供一种存储介质，其特征在于，所述存储介质用于存储计算机指令，当计算机读取所述存储介质中的计算机指令后，执行上述数据存储方法。

本申请的又一个方面提供一种由计算装置执行的数据调用方法，其特征在于，原始数据集中的数据元按上述数据存储方法被存储于相应的目标数据集，所述目标数据集存储于计算机装置相关联的第一存储设备中。所述数据调用方法包括：获取由用户端发送的数据调用请求，所述数据调用请求至少包括待调用数据所属的类型；基于所述数据调用请求获取所述目标数据集中的部分数据以得到所述待调用数据，所述部分数据包括与所述待调用数据所属的类型相对应的目标数据集中的数据元；以及将所述待调用数据发送至所述用户端的第二存储设备中。

在一些实施例中，所述目标数据集具有相应的索引信息，所述索引信息至少包括所述目标数据集中各数据元的一一对应的元标识信息和存储位置信息，其中，元标识信息指相应数据元的标识信息；所述数据调用请求还包括与元标识信息相关的元限定条件。所述基于所述数据调用请求获取相应类型目标数据集中的数据元包括：基于所述数据调用请求获取与相应类型对应且满足所述元限定条件的索引信息；以及基于所述获取的索引信息中的存储位置获取所述数据元。

在一些实施例中，所述目标数据集中的数据元按时间顺序排列，所述元标识信息包括相应数据元的时间信息；所述元限定条件包括所述待调用数据对应的时间范围。

在一些实施例中，所述基于所述数据调用请求获取所述目标数据集中的部分数据还包括：将所述目标数据集按预设的时间间隔划分成多个目标数据子集；以及基于所述数据调用请求，获取所述目标数据子集中部分目标数据子集对应的所述数据元，所述待调用数据包括所述部分目标数据子集对应的所述数据元。

在一些实施例中，所述基于所述数据调用请求获取所述目标数据集中的部分数据还包括：将所述第一存储设备中获取的所述目标数据集以及其存储的数据元发送至第三存储设备，所述第一存储设备距离所述用户端远于所述第三存储设备距离所述用户端；将所述目标数据集按预设的时间间隔划分成多个目标数据子集并存储于所述第三存储设备；建立多个逻辑文件，每个逻辑文件对应所述多个目标数据子集中的一个，所述逻辑文件包括目标数据子集中的数据元对应的索引信息；以及基于所述数据调用请求以及所述逻辑文件，从所述第三存储设备中获取所述多个目标数据子集中的部分目标数据子集对应的数据元，所述待调用数据包括所述部分目标数据子集对应的所述数据元。

在一些实施例中，所述索引信息还包括所述目标数据集中各数据元对应的原始数据集的集标识信息，其中，集标识信息是指原始数据集的标识信息；所述数据调用请求还包括与集标识信息相关的集限定条件。所述基于所述数据调用请求获取与相应类型对应且满足所述元限定条件的索引信息包括：基于所述数据调用请求获取与相应类型对应且满足所述集限定条件的索引信息。

本申请的又一个方面提供一种数据调用系统，其特征在于，原始数据集中的数据元按上述数据存储方法被存储于相应的目标数据集，所述目标数据集存储于计算机装置相关联的第一存储设备中。所述数据调用系统包括用户请求获取模块和调用模块。所述用户请求获取模块用于获取由用户端发送的数据调用请求，所述数据调用请求至少包括待调用数据所属的类型。所述调用模块用于基于所述数据调用请求获取所述目标数据集中的部分数据以得到所述待调用数据，所述部分数据包括与所述待调用数据所属的类型相对应的目标数据集中的数据元。

在一些实施例中，所述目标数据集具有相应的索引信息，所述索引信息至少包括所述目标数据集中各数据元的一一对应的元标识信息和存储位置信息，其中，元标识信息是指相应数据元的标识信息；所述数据调用请求还包括与元标识信息相关的元限定条件。所述调用模块包括索引信息获取单元、分段存储单元和数据元获取单元。所述索引信息获取单元用于基于所述数据调用请求获取与相应类型对应且满足所述元限定条件的索引信息。所述分段存储单元，用于将所述目标数据集按预设的时间间隔划分成多个目标数据子集，分别存储每个目标数据子集。所述数据元获取单元用于基于获取的索引信息中的存储位置获取数据元。

在一些实施例中，所述目标数据集中的数据元按时间顺序排列，所述元标识信息包括相应数据元的时间信息；所述元限定条件包括所述待调用数据对应的时间范围。

在一些实施例中，所述数据调用系统还包括同步模块，所述同步模块用于将所述待调用数据发送至所述用户端的第二存储设备中。

在一些实施例中，所述索引信息还包括所述目标数据集中各数据元对应的原始数据集的集标识信息，其中，集标识信息是指原始数据集的标识信息；所述数据调用请求还包括与集标识信息相关的集限定条件。所述索引信息获取单元进一步用于基于所述数据调用请求获取与相应类型对应且满足所述集限定条件的索引信息。

本申请的又一个方面提供一种存储介质，其特征在于，所述存储介质用于存储计算机指令，当计算机读取所述存储介质中的计算机指令后，执行上述数据调用方法。

附图说明

本申请将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本申请一些实施例所示的数据处理系统的应用场景示意图；

图2是根据本申请一些实施例所示的示例性处理设备的框图；

图3是根据本申请一些实施例所示的另一示例性处理设备的框图；

图4是根据本申请一些实施例所示的数据存储方法的示例性流程图；

图5是根据本申请一些实施例所示的将原始数据集中不同类型的数据元存储在相应的目标数据集中的示意图；

图6是根据本申请一些实施例所示的与目标数据集对应的索引信息的示意图；

图7是根据本申请一些实施例所示的数据调用方法的示例性流程图；

图8是根据本申请一些实施例所示的数据调用过程的示意图；

图9是根据本申请一些实施例所示的数据调用场景的示意图；

图10是根据本申请一些实施例所示的数据调用示意图；

图11是根据本申请一些实施例所示的数据存储和调用示意图；以及

图12是根据本申请一些实施例所示的用户交互界面的示意图。

具体实施方式

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

本申请的实施例可以应用于数据量大且用户对数据的需求具有针对性的数据存储和调用场景，在该场景中，用户通常仅需要调用大数据量数据中的部分数据。在一些实施例中，所述大数据量数据可以包括自动驾驶测试车在道路测试中采集的路测数据。例如，在一些应用场景下，所述自动驾驶测试车采集的路测数据量可以达到约17MB/秒/车，平均每次调用的路测数据量可以超过11G，平均每天调用的路测数据量可以超过8T，数据量较大。本申请的实施例提供一种数据存储和/或调用方法，能够从所述大数据量数据中高效地调用满足用户特定需求的部分数据。应当理解的是，本申请的数据存储、调用方法和系统的应用场景仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其它类似情景。虽然本申请主要以路测数据为例进行了描述，但是需要注意的是，本申请的原理也可以应用于其他数据量大且用户对数据的需求具有针对性的数据的存储和调用，例如，定位数据、生产数据、监控数据等等。

图1是根据本申请一些实施例所示的数据处理系统的应用场景示意图。在一些实施例中，数据处理系统100可以包括车辆110(例如，车辆110-1、110-2...和/或110-n)、服务器120、终端设备130、存储设备140、网络150以及定位和导航系统160。数据处理系统100可以应用于打车服务、安防系统、网络监控、无人驾驶等。需注意的是，在本申请中关于自动驾驶的描述仅仅是说明目的，不会限制本申请的范围。

车辆110可以是任何类型的自动驾驶车辆、无人机等。无人驾驶车辆或无人机可以指能够实现一定的驾驶自动化等级的车辆。示例性的驾驶自动化等级可以包括：第一等级，车辆主要由人来监督并且具有特定的自主功能(例如，自主转向或加速)；第二等级，车辆具有一个或多个可以控制车辆的制动、转向和/或加速的先进驾驶辅助系统(ADAS)(例如，自适应巡航控制系统、车道保持系统)；第三等级，满足一个或多个特定条件时车辆能够自动驾驶；第四等级，车辆可在没有人工输入或监督的情况下操作，但仍受某些约束(例如，限制在一定区域内)；第五等级，车辆在所有情况下下均可自主运行，等，或其任意组合。车辆110也可以是为了收集数据而在有人控制情况下行驶的车辆或其他交通工具。

在一些实施例中，车辆110可以具有使车辆110能够四处移动或飞行的等效结构。例如，车辆110可以包括常规车辆的结构，例如底盘、悬架、转向装置(例如，方向盘)、制动装置(例如，制动踏板)、加速器等。再例如，车辆110可以具有车身和至少一个车轮。车身可以是任何车身类型，例如跑车、双门轿车、轿车、皮卡车、旅行车、运动型多功能车(SUV)、小型货车或改装货车。所述至少一个车轮可以是全轮驱动(AWD)、前轮驱动(FWR)、后轮驱动(RWD)等。在一些实施例中，车辆110可以是电动车辆、燃料电池车辆、混合动力车辆、传统内燃机车辆等。

在一些实施例中，车辆110能够感测其环境并使用一个或多个检测单元112导航。检测单元112可以包括全球定位系统(GPS)模块、雷达(例如，光检测和测距(LiDAR))、惯性测量单元(IMU)、相机等或其任意组合。雷达(例如，LiDAR)可以用于扫描周围环境并生成点云数据。然后，所述点云数据可用于对车辆110周围的一个或多个对象进行数字3D表示。GPS模块可指能够从GPS卫星接收地理位置和时间信息并计算其地理位置的设备。IMU可以指使用各种惯性传感器来测量并提供车辆的比力、角速度以及有时是围绕车辆的磁场的电子设备。所述各种惯性传感器可以包括加速度传感器(例如，压电传感器)、速度传感器(例如，霍尔传感器)、距离传感器(例如，雷达、LIDAR、红外传感器)、转角传感器(例如，倾斜传感器)、牵引力相关传感器(例如，力传感器)。相机可以被配置为获取与摄像范围内的对象(例如，人、动物、树木、路障、建筑物或车辆)有关的一张或多张图像。

在一些实施例中，服务器120可以是单个服务器或服务器组。所述服务器组可以是集中式的，也可以是分布式的(例如，服务器120可以是分布式的系统)。在一些实施例中，服务器120可以是本地的，也可以是远程的。例如，服务器120可以经由网络150访问存储在终端设备130、检测单元112、车辆110、存储设备140和/或定位和导航系统160中的信息和/或数据。又例如，服务器120可以直接连接到终端设备130、检测单元112、车辆110和/或存储设备140，以访问存储的信息和/或数据。在一些实施例中，服务器120可以在云平台或车载计算机上实施。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。在一些实施例中，服务器120可以在包含了一个或以上组件的计算设备上执行。

在一些实施例中，服务器120可以包括处理设备122。处理设备122可以处理信息和/或数据以执行本申请中描述的一个或以上的功能。例如，处理设备122可以根据原始数据集中数据元的类型信息建立对应的目标数据集，并将与所述目标数据集对应的数据元存储在相应的目标数据集中。进一步的，处理设备122可以将包括了数据元的目标数据集存储在存储设备140或其他存储设备或系统。又例如，处理设备122可以对存储在存储设备140或其他存储设备或系统中的数据建立查询索引。具体的，原始数据可以包括多个车辆在一次路测过程中产生的数据，可以包括相机数据、雷达数据等。处理储备122可以基于每个车辆的行程ID、时间范围以及原始数据中数据元的类型建立查询索引。在一些实施例中，所述处理设备122可包括一个或以上处理引擎(例如，单芯片处理引擎或多芯片处理引擎)。仅作为示例，处理设备122可以包括一个或以上硬件处理器，例如中央处理单元(CPU)、特定应用集成电路(ASIC)、特定应用指令集处理器(ASIP)、图像处理单元(GPU)、物理运算处理单元(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑设备(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等或其任意组合。在一些实施例中，所述处理设备122可以集成在终端设备130中。

在一些实施例中，终端设备130可以包括移动设备130-1、平板电脑130-2、膝上型电脑130-3、机动车内建装置130-4、130-5等或其任意组合。在一些实施例中，移动设备130-1可包括智能家居设备、可穿戴设备、智能行动设备、虚拟实境设备、增强实境设备等或其任意组合。在一些实施例中，智能家居设备可包括智能照明设备、智能电器的控制设备、智能监测设备、智能电视、智能摄像机、对讲机等或其任意组合。在一些实施例中，可穿戴设备可包括智能手环、智能鞋袜、智能眼镜、智能头盔、智能手表、智能衣物、智能背包、智能配饰等或其任意组合。在一些实施例中，智能行动设备可包括智能电话、个人数位助理(PDA)、游戏设备、导航设备、POS设备等或其任意组合。在一些实施例中，虚拟实境设备和/或增强实境设备可包括虚拟实境头盔、虚拟实境眼镜、虚拟实境眼罩、增强实境头盔、增强实境眼镜、增强实境眼罩等或其任意组合。例如，虚拟现实设备和/或增强现实设备可以包括Google^TM眼镜、Oculus Riff、HoloLens、Gear VR等。在一些实施例中，机动车内建装置130-4可以包括车载计算机、车载电视等。在一些实施例中，服务器120可以集成到终端设备130中。在一些实施例中，终端设备130可包括具有定位功能的装置，以确定用户和/或终端设备130的位置。

存储设备140可以存储数据和/或指令。在一些实施例中，存储设备140可以存储从车辆110、检测单元112、处理设备122、终端设备130、定位和导航系统160和/或外接设备获得的数据。例如，存储设备140可以存储从车辆110获取的路测数据。在一些实施例中，存储设备140可以存储可以被执行或用于执行本申请中描述的示例性方法的数据和/或指令。例如，存储设备140可以存储处理设备122可以执行存储和/或调用路测数据的指令。在一些实施例中，存储设备140可包括大容量存储器、可移动存储器、易失性读写内存、只读内存(ROM)等或其任意组合。示例性大容量存储器可以包括磁盘、光盘、固态驱动器等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、内存卡、磁盘、磁带等。示例性易失性读写内存可以包括随机存取内存(RAM)。示例性RAM可包括动态随机存取存储器(DRAM)双倍数据速率同步动态随机存取存储器(DDR SDRAM)、静态随机存取存储器(SRAM)、晶闸管随机存取存储器(T-RAM)和零电容随机存取存储器(Z-RAM)等。示例性只读存储器可以包括掩模型只读存储器(MROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)和数字多功能磁盘只读存储器等。一些实施例中，存储设备140还可以包括分布式文件系统(Hadoop Distributed FileSystem，HDFS)。在一些实施例中，所述分布式文件系统可以设置在不同区域(例如，不同国家、不同地区、不同站点等)并彼此关联。用户可以访问其所在区域的分布式文件系统以获取存储在其中的数据，也可以通过其所在区域的分布式文件系统调用其他区域的分布式文件系统中的数据。例如，分布式文件系统可以包括第一分布式文件系统和第二分布式文件系统，第一分布式文件系统服务器所属第一区域，第二分布式文件系统服务器所属第二区域。路测数据于第一区域内采集并按本申请中实施例所示任一方法存储于第一分布式系统中。用户端所处位置属于第二区域，用户端距离第二分布式系统服务器的距离小于用户端距离第一分布式系统服务器的距离。在一些实施例中，用户可以通过本申请中实施例所示任一方法调用存储于第一分布式系统中的至少部分数据。在一些实施例中，数据处理系统100可以将第一分布式系统中的至少部分数据与第二分布式系统进行同步，用户可以通过本申请中实施例所示任一方法从第二分布式系统中调用该至少部分数据。在一些实施例中，所述存储设备140可在云端平台上执行。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。

在一些实施例中，存储设备140可以连接到网络150以与数据处理系统100中的一个或以上组件(例如，服务器120、终端设备130、检测单元112、车辆110和/或定位和导航系统160)通信。数据处理系统100中的一个或以上组件可以经由网络150访问存储设备140中存储的数据或指令。在一些实施例中，存储设备140可以直接连接到数据处理系统100中的一个或以上组件(例如，服务器120、终端设备130、检测单元112、车辆110和/或定位和导航系统160)或与之通信。在一些实施例中，存储设备140可以是服务器120的一部分。在一些实施例中，存储设备140可以集成在车辆110中。

网络150可以促进信息和/或数据的交换。在一些实施例中，数据处理系统100中的一个或以上组件(例如，服务器120、终端设备130、检测单元112、车辆110、存储设备140和/或定位和导航系统160)可以经由网络150向/从数据处理系统100中的其他组件发送/获得信息和/或数据。例如，处理设备122可以经由网络150从车辆110获取路测数据。又例如，处理设备122可以经由网络150从终端设备130获取用户输入的数据调用请求。在一些实施例中，网络150可以是有线网络或无线网络等或其任意组合。仅作为示例，网络150可以包括电缆网络、有线网络、光纤网络、电信网络、内部网络、互联网、局域网络(LAN)、广域网络(WAN)、无线局域网络(WLAN)、城域网(MAN)、公共交换电话网络(PSTN)、蓝牙网络、紫蜂网络、近场通信(NFC)网络等或其任意组合。在一些实施例中，网络150可以包括一个或以上网络接入点。例如，网络150可以包括有线或无线网络接入点(如基站和/或互联网交换点150-1、150-2)，数据处理系统100的一个或以上部件可以通过所述网络接入点连接到网络150以交换数据和/或信息。

定位和导航系统160可以确定与对象相关联的信息，例如，终端设备130、车辆110，等。在一些实施例中，定位和导航系统160可以是全球定位系统(GPS)、全球导航卫星系统(GLONASS)、罗盘导航系统(COMPASS)、北斗导航卫星系统、伽利略定位系统、准天顶卫星系统(QZSS)等。所述信息可以包括对象的位置、高度、速度或加速度、当前时间等。定位和导航系统160可以包括一个或以上卫星，例如卫星160-1、卫星160-2和卫星160-3。卫星160-1至160-3可以独立地或共同地确定上述信息。定位和导航系统160可以经由无线连接将上述信息发送到网络150、终端设备130或车辆110。

本领域普通技术人员将理解，当数据处理系统100的元件(或部件)执行时，该元件可以通过电信号和/或电磁信号执行。例如，当终端设备130向服务器120发送请求时，终端设备130的处理器可以生成对该请求进行编码的电信号。终端设备130的处理器然后可以将电信号传输到输出端口。如果终端设备130经由有线网络与服务器120通信，则输出端口可以物理地连接至电缆，该电缆还可以将电信号传输至服务器120的输入端口。如果终端设备130经由无线网络与服务器120通信，则终端设备130的输出端口可以是一个或多个天线，其将电信号转换为电磁信号。在诸如终端设备130和/或服务器120的电子设备内，当其处理器处理指令、发出指令和/或执行动作时，该指令和/或动作是通过电信号来进行的。例如，当处理器从存储介质(例如，存储设备140)检索或保存数据时，它可以将电信号发送到存储介质的读取/写入设备，该设备可以在该存储介质中读取或写入结构化数据。可以通过电子设备的总线以电信号的形式将结构化数据发送到处理器。在此，电信号可以指一个电信号、一系列电信号和/或多个离散电信号。

图2是根据本申请一些实施例所示的示例性处理设备的框图。在一些实施例中，处理设备122可以用于数据存储。如图2所示，处理设备122可以包括原始数据集获取模块210、目标数据集建立模块220、索引建立模块230以及存储模块240。

原始数据集获取模块210可以用于获取原始数据集，所述原始数据集包括多个数据元，每个数据元具有标注该数据元类型的类型信息。在一些实施例中，数据集可以指包括多个数据元的数据集合。在一些实施例中，数据集可以是文件，文件的数据元为消息。在一些实施例中，不同数据集和/或同一数据集中的数据元可以具有各自的标识信息。

在一些实施例中，以路测数据为例，原始数据集获取模块210可以经由网络150从测试车(例如，车辆110)获取所述原始数据集(即路测数据)。具体地，所述路测数据可以是具有时间性质的消息。原始数据集获取模块210可以将一个测试车在一次测试行程下采集到的消息组织成一个文件(例如，bag文件)进行存储，得到一个原始数据集。进一步地，原始数据集获取模块210还可以将与测试车和行程有关的标识信息作为所述文件的标识信息，例如，可以根据测试车的id和测试行程的id设置所述文件的标识信息。在一些实施例中，原始数据集获取模块210还可以将消息的时间信息作为所述消息在所述文件中的标识信息。例如，可以根据消息的时间戳设置所述消息在所述文件中的标识信息。

在一些实施例中，所述原始数据集中的每个数据元具有标注该数据元类型的类型信息。在一些实施例中，所述类型可以包括图像类、位置类、传感器类、数据包(packets)类和控制器局域网总线(Controller Area Network Bus，CAN Bus)类中的一种或多种。

目标数据集建立模块220可以用于根据所述原始数据集中数据元的类型信息，建立不同的目标数据集。每个类型的数据元可以对应一目标数据集。例如，所述原始数据集中的数据元的类型的个数为N，可以建立N个不同的目标数据集，所述N个不同的目标数据集与不同类型的数据元相对应，其中，N为大于等于2的整数。在一些实施例中，目标数据集建立模块220可以识别所述原始数据集中每个数据元的类型并确定不同类型的个数。进一步地，目标数据集建立模块220可以建立不同的目标数据集，所述不同的目标数据集与不同类型的数据元对应。例如，可以用获取路测数据的设备类型表示数据元的类型。所述设备可以包括相机、雷达、惯性测量单元(IMU)等。所述原始数据可以包括相机类数据、雷达类数据、IMU类数据等。所述不同的目标数据集可以包括相机类目标数据集、雷达类目标数据集以及IMU类目标数据集。又例如，可以用数据类型表述数据元的类型。数据类型可以包括音频类数据、图像类数据、文字类数据等。所述不同的目标数据集可以包括音频类目标数据集、图像类目标数据集、文字类目标数据集等。

在一些实施例中，目标数据集建立模块220还可以根据目标数据集对应的类型设置该目标数据集的标识信息，以识别不同类型的目标数据集。由于目标数据集的标识信息和类型信息是对应的，在一些实施例中，标识信息可以包括同一目标数据集中各数据元共同的类型信息。

索引建立模块230可以建立原始数据集的索引，以提供对所述原始数据集中数据元的索引功能。在一些实施例中，索引建立模块230可以确定原始数据集的元服务信息，也可以简称元信息。所述元服务信息可以用于描述原始数据集或原始数据集中的数据元的结构、语义、用途、用法等。在一些实施例中，所述元服务信息也可以称为索引信息或包括索引信息，用于确定原始数据集或原始数据集中的数据元在存储设备中的存储位置。在一些实施例中，所述元服务信息可以至少包括所述目标数据集中各数据元一一对应的元标识信息(例如，时间戳)和存储位置信息(例如，偏移量)。其中，元标识信息可以指相应数据元的标识信息(例如，时间戳)。在一些实施例中，所述元服务信息还可以包括目标数据集的标识信息，所述目标数据集的标识信息与类型对应。在一些实施例中，目标数据集的元服务信息还可以包括该目标数据集中各数据元对应的原始数据集的集标识信息(例如，测试车的id和/或测试行程的id等)。

在一些实施例中，索引建立模块230或存储模块240可以将所述元服务信息存储在存储设备中，例如，存储模块240、存储设备140或其他存储设备，处理设备122(例如，调用模块320)可以基于用户的数据调用请求访问存储设备，并进一步基于所述元服务信息以及目标数据集(例如，图像类目标数据集)对应的标识信息定位与所述用户的数据调用请求对应的数据元，即确定数据元在存储设备中的存储位置。在一些实施例中，索引建立模块230可以分别建立每个目标数据集的元服务信息。并将所述每个目标数据集的元服务信息以列表的方式存储于存储设备，例如，存储设备140或其他存储设备。

存储模块240可以用于基于所述原始数据集中的数据元的类型信息以及目标数据集，将与所述目标数据集对应的数据元存储在相应的目标数据集中。在一些实施例中，存储模块240可以确定原始数据集中每个数据元的类型，并将所述数据元存储在对应的目标数据集中。例如，如果所述数据元是图像类数据元，处理设备122可以将所述数据元存储在图像类目标数据集中。进一步地，存储模块240还可以将与所述目标数据集(例如，图像类目标数据集)以及其中存储的数据元存储在存储设备中，例如，存储设备140(例如，分布式文件系统)。在一些实施例中，存储模块240可以将同一原始数据集中的各数据元存放在物理上连续的内存空间，也可以将其存放在物理上非连续的内存空间且非连续存放的数据元间通过指针进行链接。仅作为示例，在一些实施例中，存储模块240可以将目标数据集中的数据元存储在分布式文件系统(HDFS)中，所述存储可以是物理存储。

在一些实施例中，存储模块240还可以将与所述目标数据集(例如，图像类目标数据集)对应的元服务信息存储在存储设备中，例如，存储设备140(例如，分布式文件系统)中。所述元服务信息可以通过指针指向所述目标数据集。用户可以通过所述元服务信息定位所述目标数据集。在一些实施例中，存储模块240可以以列表的方式存储目标数据集对应的元服务信息。在一些实施例中，用于存储目标数据集以及其中的数据元的存储设备与用于存储元服务信息的存储设备可以是相同的，也可以是不同的。

需要注意的是，以上对于处理设备122及其模块的描述，仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，图2中披露的原始数据集获取模块210、目标数据集建立模块220、索引建立模块230、存储模块240可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，存储模块240、索引建立模块230可以是两个独立模块，也可以是一个模块同时具有数据存储、建立索引以及缓存的功能。诸如此类的变形，均在本申请的保护范围之内。

图3是根据本申请一些实施例所示的另一示例性处理设备的框图。在一些实施例中，处理设备122可以用于调用数据。如图3所示，处理设备122可以包括用户请求获取模块310和调用模块320。

用户请求获取模块310可以用于获取用户的数据调用请求，所述数据调用请求至少包括待调用数据所属的类型。在一些实施例中，所述数据调用请求可以由用户通过移动设备(例如，终端设备130的输入/输出接口)或计算设备输入。例如，终端设备130的输入/输出接口可以包括输入设备，诸如键盘、鼠标、触摸屏、麦克风、轨迹球等或其任意组合，用户可以使用所述输入设备输入所述数据调用请求。在一些实施例中，用户请求获取模块310可以(例如，通过网络150)获取所述数据调用请求。在一些实施例中，所述数据包括路测数据。数据调用请求还可以包括路测数据采集时间范围信息、测试车的id和/或测试行程的id等信息。

调用模块320可以用于基于所述数据调用请求获取相应类型目标数据集中的数据元，得到所述待调用数据。在一些实施例中，调用模块320可以包括索引信息获取单元322、分段存储单元323、数据元获取单元324。

索引信息获取单元322可以用于基于所述数据调用请求获取与所述数据调用请求对应的索引信息。数据元获取单元324可以用于基于所述索引信息获取数据元。在一些实施例中，数据处理系统100可以提供索引机制。例如，索引建立模块230可以确定所述目标数据集的元服务信息，所述元服务信息可以存储在存储设备中。索引信息获取单元322可以从所述数据调用请求中获取用户的索引请求信息。进一步地，数据元获取单元324可以基于所述数据调用请求中的索引请求信息与存储在存储设备中的元服务信息进行匹配，从而确定与数据调用请求中的索引请求信息匹配的索引信息(或元服务信息)，基于索引信息或元服务信息指向的存储位置获取数据元。

在一些实施例中，所述数据调用请求至少包括待调用数据所属的类型。在一些实施例中，待调用数据所述的类型可以包括一个，也可以包括多个。由于目标数据集的标识信息和类型信息是对应的，索引信息获取单元322可以基于所述数据调用请求所包含的用户选定的一个或多个类型(即用户索引请求信息)访问元服务信息，确定元服务信息中与所述一个或多个类型匹配的索引信息。进一步地，数据元获取单元324可以基于所述索引信息确定相应目标数据集的存储位置，从而调用相应目标数据集中的数据元。

在一些实施例中，所述数据调用请求还可以包括与待调用数据相关的更多筛选条件。例如，在一些实施例中，所述索引信息可以至少包括所述目标数据集中各数据元的一一对应的元标识信息(例如，时间戳)和存储位置信息。相应地，所述数据调用请求还可以包括针对待调用数据的与元标识信息相关的元限定条件(例如，时间范围)。索引信息获取单元322可以基于所述数据调用请求访问元服务信息，确定元服务信息中与所述一个或多个类型对应且满足所述元限定条件的索引信息。进一步地，数据元获取单元324可以根据所述索引信息对应的存储位置获取数据元。

在一些实施例中，所述索引信息还可以包括所述目标数据集中各数据元对应的原始数据集的集标识信息，其中，集标识信息是指原始数据集的标识信息。相应地，所述数据调用请求还可以包括针对待调用数据的与集标识信息相关的集限定条件。索引信息获取单元322可以基于所述数据调用请求访问元服务信息，确定元服务信息中与所述一个或多个类型对应且满足所述元限定条件和/或所述集限定条件的索引信息。进一步地，数据元获取单元324可以根据所述索引信息对应的存储位置获取数据元。

在一些实施例中，所述数据可以包括路测数据。用户的数据调用请求可以包括路测数据采集设备的类型、路测数据采集时间范围信息、测试车的id和/或测试行程的id等索引请求信息。由所述数据调用请求确定的所述索引请求信息可以至少包括测试车的id和/或测试行程的id、待调用数据所属的类型、时间范围、数据时间长度等。

在一些实施例中，分段存储单元323可以用于基于与用户的数据调用请求匹配的元服务信息从存储有目标数据集的存储设备(例如，分布式文件系统)中获取目标数据集中存储的数据元。进一步的，分段存储单元323可以基于数据元标识的时间信息(例如，时间戳)，即目标数据集对应的时间信息以及用户数据调用请求中的时间信息，进一步将目标数据集按预设的时间间隔划分成多个目标数据子集，每个目标数据子集对应一个时间间隔，并分别存储各个时间间隔(例如，每10s)获取的数据元至每个目标数据子集(也称为物理数据文件)。例如，当用户数据调用请求中的时间范围长度小于目标数据集的时间范围长度，将目标数据集按预设的时间间隔划分成多个目标数据子集。例如，每个目标数据集对应的数据元的时间长度为100秒，用户数据调用请求中的时间长度为20秒，则分段存储单元323可以将目标数据集划分为10个目标数据子集，每个目标数据子集对应10秒的数据元。如本文所述，此处的时间范围可以指的是数据元被采集的时间范围。

在一些实施例中，分段存储单元323可以通过物理存储的方式将每个目标数据子集以及存储在其中的数据元存储在处理设备122的存储器中。当用户完成该目标数据集中的部分数据元的调用后，该目标数据子集以及其所存储的数据元可以被擦除。进一步的，数据获取单元324可以基于用户数据调用请求的时间信息，从存储设备中获取各个时间间隔中与该时间信息相匹配的目标数据子集中的数据元。例如，当用户所在地与存储有原始数据集的存储设备(称为第一存储设备，例如，分布式文件系统)处于同一城市或国家，处理设备122(称为本地服务器)可以基于上述方法分发数据给用户的终端(也称为用户端，例如，终端设备130)。

在一些实施例中，分段存储单元323可以基于与用户的数据调用请求匹配的元服务信息，确定元服务信息指向的目标数据集。并基于目标数据集对应的时间信息(例如，时间范围)以及用户数据调用请求的时间信息建立目标数据集对应的多个逻辑文件。例如，当用户端所在地与存储有原始数据集的存储设备(称为第一存储设备，例如，分布式文件系统)不处于同一区域(例如，城市或国家)，处理设备122与所述第一存储设备处于同一区域(例如，城市或国家)，处理设备122可以建立目标数据集对应的多个逻辑文件。处理设备122可以进一步地将目标数据集以及其存储的数据元发送给第二存储设备，所述第二存储设备与用户端处于同一区域(例如，城市或国家)。第二存储设备所处的服务器可以将接收的目标数据集(物理数据文件)按预设的时间间隔划分成多个目标数据子集，并将数据元分别存储至对应的目标数据子集中。所述多个逻辑文件通过指针方式指向处于第二存储设备的目标数据子集。数据获取单元324可以通过匹配用户数据调用请求中的时间信息与每个逻辑文件中的时间信息，确定与用户调用请求匹配的逻辑文件，并基于用户匹配的逻辑文件所指向的第二存储设备中的目标数据子集，指示第二存储设备的服务器向用户端发送匹配的目标数据子集中的数据元。进一步的，第二存储设备的服务器可以将多个目标数据子集中的数据元进行合并后发送给用户端。

逻辑文件中不存储目标数据子集中的数据元，可以存储关于数据元的信息(例如，部分的元服务信息)。逻辑文件可以通过指针方式指向物理数据文件(即目标数据子集)。例如，可以将目标数据集按预设的时间间隔划分成多个目标数据子集，每个目标数据子集对应一个时间间隔，每个目标数据子集可以建立一个逻辑文件。每个逻辑文件中包括每个目标数据子集中存储的数据元的元服务信息。

用户可以通过用户调用请求中的时间信息通过所述逻辑文件中的元服务信息定位所述第二存储设备中的目标子数据集。在一些实施例中，所述逻辑文件与物理存储的目标数据子集之间可以通过指针进行链接。在一些实施例中，第二存储设备可以将同一目标子数据集中的各数据元存放在物理上连续的内存空间，也可以将其存放在物理上非连续的内存空间。仅作为示例，在一些实施例中，第二存储设备可以将目标子数据集中的数据元存储在分布式文件系统(HDFS)中，所述存储可以是物理存储。相应地，用户可以通过访问第一存储设备中的逻辑文件，从与用户端处于同一区域内的第二存储设备中调用与该指定时间段实际对应的数据(即物理存储的目标数据子集)，从而实现快速调用部分数据的功能。在一些实施例中，分段存储单元323可以依据用户针对待调用数据指定的时间段的最小值来设定所述时间间隔，以尽量保证按照该时间段调用的若干目标数据子集与该时间段实际对应的数据相吻合。在一些实施例中，分段存储单元323可以直接将用户针对待调用数据指定的时间段的最小值设为所述时间间隔。

在一些实施例中，分段存储单元323可以基于数据元标识的时间信息(例如，时间戳)，从存储有原始数据集的存储设备中确定以及获取目标数据集，将目标数据集按预设的时间间隔划分成多个目标数据子集，并分别存储每个目标数据子集。进一步地，当所述数据调用请求还包括待调用数据对应的时间范围时，且待调用数据对应的时间范围小于目标数据集对应的时间范围，处理设备122不需要将整个目标数据集中的数据发送给用户端，只需将于用户调用数据请求中的时间范围信息对应的数据元(即目标数据子集中的数据元)发送给用户端，从而实现快速调用部分数据的功能，提高数据调用效率。

需要注意的是，以上对于处理设备122及其模块的描述，仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，图3中披露的用户请求获取模块310和调用模块320可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，用户请求获取模块310和调用模块320可以是两个模块，也可以是一个模块同时具有获取用户请求以及调用数据的功能。诸如此类的变形，均在本申请的保护范围之内。

应当理解，图2和图3所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本申请的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。

图4是根据本申请一些实施例所示的数据存储方法的示例性流程图。如图4所示，该数据存储方法可以包括：

步骤410，获取原始数据集，所述原始数据集包括多个数据元，每个数据元具有标注该数据元类型的类型信息。在一些实施例中，步骤410可以由处理设备122(例如，原始数据集获取模块210)执行。

在一些实施例中，数据集可以指包括多个数据元的数据集合。例如，当数据量较为庞大时，希望将数据组织成较大的单元分别进行存储。此时，一个单元即为一个数据集。在一些实施例中，数据集可以是文件，文件的数据元为消息。进一步地，文件可以是文件包(bag)格式，以下称为“bag文件”。在一些实施例中，数据集中的各数据元可以是互相关联的。在一些实施例中，不同数据集和/或同一数据集中的数据元可以具有各自的标识信息。以路测数据为例，测试车采集到的路测数据可以是具有时间性质的消息(例如，所述消息可以具有时间戳)。处理设备122可以将一个测试车在一次测试行程下采集到的消息组织成一个文件(例如，bag文件)进行存储，得到一个原始数据集。进一步地，处理设备122还可以将与测试车和行程有关的标识信息作为所述文件的标识信息，例如，可以根据测试车的id和测试行程的id设置所述文件的标识信息。在一些实施例中，处理设备122还可以将消息的时间信息作为所述消息在所述文件中的标识信息。例如，可以根据消息的时间戳设置所述消息在所述文件中的标识信息。

在一些实施例中，所述原始数据集中的每个数据元具有标注该数据元类型的类型信息。在一些实施例中，所述类型可以包括图像类、位置类、传感器类、数据包(packets)类和控制器局域网总线(Controller Area Network Bus，CAN Bus)类中的一种或多种。

在一些实施例中，数据元可以通过携带类型信息来标注自身所属的类型。即，可以为数据元分配大小能容纳数据元及其类型信息的存储单元，并将数据元及其类型信息按预设规则组织在一起后进行存储。在一些实施例中，可以将数据元和相应的类型信息通过预设的连接符号连接起来，连接符号预设的一边是数据元，连接符号的另一边则是该数据元的类型信息。在一些实施例中，可以将用于存储数据元及其类型信息的存储单元划分成至少两个分区，其中包括用于存储数据元本身的第一分区和用于储存该数据元的类型信息的第二分区。

步骤420，根据所述原始数据集中数据元的类型信息，建立不同的目标数据集。每个类型的数据元可以对应一目标数据集。例如，所述原始数据集中的数据元的类型的个数为N，可以建立N个不同的目标数据集，所述N个不同的目标数据集与不同类型的数据元相对应，其中，N为大于等于2的整数。在一些实施例中，步骤420可以由处理设备122(例如，目标数据集建立模块220)执行。

在一些实施例中，处理设备122可以识别所述原始数据集中每个数据元的类型并确定不同类型的个数。例如，以路测数据为例，所述原始数据集可以包括图像类、位置类、速度类这三种类型的数据元。处理设备122可以确定原始数据集中数据元的类型的个数为三个。进一步地，处理设备122可以建立三个不同的目标数据集，所述三个不同的目标数据集与不同类型的数据元对应。例如，所述三个不同的目标数据集可以是图像类目标数据集、位置类目标数据集以及速度类目标数据集。又例如，可以根据获取路测数据的设备类型划分数据元的类型。所述设备可以包括相机、雷达、惯性测量单元(IMU)等。所述原始数据可以包括相机类数据、雷达类数据、IMU类数据等。处理设备122可以建立不同的目标数据集，所述不同的目标数据集与不同类型的数据元对应。例如，所述不同的目标数据集可以是相机类目标数据集、雷达类目标数据集以及IMU类目标数据集。

在一些实施例中，处理设备122还可以根据目标数据集对应的类型设置该目标数据集的标识信息，以识别不同类型的目标数据集。由于目标数据集的标识信息和类型信息是对应的，在一些实施例中，标识信息可以包括同一目标数据集中各数据元共同的类型信息。

仅作为示例，在一些实施例中，处理设备122可以将一个目标数据集存储在一个文件中，并将与所述目标数据集对应的标识信息存储在另一个文件中，所述目标数据集和其对应的标识信息可以通过预设的连接符号连接起来。连接符号预设的一边是目标数据集，连接符号的另一边则是该目标数据集的标识信息。

步骤430，基于所述原始数据集中的数据元的类型信息以及目标数据集，将与所述目标数据集对应的数据元存储在相应的目标数据集中。在一些实施例中，步骤430可以由处理设备122(例如，存储模块240)执行。

在一些实施例中，处理设备122可以确定原始数据集中每个数据元的类型，并将所述数据元存储在对应的目标数据集中。例如，如果所述数据元是图像类数据元，处理设备122可以将所述数据元存储在图像类目标数据集中。例如，图5是根据本申请一些实施例所示的将原始数据集中不同类型的数据元存储在相应的目标数据集中的示意图。如图5所示，一原始数据集的数据元类型包括3种类型A、B、C，则分别对应这3种类型建立3个目标数据集。进而，将属于类型A的数据元A1、A2、A3存储在类型A对应的目标数据集中，将属于类型B的数据元B1、B2存储在类型B对应的目标数据集中，以及将属于类型C的数据元C1、C2、C3、C4存储在类型C对应的目标数据集中。

进一步地，处理设备122还可以将与所述目标数据集对应的标识信息作为元服务信息存储在存储设备中。在所述存储设备中，所述标识信息可以通过指针指向所述图像类目标数据集。在一些实施例中，用户可以基于所述元服务信息定位所述图像类目标数据集。例如，用户可以通过终端设备130的输入/输出接口输入与所述图像类目标数据集相关的查询请求，处理设备122可以基于所述查询请求访问所述存储设备，从而确定所述图像类目标数据集的位置。

在一些实施例中，同一原始数据集中的各数据元可以存放在物理上连续的内存空间，也可以存放在物理上非连续的内存空间且非连续存放的数据元间通过指针进行链接。在一些实施例中，处理设备122(例如，索引建立模块230)还可以建立所述目标数据集的索引信息，以提供对所述目标数据集中数据元的索引功能。在一些实施例中，所述索引信息可以至少包括所述目标数据集中各数据元的一一对应的元标识信息和存储位置信息。其中，元标识信息可以指相应数据元的标识信息。基于此，一旦确定数据元的元标识信息，即可确定与该数据元的元标识信息对应的该数据元的存储位置信息，从而可以根据确定的存储位置信息调用该数据元。在一些实施例中，所述索引信息还可以包括目标数据集的标识信息。基于此，处理设备122可以基于用户的数据调用请求中的数据集的标识信息确定待调用目标数据集的位置。在一些实施例中，所述索引信息可以存储在存储设备中，处理设备122可以基于用户的数据调用请求访问存储设备，并进一步基于所述存储设备中的索引信息定位与所述用户的数据调用请求对应的数据元。在一些实施例中，处理设备122可以分别建立每个目标数据集的索引信息。

在一些实施例中，所述元标识信息可以包括相应数据元的时间信息。进一步地，在一些实施例中，所述时间信息可以包括时间戳。时间戳可以用于唯一地标识一份数据生成的时间(例如，所述数据元被采集的时间)。在一些实施例中，所述存储位置信息可以包括偏移量。偏移量可以指存储单元的实际地址(例如，所述数据元的地址)与其所在段(例如，所述目标数据集)的段地址之间的距离。关于所述索引信息的具体实现方式，可以参考图6及其相关描述。图6是根据本申请一些实施例所示的与目标数据集对应的索引信息的示意图。如图6所示，类型文件表示目标数据集，类型索引文件表示该目标数据集的索引信息。在类型索引文件中，Timestamp表示时间戳，Offset表示偏移量。类型文件对应的类型索引文件中的每个消息(用Msg表示)对应指向(链接)该类型文件中的每个消息，并且包括所指向的消息的时间戳和存储位置。基于建立类型索引文件，可以通过时间戳确定相应的消息。类似地，可以理解，通过建立索引信息，可以通过时间信息确定相应的数据元。例如，当用户希望调用特定时间段的数据时，系统可以获取用户指定的时间段并查询包含属于该时间段的时间信息的索引信息，并根据查询到的索引信息中属于该时间段的时间信息对应的存储位置信息确定属于该时间段的数据元的位置，从而按照用户指定的时间段调用相应部分的数据元。

在一些实施例中，目标数据集中的各数据元可以是按时间顺序连续存储的。基于此，对于用户针对待调用数据指定的时间段，系统可以确定该时间段的起始时刻和终止时刻，并根据该起始时刻和终止时刻和建立的索引信息确定与该起始时刻对应的数据元(称为“起始数据元”)和与该终止时刻对应的数据元(称为“终止数据元”)，进而调用从该起始数据元到该终止数据元的所有数据元(即属于该时间段的所有数据元)。具体地，可以继续参考图6，类型文件中的消息按各自时间戳的顺序连续存储，系统通过确定起始时间戳(Start Timetamp)和终止时间戳(End Timestamp)，查询索引信息中与该起始时间戳和终止时间戳对应的起始偏移量和终止偏移量，进而根据该起始偏移量和终止偏移量确定类型文件中相应的起始消息和终止消息并调用从该起始消息到该终止消息的所有消息(例如，图6中Msg3到Msg5)。如此，通过定位起始和终止数据元即可调用属于指定时间段的所有数据元，相较于通过定位属于指定时间段的每个数据元来调用属于指定时间段的所有数据元相比，提高了数据调用效率。

值得说明的是，在一些实施例中，原始数据集中的各数据元也可以是按时间顺序连续存储的。如此，在按数据元的类型将原始数据集划分成多个目标数据集时，可以将从原始数据集确定的属于同一类型的数据元按原本在原始数据集中的排列顺序依次拼接起来，从而得到各数据元按时间顺序连续存储的目标数据集。

在一些实施例中，目标数据集的索引信息还可以包括该目标数据集中各数据元对应的原始数据集的集标识信息。参照前文，该集标识信息可以包括测试车的id和/或测试行程的id。基于此，可以根据用户针对集标识信息设定的索引条件，仅调用符合条件的目标数据集中的数据元。例如，在一些实施例中，该索引条件可以包括测试车id范围、测试行程id范围、特定的一个或多个测试车/测试行程的id等或其任意组合。

需要注意的是，以上对于数据存储方法400的描述，仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该方法的原理后，可能在不背离这一原理的情况下，对各个步骤进行任意组合，或者，可以增加或删减任意步骤。

通过将原始数据集切割成与不同类型对应的多个目标数据集存储，用户调用数据时可以直接根据待调用数据的类型从相应的目标数据集中获取数据，相比基于原始数据集提取其中部分类型的数据元，调用方式直接且调用的数据量小，因此能够从庞大数量的数据中高效地调用满足用户特定需求的部分数据。通过本申请实施例提供的数据存储方法，原始数据集中同一类型的数据元可以存储在一个目标数据集中，系统只需查找并访问属于用户指定类型的目标数据集，即可从中调用出用户指定类型的数据。另外，目标数据集中的各数据元可以按时间顺序连续存储，用户可以进一步获取指定类型在指定时间段内的目标数据。进一步地，目标数据集可以按预设的时间间隔划分成多个目标数据子集并分别缓存，用户可以基于数据调用请求仅获取所述多个目标数据子集中部分目标数据子集对应的数据元以实现快速调用部分数据的功能。相较于基于原始数据集调用数据，本申请实施例提供的数据存储方法使得数据调用过程更为简单且数据访问量更小，能够较好地提高数据调用的效率。

图7是根据本申请一些实施例所示的数据调用方法的示例性流程图。如图7所示，该数据调用方法可以包括：

步骤710，获取由用户端发送的数据调用请求，所述数据调用请求至少包括待调用数据所属的类型。在一些实施例中，步骤710可以由处理设备122(例如，用户请求获取模块310)执行。

在一些实施例中，所述数据调用请求可以由用户通过移动设备(例如，终端设备130的输入/输出接口)或计算设备输入。例如，终端设备130的输入/输出接口可以包括输入设备，诸如键盘、鼠标、触摸屏、麦克风、轨迹球等或其任意组合，用户可以使用所述输入设备输入所述数据调用请求。在一些实施例中，所述数据调用请求可以被进一步发送到(例如，经由网络150)数据处理系统100的处理设备122和/或其他组件。仅作为示例，所述移动设备或计算设备可以提供数据查询界面，该数据查询界面可以支持用户输入与待调用数据相关的筛选条件。移动设备或计算设备获取用户输入的筛选条件后生成相应的数据调用请求并将所述数据调用请求发送给数据处理系统100的处理设备122和/或其他组件。在一些实施例中，所述数据包括路测数据。数据调用请求还可以包括路测数据采集时间范围信息、测试车的id和/或测试行程的id等信息。

步骤720，基于所述数据调用请求获取原始数据中的部分数据以得到所述待调用数据，所述部分数据包括与所述待调用数据所属的类型相对应的目标数据集中的数据元。在一些实施例中，步骤720可以由处理设备122(例如，调用模块320)执行。

在一些实施例中，数据处理系统100可以提供索引机制。例如，如图4所述，处理设备122可以确定所述目标数据集的元服务信息，以提供对所述目标数据集中数据元的索引功能。所述元服务信息可以存储在存储设备中。处理设备122(例如，索引信息获取单元322)可以从所述数据调用请求中获取用户的索引请求信息，进一步地，处理设备122可以基于所述数据调用请求中的索引请求信息与存储在存储设备中的元服务信息进行匹配，从而确定与数据调用请求中的索引请求信息匹配的索引信息(或元服务信息)，基于索引信息或元服务信息指向的存储位置获取数据元。

在一些实施例中，所述数据调用请求至少包括待调用数据所属的类型。在一些实施例中，待调用数据所述的类型可以包括一个，也可以包括多个。例如，移动设备或计算设备提供的数据查询界面可以显示多个候选类型，用户从中选定待调用数据所属的一个或多个类型后，移动设备或计算设备生成包括用户选定的一个或多个类型的数据调用请求并将该数据调用请求发送至数据处理系统100。在一些实施例中，所述索引信息可以至少包括目标数据集的标识信息。由于目标数据集的标识信息和类型信息是对应的，处理设备122可以基于所述数据调用请求所包含的用户选定的一个或多个类型(即用户索引请求信息)访问元服务信息，确定元服务信息中与所述一个或多个类型对应的索引信息。进一步地，处理设备122可以基于所述索引信息确定相应目标数据集的存储位置，从而调用相应目标数据集中的数据元。

在一些实施例中，所述数据调用请求还可以包括与待调用数据相关的更多筛选条件。值得说明的是，当所述数据调用请求包括用户选定的多个类型时，处理设备122获取满足多个筛选条件的待调用数据的方式可以包括多种。例如，在一些实施例中，处理设备122可以首先确定与用户选定的多个类型一一对应的多个目标数据集，再根据所述数据调用请求中的其他筛选条件从每个类型的目标数据集筛选出符合条件的数据元，从而得到满足多个筛选条件的待调用数据。又例如，在一些实施例中，处理设备122可以先从所有类型的目标数据集中筛选出符合其他筛选条件的数据元，再从筛选出的数据元中筛选出属于用户选定的多个类型的数据元，从而得到满足多个筛选条件的待调用数据。再例如，处理设备122可以基于所述数据调用请求访问元服务信息，并基于元服务信息中的索引信息确定满足多个筛选条件的待调用数据存储位置，从而得到满足多个筛选条件的待调用数据。

在一些实施例中，所述索引信息可以至少包括所述目标数据集中各数据元的一一对应的元标识信息和存储位置信息，其中，元标识信息指相应数据元的标识信息。相应地，所述数据调用请求还可以包括针对待调用数据的与元标识信息相关的元限定条件。处理设备122可以基于所述数据调用请求访问元服务信息，确定元服务信息中与所述一个或多个类型对应且满足所述元限定条件的索引信息。进一步地，处理设备122可以根据所述索引信息对应的存储位置获取数据元。

在一些实施例中，所述数据可以包括路测数据。用户的数据调用请求可以包括路测数据采集设备的类型、路测数据采集时间范围信息、测试车的id和/或测试行程的id等索引请求信息。由所述数据调用请求确定的所述索引请求信息可以至少包括测试车的id和/或测试行程的id、待调用数据所属的类型、时间范围、数据时间长度等。

在一些实施例中，数据处理系统100可以提供边缘缓存机制。例如，在一些实施例中，处理设备122(例如，分段存储单元323)可以基于与用户的数据调用请求匹配的元服务信息从存储有目标数据集的存储设备(例如，分布式文件系统)中获取目标数据集中存储的数据元。进一步地，处理设备122可以基于数据元标识的时间信息(例如，时间戳)，即目标数据集对应的时间信息以及用户数据调用请求中的时间信息，将目标数据集按预设的时间间隔划分成多个目标数据子集，每个目标数据子集对应一个时间间隔，并分别存储各个时间间隔(例如，每10s)获取的数据元至每个目标数据子集(也称为物理数据文件)。例如，当用户数据调用请求中的时间范围长度小于目标数据集的时间范围长度，将目标数据集按预设的时间间隔划分成多个目标数据子集。例如，每个目标数据集对应的数据元的时间长度为100秒，用户数据调用请求中的时间长度为20秒，则处理设备122可以将目标数据集划分为10个目标数据子集，每个目标数据子集对应10秒的数据元。如本文所述，此处的时间范围可以指的是数据元被采集的时间范围。在一些实施例中，所述时间间隔可以依据用户针对待调用数据指定的时间段的最小值来设定，以尽量保证按照该时间段调用的若干目标数据子集与该时间段实际对应的数据相吻合。在一些实施例中，可以直接将用户针对待调用数据指定的时间段的最小值设为所述时间间隔。

在一些实施例中，处理设备122可以通过物理存储的方式将每个目标数据子集以及存储在其中的数据元存储在处理设备122的存储器中。当用户完成该目标数据集中的部分数据元的调用后，该目标数据子集以及其所存储的数据元可以被擦除。进一步的，处理设备122(例如，数据获取单元324)可以基于用户数据调用请求的时间信息，从存储设备中获取各个时间间隔中与该时间信息相匹配的目标数据子集中的数据元。例如，当用户所在地与存储有原始数据集的存储设备(称为第一存储设备，例如，分布式文件系统)处于同一城市或国家，处理设备122(称为本地服务器)可以基于上述方法分发数据给用户的终端(也称为用户端，例如，终端设备130)。

在一些实施例中，处理设备122可以基于与用户的数据调用请求匹配的元服务信息，确定元服务信息指向的目标数据集。并基于目标数据集对应的时间信息(例如，时间范围)以及用户数据调用请求的时间信息建立目标数据集对应的多个逻辑文件。例如，当用户端所在地与存储有原始数据集的存储设备(称为第一存储设备，例如，分布式文件系统)不处于同一区域(例如，城市或国家)，处理设备122与所述第一存储设备处于同一区域(例如，城市或国家)，处理设备122可以建立目标数据集对应的多个逻辑文件。处理设备122可以进一步地将目标数据集以及其存储的数据元发送给第二存储设备，所述第二存储设备与用户端处于同一区域(例如，城市或国家)。第二存储设备距离用户端的距离小于第一存储设备距离用户端的距离。第二存储设备所处的服务器可以将接收的目标数据集(物理数据文件)按预设的时间间隔划分成多个目标数据子集，并将数据元分别存储至对应的目标数据子集中。所述多个逻辑文件通过指针方式指向处于第二存储设备的目标数据子集。处理设备122可以通过匹配用户数据调用请求中的时间信息与每个逻辑文件中的时间信息，确定与用户调用请求匹配的逻辑文件，并基于用户匹配的逻辑文件所指向的第二存储设备中的目标数据子集，指示第二存储设备的服务器向用户端发送匹配的目标数据子集中的数据元。

逻辑文件中不存储目标数据子集中的数据元，可以存储关于数据元的信息(例如，部分的元服务信息)。逻辑文件可以通过指针方式指向物理数据文件(即目标数据子集)。例如，可以将目标数据集按预设的时间间隔划分成多个目标数据子集，每个目标数据子集对应一个时间间隔，每个目标数据子集可以建立一个逻辑文件。每个逻辑文件中包括每个目标数据子集中存储的数据元的元服务信息。

步骤730，将所述待调用数据同步至所述用户端的存储设备中。在一些实施例中，步骤730可以由处理设备122(例如，同步模块(图中未示出))执行。在一些实施例中，处理设备122可以进一步将多个目标数据子集中的数据元进行合并后发送给用户端的存储设备中，从而实现所述待调用数据在所述用户端的同步。

根据上述方法，当所述数据调用请求还包括待调用数据对应的时间范围，且待调用数据对应的时间范围小于目标数据集对应的时间范围时，处理设备122不需要将整个目标数据集中的数据发送给用户端，只需将于用户调用数据请求中的时间范围信息对应的数据元(即目标数据子集中的数据元)发送给用户端，从而实现快速调用部分数据的功能，提高数据调用效率。

需要注意的是，以上对于数据调用方法700的描述，仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该方法的原理后，可能在不背离这一原理的情况下，对各个步骤进行任意组合，或者，可以增加或删减任意步骤。例如，步骤720还可以包括智能推荐过程。具体地，处理设备122可以记录用户的调用习惯，根据所述调用习惯向用户推荐调用结果。再例如，处理设备122还可以基于机器学习算法预测用户的搜索行为。

图8是根据本申请一些实施例所示的数据调用过程的示意图。如图8所示，用户输入的数据调用请求可以包括与行程ID(即测试行程的id)、时间范围和类型相关的信息。多个目标数据集可以包括A类型文件、B类型文件以及C类型文件。根据数据处理系统100提供的索引机制，处理设备122可以基于所述数据调用请求访问元服务信息。所述元服务信息可以包括如图8中所示的类型文件索引以及类型文件信息，其中，类型文件索引可以是与行程ID(即测试行程的id)、时间范围等相关的索引信息，类型文件信息可以是与目标数据集的标识信息相关的索引信息，所述目标数据集的标识信息与类型对应。处理设备122可以根据所述类型文件信息与类型文件索引确定与类型对应的目标数据集，以及每个目标数据集中待调用的数据元的具体位置(例如，偏移起点和偏移终点)，从而获取每个目标数据集中的待调用数据元。进一步地，处理设备122可以将待调用数据元合并生成数据包。所述数据包可以作为数据调用的结果传输给用户端。

图9是根据本申请一些实施例所示的数据调用场景的示意图。如图9所示，数据调用场景可以包括用户端、本地服务器(及数据处理系统100)以及远程数据中心。

在用户端，用户可以通过用户端，即计算设备(例如，终端设备130的输入/输出接口)输入数据调用请求。

在一些实施例中，本地服务器(例如，数据处理系统100)可以包括上层文件系统(也可以成为逻辑文件系统)和底层文件系统。上层文件系统(或逻辑文件系统)可以用于定义本地服务器与用户端的接口(即访问)。例如，上层文件系统可以提供索引机制。例如，所述索引可以由处理设备122基于原始数据集建立。上层文件系统还可以定义文件及其属性、文件所允许的操作、文件的目录等信息。进一步地，处理设备122可以通过上层文件系统，根据数据调用请求确定与所述数据调用请求对应的索引请求信息，并基于数据索引信息以及文件目录确定与调用请求对应底层文件系统中的元服务信息，并基于元服务信息(例如，存储位置信息)确定满足所述数据调用请求的数据元的存储位置，从而通过底层文件系统得到所述待调用数据。

底层文件系统用于将上层文件系统映射到物理存储设备(例如，本地服务器中的硬盘)或内存设备。例如，底层文件系统可以包括元服务信息，其中包括目标数据集的索引信息(例如，目标数据集的标识信息、目标数据集中各数据元的一一对应的元标识信息和存储位置信息、原始数据集的集标识信息等)。底层文件系统可以基于上层文件系统中确定的索引请求信息，与元服务信息进行匹配，确定匹配的元服务信息指向的数据存储在物理存储设备的位置，由此获取数据元，实现上层文件系统到物理存储设备之间的映射。

在一些实施例中，在底层文件系统中，本地服务器可以提供边缘缓存机制。例如，本地服务器可以将远程数据中心中的目标数据集按照流程400所描述的方法存储至本地服务器的存储设备中。仅作为示例，本地服务器可以基于数据元标识的时间信息(例如，时间戳)，将目标数据集按预设的时间间隔被划分成多个目标数据子集，并被分别存储在存储设备中。目标数据子集包括元数据的时间信息，所述时间信息可以是数据元存储在存储设备的地址。进一步的，本地服务器可以基于用户数据调用请求的时间信息，从存储设备中获取各个时间间隔中与该时间信息相匹配的目标数据子集中的数据元。例如，当用户所在地与存储有原始数据集的存储设备处于同一区域，本地服务器可以基于上述方法分发数据给用户端。作为另一示例，当用户端所在地与存储有原始数据集的存储设备(称为第一存储设备)不处于同一区域，本地服务器与所述第一存储设备处于同一区域时，本地服务器可以建立目标数据集对应的多个逻辑文件。本地服务器可以进一步地将目标数据集以及其存储的数据元发送给第二存储设备，所述第二存储设备与用户端处于同一区域。第二存储设备所处的服务器可以将接收的目标数据集(物理数据文件)按预设的时间间隔划分成多个目标数据子集，并将数据元分别存储至对应的目标数据子集中。所述多个逻辑文件通过指针方式指向处于第二存储设备的目标数据子集。本地服务器可以通过匹配用户数据调用请求中的时间信息与每个逻辑文件中的时间信息，确定与用户调用请求匹配的逻辑文件，并基于用户匹配的逻辑文件所指向的第二存储设备中的目标数据子集，指示第二存储设备的服务器向用户端发送匹配的目标数据子集中的数据元。进一步的，第二存储设备的服务器可以将多个目标数据子集中的数据元进行合并后发送给用户端。根据如上所述的方法，当所述数据调用请求还包括待调用数据对应的时间范围时，可以通过访问指定时间段内的目标数据子集对应的元服务信息来调用与该时间范围实际对应的数据(即物理存储的目标数据子集)，从而可以仅同步该时间范围实际对应的数据，而非同步整个目标数据集，以此实现快速调用部分数据的功能，提高数据调用的效率。例如，如图9所示，用户可以在预设的测试站中获取存储在远程数据中心的数据，以进行进一步的分析处理(例如，研发程序调试、测试仿真模拟、问题数据分析等)。

图10是根据本申请一些实施例所示的数据调用示意图。如图10所示，当用户需要调用数据时，可以通过用户端输入数据调用请求(步骤1)，数据处理系统100可以基于该数据调用请求从元服务模块获取与该调用请求匹配的元服务信息(或索引请求信息)(步骤2)。进一步地，数据处理系统100可以确定该元服务信息指向的目标数据集。仅作为示例，假设数据处理系统100与存储有原始数据集的本地存储设备(称为第一存分布式文件系统(HDFS))处于第一区域，而用户端所在地与第二HDFS处于第二区域(第一区域和第二区域为不同区域)或者用户端距离第二HDFS的服务器比用户端距离第一HDFS的服务器更近。例如，所述第一区域可以位于美国，所述第二区域可以位于中国。相应地，所述第一HDFS可以是设立在美国的数据中心，所述第二HDFS可以是设立在中国的数据中心(例如，内蒙古(NMG)数据中心)。数据处理系统100在确定元服务信息指向的目标数据集(例如，相机数据文件)后，可以基于目标数据集对应的时间信息(例如，时间范围)以及用户数据调用请求的时间信息建立目标数据集对应的多个逻辑文件(例如，逻辑相机数据文件)。进一步地，数据处理系统100可以地将目标数据集以及其存储的数据元发送给第二HDFS。第二存HDFS所处的服务器可以将接收的目标数据集(物理数据文件)按预设的时间间隔划分成多个目标数据子集，并将数据元分别存储至对应的目标数据子集中。所述多个逻辑文件通过指针方式指向处于第二HDFS中的目标数据子集。数据处理系统100可以通过匹配用户数据调用请求中的时间信息与每个逻辑文件中的时间信息，确定与用户调用请求匹配的逻辑文件，并基于用户匹配的逻辑文件所指向的第二HDFS中的目标数据子集，指示第二HDFS的服务器向用户端发送匹配的目标数据子集中的数据元(步骤3)。进一步的，第二HDFS的服务器可以将多个目标数据子集中的数据元进行合并后发送给用户端(步骤4)。

图11是根据本申请一些实施例所示的数据存储和调用示意图。如图11所示，数据处理系统100包括元服务模块，所述元服务模块通过网络获取数据包(如本文其他地方所述的原始数据集)。元服务模块响应于接收到的数据包生成数据包处理任务(步骤1)。并将数据包处理任务以及数据包发送给处理模块。具体地，所述处理模块可以获取数据包(即原始数据集)处理任务并对所述数据包进行处理以及存储。例如，处理模块可以基于图4所述流程400对原始数据包(原始数据集)进行处理以及存储。处理模块可以根据所述原始数据包中数据元的类型信息，建立不同的目标数据集。例如，所述原始数据包中的数据元的类型的个数为N，可以建立N个不同的目标数据集，所述N个不同的目标数据集与不同类型的数据元相对应。处理模块还可以根据目标数据集对应的类型设置该目标数据集的标识信息，以识别不同类型的目标数据集。进一步地，处理模块可以确定原始数据集的元服务信息(也可以称为索引信息或包括索引信息)，用于确定原始数据集或原始数据集中的数据元在存储设备中的存储位置。

基于所述处理过程，所述处理模块可以生成目标数据集以及对应的元服务信息。进一步地，所述处理模块可以将目标数据集以及其存储的数据元上传(步骤2)并存储在本地的存储设备或系统(即第一分布式文件系统(HDFS)中)(步骤3)，并将元服务信息存储在元服务模块相关联的存储设备中(步骤4)。如本文中所述，本地的存储设备或系统指的是与数据处理系统100处于同一区域(例如，城市或国家)的存储设备或系统。在一些实施例中，第一HDFS可以将处理后的数据包同步至第二HDFS。第二HDFS与第一HDFS处于不同的区域(例如，不同的城市或国家)，以便处于第二HDFS所在区域的用户端调用数据。关于基于第二HDFS进行数据调用的更多描述可以参考图10。

元服务信息可以包括目标数据集中各数据元一一对应的元标识信息(例如，时间戳)和存储位置信息(例如，偏移量)，目标数据集的标识信息，标数据集中各数据元对应的原始数据集的集标识信息等。

当用户需要调用数据时，用户可以获取第一HDFS中数据的下载地址或者访问地址(步骤0)。用户可以基于用户端输入数据调用请求(步骤5)。数据调用请求可以包括待调用数据所属的类型、与元标识信息相关的元限定条件(例如，时间范围)等信息。例如，当用户想要调用路测数据时，数据调用请求可以包括路测数据采集设备的类型、路测数据采集时间范围信息、测试车的id和/或测试行程的id等索引请求信息。

数据处理系统100可以基于数据调用请求从元服务模块获取与该调用请求匹配的元服务信息(或索引请求信息)(步骤6)，并根据元服务信息调用存储在用户端附近的分布式文件系统(HDFS)中的目标数据子集中的数据(步骤7)。其中，从用户端附近的分布式文件系统调用数据可以指从第一HDFS或第二HDFS调用数据(步骤8)。例如，当用户端所在地与存储有原始数据集的第一HDFS处于同一区域时，数据处理系统100可以基于元服务信息从第一HDFS中获取目标数据集中存储的数据元。进一步的，数据处理系统100可以基于数据元标识的时间信息(例如，时间戳)，即目标数据集对应的时间信息以及用户数据调用请求中的时间信息，将目标数据集按预设的时间间隔划分成多个目标数据子集，并通过物理存储的方式将每个目标数据子集以及存储在其中的数据元存储在数据处理系统100的存储器中。基于用户数据调用请求的时间信息，数据处理系统100可以进一步从存储设备中获取各个时间间隔中与该时间信息相匹配的目标数据子集中的数据元。

再例如，第一HDFS可以将处理后的数据包同步至第二HDFS。第二HDFS与第一HDFS处于不同的区域(例如，不同的城市或国家)，以便处于第二HDFS所在区域的用户端调用数据。第二HDFS距离用户端的距离小于第一HDFS距离用户端的距离。关于基于第二HDFS进行数据调用的更多描述可以参考图10。在一些实施例中，数据处理系统100还可以将从用户端附近的分布式文件系统(HDFS)中获取的多个目标数据子集中的数据元进行合并后发送给用户端(步骤9)。

图12是根据本申请一些实施例所示的用户交互界面的示意图。如图12所示，用户交互界面可以包括时间选择区1410、类型选择区1420、数据示意区1430、下载地址区1440以及处理进度区1450。

在时间选择区1410，用户可以输入待调用的数据对应的时间范围。例如，用户可以通过与所述用户交互界面关联的输入设备(例如，键盘、鼠标、触摸屏、麦克风、轨迹球)输入所述时间范围。

在类型选择区1420，用户可以输入待调用的数据对应的类型。例如，如图12所示，用户可以通过输入设备(例如，鼠标)勾选该类型对应的选择框来输入待调用的数据对应的类型。

数据示意区1430可以用于显示与用户输入的时间范围和类型对应的待调用的数据。例如，如图12所示，与用户输入的时间范围和类型对应的待调用的数据可以以时间线和数据子集的组合形式显示在数据示意区1430中，以便用户检查或确认输入的信息是否正确。

下载地址区1440可以用于提供与待调用的数据对应的下载链接。例如，用户可以点击所述下载链以触发数据调用过程。在数据调用过程中获取的待调用的数据可以合并生成文件包，并进一步被下载在用户端。

处理进度区1450可以用于显示数据处理的进度。例如，如图12所示，数据处理的进度可以包括处理完成、未处理、无法处理。用户可以通过所述处理进度区1450确定数据处理(例如，数据调用)的进度。

本申请实施例可能带来的有益效果包括但不限于：(1)将原始数据集中同一类型的数据元存储在一个目标数据集中，只需查找并访问属于用户指定类型的目标数据集，即可调用出用户指定类型的数据；(2)目标数据集中的各数据元可以按时间顺序连续存储，用户可以进一步获取指定类型在指定时间段内的目标数据；(3)目标数据集可以按预设的时间间隔划分成多个目标数据子集，用户可以基于数据调用请求仅获取所述多个目标数据子集中部分目标数据子集对应的数据元以实现快速调用部分数据的功能。相较于基于原始数据集调用数据，本申请实施例提供的数据存储方法使得数据调用过程更为简单且数据访问量更小，能够较好地提高数据调用的效率。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本申请作为参考。与本申请内容不一致或产生冲突的申请历史文件除外，对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是，如果本申请附属材料中的描述、定义、和/或术语的使用与本申请所述内容有不一致或冲突的地方，以本申请的描述、定义和/或术语的使用为准。

最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不仅限于本申请明确介绍和描述的实施例。

Claims (29)

1.一种由计算装置执行的数据存储方法，其特征在于，所述方法包括：

获取原始数据集，所述原始数据集包括多个数据元，每个数据元具有标注该数据元类型的类型信息；

根据所述原始数据集中数据元的类型信息，得到不同类型的个数N，并对应建立N个不同的目标数据集，所述N个不同的目标数据集与不同类型的数据元相对应；其中，N为大于等于2的整数；以及

基于所述原始数据集中的数据元的类型信息以及各目标数据集，将与所述目标数据集对应的数据元存储在相应的目标数据集中，所述目标数据集存储于第一存储设备中。

2.根据权利要求1所述的方法，其特征在于，所述数据集为文件，所述文件的数据元为消息。

3.根据权利要求1所述的方法，其特征在于，所述类型包括图像类、位置类、传感器类、数据包类和控制器局域网总线类中的一种或多种。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

建立所述目标数据集的索引信息，所述索引信息至少包括所述目标数据集中各数据元的一一对应的元标识信息和存储位置信息；其中，元标识信息是指相应数据元的标识信息。

5.根据权利要求4所述的方法，其特征在于，所述目标数据集中的数据元按时间顺序排列，所述元标识信息包括相应数据元的时间信息。

6.根据权利要求4所述的方法，其特征在于，所述索引信息还包括所述目标数据集中各数据元对应的原始数据集的集标识信息；其中，集标识信息是指原始数据集的标识信息。

7.根据权利要求1所述的方法，其特征在于，所述原始数据集中的数据包括自动驾驶交通工具在运行过程中所产生或采集的数据。

8.根据权利要求1所述的方法，其特征在于，

接收由用户端发送的数据调用请求，所述数据调用请求至少包括待调用数据所属的类型；

基于所述数据调用请求从所述N个不同的目标数据集确定相应类型目标数据集；

基于所述确定的目标数据集中的数据元，得到所述待调用数据；以及

将所述待调用数据发送给所述用户端的第二存储设备中。

9.根据权利要8所述的方法，其特征在于，所述基于所述确定的目标数据集中的数据元，得到所述待调用数据还包括：

从所述第一存储设备中获取所述目标数据集以及其存储的数据元；

将所述目标数据集按预设的时间间隔划分成多个目标数据子集；以及

基于所述数据调用请求，获取所述多个目标数据子集中部分目标数据子集对应的数据元，所述待调用数据包括所述部分目标数据子集对应的所述数据元。

10.根据权利要8所述的方法，其特征在于，所述基于所述确定的目标数据集中的数据元，得到所述待调用数据还包括：

将所述第一存储设备中获取的所述确定的目标数据集以及其存储的数据元发送至第三存储设备，所述第一存储设备距离所述用户端远于所述第三存储设备距离所述用户端；

将所述目标数据集按预设的时间间隔划分成多个目标数据子集并存储于所述第三存储设备；

建立多个逻辑文件，每个逻辑文件对应所述多个目标数据子集中的一个，所述每个逻辑文件包括所述目标数据子集中的数据元对应的索引信息；以及

基于所述数据调用请求以及所述逻辑文件，从所述第三存储设备中获取所述多个目标数据子集中的部分目标数据子集存储的数据元，所述待调用数据包括所述部分目标数据子集对应的所述数据元。

11.一种数据存储系统，其特征在于，所述系统包括：

原始数据集获取模块，用于获取原始数据集，所述原始数据集包括多个数据元，每个数据元具有标注该数据元类型的类型信息；

目标数据集建立模块，用于根据所述原始数据集中数据元的类型信息，得到不同类型的个数N，并对应建立N个不同的目标数据集，所述N个不同的目标数据集与不同类型的数据元相对应；其中，N为大于等于2的整数；以及

存储模块，用于基于所述原始数据集中的数据元的类型信息以及目标数据集，将与所述目标数据集对应的数据元存储在相应的目标数据集中。

12.根据权利要求11所述的系统，其特征在于，所述数据集为文件，所述文件的数据元为消息。

13.根据权利要求11所述的系统，其特征在于，所述类型包括图像类、位置类、传感器类、数据包类和控制器局域网总线类中的一种或多种。

14.根据权利要求11所述的系统，其特征在于，所述系统还包括：

索引信息建立模块，用于建立所述目标数据集的索引信息，所述索引信息至少包括所述目标数据集中各数据元的一一对应的元标识信息和存储位置信息；其中，元标识信息是指相应数据元的标识信息。

15.根据权利要求14所述的系统，其特征在于，所述目标数据集中的数据元按时间顺序排列，所述元标识信息包括相应数据元的时间信息。

16.根据权利要求14所述的系统，其特征在于，所述索引信息还包括所述目标数据集中各数据元对应的原始数据集的集标识信息；其中，集标识信息是指原始数据集的标识信息。

17.一种存储介质，其特征在于，所述存储介质用于存储计算机指令，当计算机读取所述存储介质中的计算机指令后，执行如权利要求1～10中任一项所述的数据存储方法。

18.一种由计算装置执行的数据调用方法，其特征在于，原始数据集中的数据元按权利要求1～10中任一项所述的数据存储方法被存储于相应的目标数据集，所述目标数据集存储于计算机装置相关联的第一存储设备中，所述数据调用方法包括：

获取由用户端发送的数据调用请求，所述数据调用请求至少包括待调用数据所属的类型；

基于所述数据调用请求获取所述目标数据集中的部分数据以得到所述待调用数据，所述部分数据包括与所述待调用数据所属的类型相对应的目标数据集中的数据元；以及

将所述待调用数据发送至所述用户端的第二存储设备中。

19.根据权利要求18所述的方法，其特征在于，所述目标数据集具有相应的索引信息，所述索引信息至少包括所述目标数据集中各数据元的一一对应的元标识信息和存储位置信息，其中，元标识信息是指相应数据元的标识信息；所述数据调用请求还包括与元标识信息相关的元限定条件；

所述基于所述数据调用请求获取相应类型目标数据集中的数据元，包括：

基于所述数据调用请求获取与相应类型对应且满足所述元限定条件的索引信息；以及

基于所述获取的索引信息中的存储位置获取所述数据元。

20.根据权利要求19所述的方法，其特征在于，所述目标数据集中的数据元按时间顺序排列，所述元标识信息包括相应数据元的时间信息；所述元限定条件包括所述待调用数据对应的时间范围。

21.根据权利要18所述的方法，其特征在于，所述基于所述数据调用请求获取所述目标数据集中的部分数据还包括：

将所述目标数据集按预设的时间间隔划分成多个目标数据子集；以及

基于所述数据调用请求，获取所述目标数据子集中部分目标数据子集对应的所述数据元，所述待调用数据包括所述部分目标数据子集对应的所述数据元。

22.根据权利要18所述的方法，其特征在于，所述基于所述数据调用请求获取所述目标数据集中的部分数据还包括：

将所述第一存储设备中获取的所述目标数据集以及其存储的数据元发送至第三存储设备，所述第一存储设备距离所述用户端远于所述第三存储设备距离所述用户端；

将所述目标数据集按预设的时间间隔划分成多个目标数据子集并存储于所述第三存储设备；

建立多个逻辑文件，每个逻辑文件对应所述多个目标数据子集中的一个，所述逻辑文件包括目标数据子集中的数据元对应的索引信息；以及

基于所述数据调用请求以及所述逻辑文件，从所述第三存储设备中获取所述多个目标数据子集中的部分目标数据子集对应的数据元，所述待调用数据包括所述部分目标数据子集对应的所述数据元。

23.根据权利要求19所述的方法，其特征在于，所述索引信息还包括所述目标数据集中各数据元对应的原始数据集的集标识信息，其中，集标识信息是指原始数据集的标识信息；所述数据调用请求还包括与集标识信息相关的集限定条件；

所述基于所述数据调用请求获取与相应类型对应且满足所述元限定条件的索引信息，包括：

基于所述数据调用请求获取与相应类型对应且满足所述集限定条件的索引信息。

24.一种数据调用系统，其特征在于，原始数据集中的数据元按权利要求1～10中任一项所述的数据存储方法被存储于相应的目标数据集，所述目标数据集存储于计算机装置相关联的第一存储设备中，所述数据调用系统包括：

用户请求获取模块，用于获取由用户端发送的数据调用请求，所述数据调用请求至少包括待调用数据所属的类型；以及

调用模块，用于基于所述数据调用请求获取所述目标数据集中的部分数据以得到所述待调用数据，所述部分数据包括与所述待调用数据所属的类型相对应的目标数据集中的数据元。

25.根据权利要求24所述的系统，其特征在于，所述目标数据集具有相应的索引信息，所述索引信息至少包括所述目标数据集中各数据元的一一对应的元标识信息和存储位置信息，其中，元标识信息是指相应数据元的标识信息；所述数据调用请求还包括与元标识信息相关的元限定条件；

所述调用模块包括：

索引信息获取单元，用于基于所述数据调用请求获取与相应类型对应且满足所述元限定条件的索引信息；

分段存储单元，用于将所述目标数据集按预设的时间间隔划分成多个目标数据子集，分别存储每个目标数据子集；以及

数据元获取单元，用于基于获取的索引信息中的存储位置获取数据元。

26.根据权利要求25所述的系统，其特征在于，所述目标数据集中的数据元按时间顺序排列，所述元标识信息包括相应数据元的时间信息；所述元限定条件包括所述待调用数据对应的时间范围。

27.根据权利要求26所述的系统，其特征在于，所述数据调用系统还包括同步模块，所述同步模块用于将所述待调用数据发送至所述用户端的第二存储设备中。

28.根据权利要求25所述的系统，其特征在于，所述索引信息还包括所述目标数据集中各数据元对应的原始数据集的集标识信息，其中，集标识信息是指原始数据集的标识信息；所述数据调用请求还包括与集标识信息相关的集限定条件；

所述索引信息获取单元进一步用于：

基于所述数据调用请求获取与相应类型对应且满足所述集限定条件的索引信息。

29.一种存储介质，其特征在于，所述存储介质用于存储计算机指令，当计算机读取所述存储介质中的计算机指令后，执行如权利要求18～23中任一项所述的数据调用方法。

Images