CN117170581A - 数据录制方法、数据回放方法和装置 - Google Patents

Abstract

本发明公开了一种数据录制方法、数据回放方法和装置，该方法包括：获取针对待录制话题的数据录制指令；基于数据录制指令，获取与待录制话题对应的传感器数据；根据传感器数据的长度信息，采用预设数据录制规则将传感器数据保存到多个磁盘文件中。本方案通过根据数据长度信息将传感器数据录制到多个磁盘文件中，在车辆自动驾驶场景下，采集到的大量传感器数据可以分别写入到多个磁盘文件中，避免了写入到一个大磁盘文件中导致的时延以及读写性能下降，从而提高了保存传感器数据的效率；另外，由于还可以根据传感器数据的长度信息匹配对应的预设数据录制规则进行数据录制，也进一步提高了保存传感器数据的效率。

Description

数据录制方法、数据回放方法和装置

技术领域

本发明涉及自动驾驶技术领域，尤其涉及一种数据录制方法、数据回放方法和装置。

背景技术

随着人工智能的不断发展，车辆的自动驾驶技术也逐渐应用到生活中，并有着广泛的应用前景。目前，在实际道路上行驶的自动驾驶车辆都需要通过各种传感器来采集路况、车辆状态等车辆行驶数据，这些数据对于优化自动驾驶算法和策略非常重要。

通常，传感器采集到的车辆行驶数据通过数据录制与回放后，可以将车辆行驶数据保存到磁盘文件中，从而可以对车辆行驶数据进行分析，以了解车辆的行驶情况和性能表现。传统地，在进行数据录制与回放时，是直接将所有车辆行驶数据写入到磁盘文件中。

然而，由于在车辆自动驾驶场景下，采集到的车辆行驶数据的数据量较大，采用上述数据录制与回放方法保存车辆行驶数据的效率较低。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，为此，本发明第一方面提出一种数据录制方法，该方法包括：

获取针对待录制话题的数据录制指令；

基于数据录制指令，获取与待录制话题对应的传感器数据；

根据传感器数据的长度信息，采用预设数据录制规则将传感器数据保存到多个磁盘文件中；其中，各磁盘文件中传感器数据的长度之和小于或等于第一预设长度。

在一种可能的实施方式中，根据传感器数据的长度信息，采用预设数据录制规则将传感器数据保存到多个磁盘文件中，包括：

若传感器数据的长度小于或等于第二预设长度，则采用第一预设录制规则对传感器数据进行填充处理，生成填充数据，并将填充数据保存到多个磁盘文件中；

若传感器数据的长度大于第二预设长度，则采用第二预设录制规则直接将传感器数据保存到多个磁盘文件中。

在一种可能的实施方式中，填充数据包括第一填充数据和第二填充数据，传感器数据中包括多帧数据，采用第一预设录制规则对传感器数据进行填充处理，生成填充数据，包括：

将传感器数据按照帧顺序写入第一预设内存空间中；

若各帧传感器数据的长度之和小于或等于第二预设长度，则将第一预设内存空间中的传感器数据作为第一填充数据；

若各帧传感器数据的长度之和大于第二预设长度，则将除第一预设内存空间之外的其他传感器数据按照帧顺序写入第二预设内存空间中，若各帧其他传感器数据的长度之和小于或等于第二预设长度，则将第二预设内存空间中的其他传感器数据作为第二填充数据；

若各帧其他传感器数据的长度之和大于第二预设长度，则重复执行采用第一预设录制规则对传感器数据进行填充处理，生成填充数据的步骤。

在一种可能的实施方式中，各磁盘文件中包括文件序列信息，多个磁盘文件按照文件序列信息顺序排列，将填充数据保存到多个磁盘文件中，包括：

根据待录制话题创建一个磁盘文件；

将多个第一填充数据和第二填充数据保存至磁盘文件中；

若第一填充数据和第二填充数据的长度之和大于第一预设长度，则创建新的磁盘文件，并将其他第一填充数据和第二填充数据保存至新的磁盘文件中；

若其他第一填充数据和第二填充数据的长度之和大于第一预设长度，则重复执行采用第二预设录制规则将传感器数据保存到多个磁盘文件的步骤。

在一种可能的实施方式中，各磁盘文件中包括文件序列信息，多个磁盘文件按照文件序列信息顺序排列，传感器数据中包括多帧数据，采用第二预设录制规则直接将传感器数据保存到多个磁盘文件中，包括：

根据待录制话题创建一个磁盘文件；

将各帧传感器数据保存至磁盘文件中；

若各帧传感器数据的长度之和大于第一预设长度，则创建新的磁盘文件，并将各帧其他传感器数据保存至新的磁盘文件中；

若各帧其他传感器数据的长度之和大于第一预设长度，则重复执行采用第二预设录制规则将传感器数据保存到多个磁盘文件的步骤。

本发明第二方面提出一种数据回放方法，该方法包括：

获取针对待回放话题的数据回放指令；待回放话题为基于多个磁盘文件中保存的传感器数据确定的；多个磁盘文件为根据传感器数据的长度信息，采用预设数据录制规则将传感器数据进行保存后生成的；传感器数据为基于针对待录制话题的数据录制指令获取到的与待录制话题对应的传感器数据；各磁盘文件中传感器数据的长度之和小于或等于第一预设长度；数据回放指令中包括保存传感器数据的多个磁盘文件的文件概要信息；文件概要信息包括文件序列信息，多个磁盘文件按照文件序列信息顺序排列；

响应于数据回放指令，根据文件概要信息确定待回放的多个目标磁盘文件；

根据传感器数据的长度信息，采用预设数据回放规则从多个磁盘文件中按照文件序列依次回放传感器数据。

在一种可能的实施方式中，根据传感器数据的长度信息，采用预设数据回放规则从多个磁盘文件中按照文件序列依次回放传感器数据，包括：

若传感器数据的长度小于第二预设长度，则采用第一预设回放规则从多个磁盘文件中按照文件序列依次读取并拆分传感器数据，得到多帧回放数据；

若传感器数据的长度大于或等于第二预设长度，则采用第二预设回放规则直接读取传感器数据。

在一种可能的实施方式中，采用第一预设回放规则从多个磁盘文件中按照文件序列依次读取并拆分传感器数据，得到多帧回放数据，包括：

从多个磁盘文件中按照文件序列信息依次读取第二预设长度的传感器数据，并分别写入到第一预设内存空间和第二预设内存空间中；

根据传感器数据的长度信息，对第一预设内存空间和第二预设内存空间中的传感器数据进行拆分处理，得到多帧回放数据。

在一种可能的实施方式中，在响应于数据回放指令，根据文件概要信息确定待回放的多个目标磁盘文件之后，包括：

针对各目标磁盘文件，获取目标磁盘文件对应的哈希值；

基于文件概要信息及哈希值对目标磁盘文件进行验证，得到验证结果。

本发明第三方面提出一种数据录制装置，该装置包括：

第一获取模块，用于获取针对待录制话题的数据录制指令；

第二获取模块，用于基于数据录制指令，获取与待录制话题对应的传感器数据；

保存模块，用于根据传感器数据的长度信息，采用预设数据录制规则将传感器数据保存到多个磁盘文件中；其中，各磁盘文件中传感器数据的长度之和小于或等于第一预设长度。

在一种可能的实施方式中，上述保存模块具体用于：

若传感器数据的长度小于或等于第二预设长度，则采用第一预设录制规则对传感器数据进行填充处理，生成填充数据，并将填充数据保存到多个磁盘文件中；

若传感器数据的长度大于第二预设长度，则采用第二预设录制规则直接将传感器数据保存到多个磁盘文件中。

在一种可能的实施方式中，填充数据包括第一填充数据和第二填充数据，传感器数据中包括多帧数据，上述保存模块还用于：

将传感器数据按照帧顺序写入第一预设内存空间中；

若各帧传感器数据的长度之和小于或等于第二预设长度，则将第一预设内存空间中的传感器数据作为第一填充数据；

若各帧传感器数据的长度之和大于第二预设长度，则将除第一预设内存空间之外的其他传感器数据按照帧顺序写入第二预设内存空间中，若各帧其他传感器数据的长度之和小于或等于第二预设长度，则将第二预设内存空间中的其他传感器数据作为第二填充数据；

若各帧其他传感器数据的长度之和大于第二预设长度，则重复执行用第一预设录制规则对传感器数据进行填充处理，生成填充数据的步骤。

在一种可能的实施方式中，各磁盘文件中包括文件序列信息，多个磁盘文件按照文件序列信息顺序排列，上述保存模块还用于：

根据待录制话题创建一个磁盘文件；

将多个第一填充数据和第二填充数据保存至磁盘文件中；

若第一填充数据和第二填充数据的长度之和大于第一预设长度，则创建新的磁盘文件，并将其他第一填充数据和第二填充数据保存至新的磁盘文件中；

若其他第一填充数据和第二填充数据的长度之和大于第一预设长度，则重复执行采用第二预设录制规则将传感器数据保存到多个磁盘文件的步骤。

在一种可能的实施方式中，各磁盘文件中包括文件序列信息，多个磁盘文件按照文件序列信息顺序排列，传感器数据中包括多帧数据，上述保存模块还用于：

根据待录制话题创建一个磁盘文件；

将各帧传感器数据保存至磁盘文件中；

若各帧传感器数据的长度之和大于第一预设长度，则创建新的磁盘文件，并将各帧其他传感器数据保存至新的磁盘文件中；

若各帧其他传感器数据的长度之和大于第一预设长度，则重复执行采用第二预设录制规则将传感器数据保存到多个磁盘文件的步骤。

本发明第四方面提出一种数据回放装置，该装置包括：

获取模块，用于获取针对待回放话题的数据回放指令；待回放话题为基于多个磁盘文件中保存的传感器数据确定的；多个磁盘文件为根据传感器数据的长度信息，采用预设数据录制规则将传感器数据进行保存后生成的；传感器数据为基于针对待录制话题的数据录制指令获取到的与待录制话题对应的传感器数据；各磁盘文件中传感器数据的长度之和小于或等于第一预设长度；数据回放指令中包括保存传感器数据的多个磁盘文件的文件概要信息；文件概要信息包括文件序列信息，多个磁盘文件按照文件序列信息顺序排列；

确定模块，用于响应于数据回放指令，根据文件概要信息确定待回放的多个目标磁盘文件；

回放模块，用于根据传感器数据的长度信息，采用预设数据回放规则从多个磁盘文件中按照文件序列依次回放传感器数据。

在一种可能的实施方式中，上述回放模块具体用于：

若传感器数据的长度小于第二预设长度，则采用第一预设回放规则从多个磁盘文件中按照文件序列依次读取并拆分传感器数据，得到多帧回放数据；

若传感器数据的长度大于或等于第二预设长度，则采用第二预设回放规则直接读取传感器数据。

在一种可能的实施方式中，上述回放模块还用于：

从多个磁盘文件中按照文件序列信息依次读取第二预设长度的传感器数据，并分别写入到第一预设内存空间和第二预设内存空间中；

根据传感器数据的长度信息，对第一预设内存空间和第二预设内存空间中的传感器数据进行拆分处理，得到多帧回放数据。

在一种可能的实施方式中，上述数据回放装置还包括验证模块，该验证模块用于：

针对各目标磁盘文件，获取目标磁盘文件对应的哈希值；

基于文件概要信息及哈希值对目标磁盘文件进行验证，得到验证结果。

本发明第五方面提出一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的数据录制方法。

本发明第六方面提出一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的数据回放方法。

本发明第七方面提出一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第一方面所述的数据录制方法。

本发明第八方面提出一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第一方面所述的数据回放方法。

本发明实施例具有以下有益效果：

本发明实施例提供的数据录制方法、数据回放方法，该方法包括：获取针对待录制话题的数据录制指令；基于数据录制指令，获取与待录制话题对应的传感器数据；根据传感器数据的长度信息，采用预设数据录制规则将传感器数据保存到多个磁盘文件中。本方案通过根据数据长度信息将传感器数据录制到多个磁盘文件中，在车辆自动驾驶场景下，采集到的大量传感器数据可以分别写入到多个磁盘文件中，避免了写入到一个大磁盘文件中导致的时延以及读写性能下降，从而提高了保存传感器数据的效率；另外，由于还可以根据传感器数据的长度信息匹配对应的预设数据录制规则进行数据录制，也进一步提高了保存传感器数据的效率。

附图说明

图1为本申请实施例提供的一种计算机设备的框图；

图2为本发明实施例提供的一种数据录制方法的步骤流程图；

图3为本发明实施例提供的一种生成填充数据的步骤流程图；

图4为本发明实施例提供的一种保存填充数据的步骤流程图；

图5为本发明实施例提供的一种保存传感器数据的步骤流程图；

图6为本发明实施例提供的一种数据录制的整体框架图；

图7为本发明实施例提供的一种数据回放方法的步骤流程图；

图8为本发明实施例提供的一种验证磁盘文件的步骤流程图；

图9为本发明实施例提供的一种数据回放的整体框架图；

图10为本发明实施例提供的一种数据录制装置的结构框图；

图11为本发明实施例提供的一种数据回放装置的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。另外，“基于”或“根据”的使用意味着开放和包容性，因为“基于”或“根据”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。

本申请提供的数据录制方法、数据回放方法可以应用于计算机设备(电子设备)中，计算机设备可以是服务器，也可以是终端，其中，服务器可以为一台服务器也可以为由多台服务器组成的服务器集群，本申请实施例对此不作具体限定，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。

以计算机设备是服务器为例，图1示出了一种服务器的框图，如图1所示，服务器可以包括通过系统总线连接的处理器和存储器。其中，该服务器的处理器用于提供计算和控制能力。该服务器的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序以及数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现一种数据录制方法、数据回放方法。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的服务器的限定，可选地服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

需要说明的是，本申请实施例的执行主体可以是计算机设备，也可以是数据录制、数据回放装置，下述方法实施例中就以计算机设备为执行主体进行说明。

图2是本发明实施例提供的一种数据录制方法的步骤流程图。如图2所示，该方法包括以下步骤：

步骤202、获取针对待录制话题的数据录制指令。

其中，在实际道路上行驶的自动驾驶车辆都需要通过各种传感器来获取路况、车辆状态等数据，这些传感器数据对于优化自动驾驶算法和策略非常重要。通过对传感器数据进行数据录制，可以将车辆行驶时采集到的所有数据保存下来，并进行离线分析，以了解车辆的行驶情况和性能表现，从而为自动驾驶算法和策略的优化提供支持。

在一些可能的实施方式中，由于自动驾驶在算法设计过程中会产生很多中间数据，为了支持任意数据格式记录，开展离线、复现分析，可以基于软件开发工具包(SoftwareDevelopment Kit，简称SDK)方式进行数据录制。可选地，用户可以通过控制台发送针对待录制话题的数据录制指令，计算机设备根据该数据录制指令，通过调用预先设定的API接口来访问类库，从而实现类库初始化、注册话题数据、录制话题数据、回放话题数据的过程，其中，控制台和类库构成数据录制的软件框架。另外，控制台具备控制类库中数据录制和启停、设定录制或回放的话题、设定存储或回放文件名、设定回放或录制频率等功能。

可选地，用户在通过控制台向类库发送数据录制指令之前，需要完成前期准备工作，可以包括引入头文件完成类库初始化、话题批量注册、在数据源或中间数据产生处增加录制和回放话题的API、类库关闭。

上述利用独立的控制台进行数据录制功能设置，提高了SDK方式的易用性、操作便捷性。另外，采用独立的控制台，实现了和用户程序解耦，方便后续功能扩展，减少对用户程序的影响。

步骤204、基于数据录制指令，获取与待录制话题对应的传感器数据。

其中，在获取到数据录制指令后，可以根据待录制话题确定对应的传感器，从而获取到与该传感器对应的传感器数据。示例性地，若待录制话题为车速，则确定出采集车速的传感器，从而再读取该传感器上的数据。若待录制话题有多个，则会获取到多种传感器数据，可选地，可以根据多个待录制话题依次获取到与该待录制话题对应的传感器数据。

步骤206、根据传感器数据的长度信息，采用预设数据录制规则将传感器数据保存到多个磁盘文件中；其中，各磁盘文件中传感器数据的长度之和小于或等于第一预设长度。

其中，在获取到数据录制指令后，可以先根据数据录制指令创建针对待录制话题的文件夹和空的文件，若有多个待录制话题，则创建多个文件夹，每个文件夹下可以包括多个空的文件。其中，多个空的文件可以不同时创建，可选地，可以在创建出一个空的文件并保存满传感器数据后，即保存的传感器数据的长度之和达到第一预设长度后，若还需保存更多的传感器数据，再创建下一个空的文件。

在空的文件创建完成后，可以根据数据录制指令写入文件概要信息，文件概要信息可以包括文件版本、文件序列、话题名称、系统字节序、创建时间、传感器类型及数据压缩级别等信息。

传感器数据的长度信息可以根据传感器数据的类型确定，也即不同类型的传感器数据的长度是已知的。在一些可选地的实施方式中，根据传感器数据的长度信息，采用预设数据录制规则将传感器数据保存到多个磁盘文件中，包括：

若传感器数据的长度小于或等于第二预设长度，则采用第一预设录制规则对传感器数据进行填充处理，生成填充数据，并将填充数据保存到多个磁盘文件中。如图3所示，图3为本发明实施例提供的一种生成填充数据的步骤流程图，包括：

步骤302、将传感器数据按照帧顺序写入第一预设内存空间中。

步骤304、若各帧传感器数据的长度之和小于或等于第二预设长度，则将第一预设内存空间中的传感器数据作为第一填充数据。

步骤306、若各帧传感器数据的长度之和大于第二预设长度，则将除第一预设内存空间之外的其他传感器数据按照帧顺序写入第二预设内存空间中，若各帧其他传感器数据的长度之和小于或等于第二预设长度，则将第二预设内存空间中的其他传感器数据作为第二填充数据。

步骤308、若各帧其他传感器数据的长度之和大于第二预设长度，则重复执行生成填充数据的步骤。

其中，填充数据可以包括第一填充数据和第二填充数据，传感器数据中可以包括多帧数据，第二预设长度可以自定义设置，示例性地，第二预设长度可以为8388608，即2的22次方。若传感器数据的长度小于或等于第二预设长度，类库可以在堆区申请两块内存，分别记为第一预设内存空间TotalA、第二预设内存空间TotalB，第一帧传感器数据可以记为Buff1，长度记为X1，将X1更新至Buff1数据结构中，则将第一帧传感器数据在TotalA首地址写入。第二帧传感器数据可以记为Buff2，长度记为X2，将X2更新至Buff2数据结构中，在TotalA偏移X1地址写入Buff2，按照此方式按照帧顺序依次在TotalA写入每帧传感器数据。

以第二预设长度为8388608为例，当X1+X2+…+Xn偏移地址之和小于8388608，则继续填充TotalA，当X1+X2+…+Xn大于或等于8388608，将Xn数据写入，填满TotalA为止，X1+X2+…+Xn-8388608记为Diff。此时，将第一预设内存空间TotalA中的传感器数据作为第一填充数据。

将Xn中未填入TotalA的传感器数据从TotalB首地址写入，下一帧传感器数据则从TotalB偏移Diff处写入。按照上述方式填满TotalB，此时，将第二预设内存空间中的其他传感器数据作为第二填充数据。

同样地，若各帧其他传感器数据的长度之和大于第二预设长度，也即还存在更多的传感器数据需要录制，此时则需要重复上述生成填充数据的步骤。可选地，可以先将传感器数据按照帧顺序写入到第一预设内存空间TotalA中，此时新的传感器数据会覆盖TotalA中之前的数据，在填满TotalA得到第一填充数据后，可以继续写入TotalB，继续生成第二填充数据，直至将所有的传感器数据均写入到TotalA或TotalB中。

上述实施例中，采用上述方式生成第一填充数据和第二填充数据的过程，可以将多个数据帧进行填充组合后进行磁盘写入，减少了文件IO操作频率及次数，避免了因频繁操作文件IO带来的程序阻塞，提高了数据录制的效率。

在一些可能的实施方式中，在生成第一填充数据和第二填充数据后，如图4所示，图4为本发明实施例提供的一种保存填充数据的步骤流程图，包括：

步骤402、根据待录制话题创建一个磁盘文件。

步骤404、将多个第一填充数据和第二填充数据保存至磁盘文件中。

步骤406、若第一填充数据和第二填充数据的长度之和大于第一预设长度，则创建新的磁盘文件，并将其他第一填充数据和第二填充数据保存至新的磁盘文件中。

步骤408、若其他第一填充数据和第二填充数据的长度之和大于第一预设长度，则重复执行采用第二预设录制规则将传感器数据保存到多个磁盘文件的步骤。

其中，创建的磁盘文件及新的磁盘文件均为空的磁盘文件，各磁盘文件中包括文件序列信息，多个磁盘文件按照文件序列信息顺序排列。该文件序列信息可以以任意能表示顺序的形式表征，例如，可以采用数字序号、字母序号等，文字序列信息根据创建磁盘文件的先后顺序确定。

在将多个第一填充数据和第二填充数据保存至磁盘文件中时，可以在得到一个第一填充数据或第二填充数据后，就进行一次文件异步IO操作，从而将第一填充数据或第二填充数据保存到磁盘文件中。这样可以避免第一预设内存空间和第二预设内存空间在重复使用的过程中，由于写入的新的传感器数据会覆盖掉之前的传感器数据导致数据丢失无法保存的问题。

由于预先设定了各磁盘文件中传感器数据的长度之和小于或等于第一预设长度，第一预设长度可以自定义设置，示例性地，第一预设长度可以为4294967296，即2的32次方。即将第一填充数据和第二填充数据保存到磁盘文件时，若保存的数据长度之和达到磁盘文件的第一预设长度后，则进行一次文件分割处理。

若第一填充数据和第二填充数据的长度之和大于第一预设长度，则需要创建新的磁盘文件，示例性地，第一个空的磁盘文件写满之后，需要创建第二个空的磁盘文件，并继续写入第一填充数据和第二填充数据。按照同样地方式创建更多的磁盘文件，直至写完所有的第一填充数据和第二填充数据。

可选地，还可以在文件末尾填入哈希值，该哈希值可以是根据对文件进行哈希运算后得到的。该磁盘文件还可以以时间、话题名称、文件序列进行命名。

本实施例中，当同一待录制话题的数据长度超过第一预设长度后，进行一次数据分割，避免了将所有传感器数据写入到一个大磁盘文件中导致的时延以及读写性能下降，从而提高了保存传感器数据的效率。

若传感器数据的长度大于第二预设长度，则采用第二预设录制规则直接将传感器数据保存到多个磁盘文件中。如图5所示，图5为本发明实施例提供的一种保存传感器数据的步骤流程图，包括：

步骤502、根据待录制话题创建一个磁盘文件。

步骤504、将各帧传感器数据保存至磁盘文件中。

步骤506、若各帧传感器数据的长度之和大于第一预设长度，则创建新的磁盘文件，并将各帧其他传感器数据保存至新的磁盘文件中。

步骤508、若各帧其他传感器数据的长度之和大于第一预设长度，则重复执行采用第二预设录制规则将传感器数据保存到多个磁盘文件的步骤。

其中，传感器数据中包括多帧数据，若传感器数据的长度大于第二预设长度，第二预设长度可以自定义设置，示例性地，第二预设长度可以为8388608，即2的22次方，则可以直接通文件异步IO操作将各帧传感器数据写入到磁盘文件中。同样地，创建的磁盘文件及新的磁盘文件均为空的磁盘文件，各磁盘文件中包括文件序列信息，多个磁盘文件按照文件序列信息顺序排列。该文件序列信息可以以任意能表示顺序的形式表征，例如，可以采用数字序号、字母序号等，文字序列信息根据创建磁盘文件的先后顺序确定。

由于预先设定了各磁盘文件中传感器数据的长度之和小于或等于第一预设长度，第一预设长度可以自定义设置，示例性地，第一预设长度可以为4294967296，即2的32次方。在直接将各帧传感器数据保存到磁盘文件时，若保存的数据长度之和达到磁盘文件的第一预设长度后，则进行一次文件分割处理。

若各帧传感器数据的长度之和大于第一预设长度，则需要创建新的磁盘文件，示例性地，第一个空的磁盘文件写满之后，需要创建第二个空的磁盘文件，并继续写入其他各帧传感器数据。按照同样地方式创建更多的磁盘文件，直至写完所有的传感器数据。

可选地，还可以在文件末尾填入哈希值，该哈希值可以是根据对文件进行哈希运算后得到的。该磁盘文件还可以以时间、话题名称、文件序列进行命名。

上述实施例中，当同一待录制话题的数据长度超过第一预设长度后，进行一次数据分割，避免了写入到一个大磁盘文件中导致的时延以及读写性能下降，从而提高了保存传感器数据的效率。

本实施例提供的数据录制方法包括：获取针对待录制话题的数据录制指令；基于数据录制指令，获取与待录制话题对应的传感器数据；根据传感器数据的长度信息，采用预设数据录制规则将传感器数据保存到多个磁盘文件中。本方案通过根据数据长度信息将传感器数据录制到多个磁盘文件中，在车辆自动驾驶场景下，采集到的大量传感器数据可以分别写入到多个磁盘文件中，避免了写入到一个大磁盘文件中导致的时延以及读写性能下降，从而提高了保存传感器数据的效率；另外，由于还可以根据传感器数据的长度信息匹配对应的预设数据录制规则进行数据录制，也进一步提高了保存传感器数据的效率。

如图6所示，图6为本发明实施例提供的一种数据录制的整体框架图，通过根据数据长度信息将传感器数据录制到多个磁盘文件中，在车辆自动驾驶场景下，采集到的大量传感器数据可以分别写入到多个磁盘文件中，避免了写入到一个大磁盘文件中导致的时延以及读写性能下降，从而提高了保存传感器数据的效率；另外，由于还可以根据传感器数据的长度信息匹配对应的预设数据录制规则进行数据录制，也进一步提高了保存传感器数据的效率。

图7为本发明实施例提供的一种数据回放方法的步骤流程图，需要说明的是，该数据回放方法进行回放的过程可以参考上述数据录制方法中的各实施例的解释。如图7所示，该方法包括以下步骤：

步骤702、获取针对待回放话题的数据回放指令。

其中，待回放话题为基于多个磁盘文件中保存的传感器数据确定的；多个磁盘文件为根据传感器数据的长度信息，采用预设数据录制规则将传感器数据进行保存后生成的；传感器数据为基于针对待录制话题的数据录制指令获取到的与待录制话题对应的传感器数据；各磁盘文件中传感器数据的长度之和小于或等于第一预设长度；数据回放指令中包括保存传感器数据的多个磁盘文件的文件概要信息；文件概要信息包括文件序列信息，多个磁盘文件按照文件序列信息顺序排列。

数据回放指令中包括保存传感器数据的多个磁盘文件的文件概要信息，文件概要信息包括文件序列信息，多个磁盘文件按照文件序列信息顺序排列，各磁盘文件中传感器数据的长度之和小于或等于第一预设长度。用户也可以通过独立的控制台向类库下发针对待回放话题的数据回放指令。

需要说明的是，在下发数据回放指令之前，不需要再次进行前期准备工作，数据回放与数据录制的前期准备工作相同，只需要进行一次。

步骤704、响应于数据回放指令，根据文件概要信息确定待回放的多个目标磁盘文件。

其中，在获取到数据回放指令后，可以基于文件概要信息确定待回放的多个目标磁盘文件。可选地，文件概要信息可以包括文件版本、文件序列、话题名称、系统字节序、创建时间、传感器类型及数据压缩级别等信息。

可选地，可以在确定出待回放的多个目标磁盘文件后，对磁盘文件进行验证。如图8所示，图8为本发明实施例提供的一种验证磁盘文件的步骤流程图，包括：

步骤802、针对各目标磁盘文件，获取目标磁盘文件对应的哈希值。

步骤804、基于文件概要信息及哈希值对目标磁盘文件进行验证，得到验证结果。

其中，在数据录制的过程中，进行文件分割后，在文件的末尾加入哈希值，从而在获取到各目标磁盘文件后，可以读取到各目标磁盘文件对应的哈希值。

在基于文件概要信息及哈希值对目标磁盘文件进行验证时，可选地，可以通过读取目标磁盘文件的文件概要信息，并与数据回放指令中的文件概要信息进行比对，从而验证目标磁盘文件的正确性。另外，可以重新计算获取到的目标磁盘文件的哈希值，再将计算得到的哈希值与读取到的哈希值进行比对，从而验证目标磁盘文件的完整性。

本实施例中，通过对目标磁盘文件进行验证，可以验证磁盘文件的正确性与完整性，从而保证数据回放时的效率及准确性。

步骤706、根据传感器数据的长度信息，采用预设数据回放规则从多个磁盘文件中按照文件序列依次回放传感器数据。

其中，若传感器数据的长度小于或等于第二预设长度，则采用第一预设回放规则从多个磁盘文件中按照文件序列依次读取并拆分传感器数据，得到多帧回放数据。

在一些可能的实施方式中，在上述验证结果为验证成功后，可以从多个磁盘文件中按照文件序列信息依次读取第二预设长度的传感器数据，并分别写入到第一预设内存空间和第二预设内存空间中。根据传感器数据的长度信息，对第一预设内存空间和第二预设内存空间中的传感器数据进行拆分处理，得到多帧回放数据。

其中，第二预设长度可以自定义设置，示例性地，第二预设长度可以为8388608，即2的22次方。若传感器数据的长度小于第二预设长度，则类库可以在堆区申请两块内存，分别记为第一预设内存空间TotalA、第二预设内存空间TotalB，并一次性直接从目标磁盘文件读取第二预设长度的传感器数据写入到TotalA，继续从目标磁盘文件读取第二预设长度的传感器数据写入到TotalB。

接着，需要对TotalA中的传感器数据进行拆分处理，可选地，可以根据数据录制时的传感器数据的长度信息对TotalA进行拆分，将第一帧传感器数据记为Buff1，根据录制数据结构得到长度记为X1，则由TotalA首地址偏移值X1则为回放的第一帧传感器数据Buff1。从TotalA的X1处继续读取传感器数据，根据录制数据结构得到第二帧传感器数据Buff2的长度，记为X2，则由Total的X1地址作为起始地址偏移至X2+X1处，即为回放的第二帧传感器数据Buff2。

重复上述步骤，以第二预设长度为8388608为例，当X1+X2+…+Xn-1小于8388608且X1+X2+…+Xn大于或等于8388608，X1+X2+…+Xn-8388608记为Diff，则TotalA从X1+X2+Xn-1偏移至8388608加上TotalB首地址至Diff处数据为回放的第N帧传感器数据。之后，按照上述逻辑继续对TotalB进行拆分。

接着，再从目标磁盘文件中继续读取第二预设长度的传感器数据写入到TotalA、TotalB中，此时新的传感器数据会覆盖TotalA、TotalB中之前的传感器数据，利用TotalA、TotalB不断从目标磁盘文件中获取传感器数据，直至回放完所有的传感器数据。

由于预先设定了各目标磁盘文件中传感器数据的长度之和小于或等于第一预设长度，第一预设长度可以自定义设置，示例性地，第一预设长度可以为4294967296，即2的32次方。当X1+X2+…Xn+…大于第一预设长度时，关闭当前目标磁盘文件，检索当前文件夹，若存在下一个目标磁盘文件，则打开下一个目标磁盘文件，重复上述回放过程。

本实施例中，通过将读取到的传感器数据写入内存空间后，再进行拆分处理实现数据回放得到多帧传感器数据，减少了文件IO操作频率及次数，避免了因频繁操作文件IO带来的程序阻塞，提高了数据回放的效率。另外，由于按照文件序列信息依次读取目标磁盘文件中的传感器数据，通过文件序列信息建立各个磁盘文件的索引，使得在数据回放时保证各个目标磁盘文件的关联性，并且保证了回放的传感器数据的准确性。

在一些可选地实施例方式中，若传感器数据的长度大于或等于第二预设长度，则采用第二预设回放规则直接读取传感器数据。

其中，若传感器数据的长度大于或等于第二预设长度，则直接根据录制数据结构获取到一帧传感器数据。同样地，当X1+X2+…Xn+…大于第一预设长度时，关闭当前目标磁盘文件，检索当前文件夹，若存在下一个目标磁盘文件，则打开下一个目标磁盘文件，重复上述回放过程。在传感器数据的长度大于第二预设长度时，直接读取传感器数据，提高了数据回放的效率。

本实施例提供的数据回放方法包括：获取针对待回放话题的数据回放指令；响应于数据回放指令，根据文件概要信息确定待回放的多个目标磁盘文件；根据传感器数据的长度信息，采用预设数据回放规则从多个磁盘文件中按照文件序列依次回放传感器数据。本方案通过根据数据长度信息匹配对应的预设数据回放规则进行数据回放，提高了回放传感器数据的效率。

如图9所示，图9为本发明实施例提供的一种数据回放的整体框架图，通过根据数据长度信息匹配对应的预设数据回放规则进行数据回放，提高了回放传感器数据的效率。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

图10为本发明实施例提供的一种数据录制装置的结构框图。

如图10所示，该数据录制装置1000包括：

第一获取模块1002，用于获取针对待录制话题的数据录制指令。

第二获取模块1004，用于基于数据录制指令，获取与待录制话题对应的传感器数据。

保存模块1006，用于根据传感器数据的长度信息，采用预设数据录制规则将传感器数据保存到多个磁盘文件中；其中，各磁盘文件中传感器数据的长度之和小于或等于第一预设长度。

图11为本发明实施例提供的一种数据回放装置的结构框图。

如图11所示，该数据回放装置1100包括：

获取模块1102，用于获取针对待回放话题的数据回放指令；数据回放指令中包括保存传感器数据的多个磁盘文件的文件概要信息；多个磁盘文件按照文件序列信息顺序排列；其中，各磁盘文件中传感器数据的长度之和小于或等于第一预设长度。

确定模块1104，用于响应于数据回放指令，根据文件概要信息确定待回放的多个目标磁盘文件。

回放模块1106，用于根据传感器数据的长度信息，采用预设数据回放规则从多个磁盘文件中按照文件序列依次回放传感器数据。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。上述数据录制装置、数据回放装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块的操作。

本申请另一实施例中，还提供一种电子设备，电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如第一方面的数据录制方法。

本申请另一实施例中，还提供一种电子设备，电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如第一方面的数据回放方法。

本申请另一实施例中，还提供一种计算机可读存储介质，存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如第一方面的数据录制方法。

本申请另一实施例中，还提供一种计算机可读存储介质，存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如第一方面的数据回放方法。

上述实施例提供的计算机设备和计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (13)

1.一种数据录制方法，其特征在于，所述方法包括：

获取针对待录制话题的数据录制指令；

基于所述数据录制指令，获取与所述待录制话题对应的传感器数据；

根据所述传感器数据的长度信息，采用预设数据录制规则将所述传感器数据保存到多个磁盘文件中；其中，各所述磁盘文件中传感器数据的长度之和小于或等于第一预设长度。

2.根据权利要求1所述的方法，其特征在于，所述根据所述传感器数据的长度信息，采用预设数据录制规则将所述传感器数据保存到多个磁盘文件中，包括：

若所述传感器数据的长度小于或等于第二预设长度，则采用第一预设录制规则对所述传感器数据进行填充处理，生成填充数据，并将所述填充数据保存到多个所述磁盘文件中；

若所述传感器数据的长度大于所述第二预设长度，则采用第二预设录制规则直接将所述传感器数据保存到多个磁盘文件中。

3.根据权利要求2所述的方法，其特征在于，所述填充数据包括第一填充数据和第二填充数据，所述传感器数据中包括多帧数据，所述采用第一预设录制规则对所述传感器数据进行填充处理，生成填充数据，包括：

将所述传感器数据按照帧顺序写入第一预设内存空间中；

若各帧所述传感器数据的长度之和小于或等于所述第二预设长度，则将所述第一预设内存空间中的传感器数据作为所述第一填充数据；

若各帧所述传感器数据的长度之和大于所述第二预设长度，则将除所述第一预设内存空间之外的其他传感器数据按照帧顺序写入第二预设内存空间中，若各帧所述其他传感器数据的长度之和小于或等于所述第二预设长度，则将所述第二预设内存空间中的其他传感器数据作为所述第二填充数据；

若各帧所述其他传感器数据的长度之和大于所述第二预设长度，则重复执行所述采用第一预设录制规则对所述传感器数据进行填充处理，生成填充数据的步骤。

4.根据权利要求3所述的方法，其特征在于，各所述磁盘文件中包括文件序列信息，所述多个磁盘文件按照文件序列信息顺序排列，所述将所述填充数据保存到多个所述磁盘文件中，包括：

根据待录制话题创建一个磁盘文件；

将多个所述第一填充数据和所述第二填充数据保存至所述磁盘文件中；

若所述第一填充数据和所述第二填充数据的长度之和大于所述第一预设长度，则创建新的磁盘文件，并将其他所述第一填充数据和所述第二填充数据保存至所述新的磁盘文件中；

若其他所述第一填充数据和所述第二填充数据的长度之和大于所述第一预设长度，则重复执行所述采用第二预设录制规则将所述传感器数据保存到多个磁盘文件的步骤。

5.根据权利要求2所述的方法，其特征在于，各所述磁盘文件中包括文件序列信息，所述多个磁盘文件按照文件序列信息顺序排列，所述传感器数据中包括多帧数据，所述采用第二预设录制规则直接将所述传感器数据保存到多个磁盘文件中，包括：

根据待录制话题创建一个磁盘文件；

将各帧所述传感器数据保存至所述磁盘文件中；

若各帧所述传感器数据的长度之和大于所述第一预设长度，则创建新的磁盘文件，并将各帧其他所述传感器数据保存至所述新的磁盘文件中；

若各帧其他所述传感器数据的长度之和大于所述第一预设长度，则重复执行所述采用第二预设录制规则将所述传感器数据保存到多个磁盘文件的步骤。

6.一种数据回放方法，其特征在于，所述方法包括：

获取针对待回放话题的数据回放指令；所述待回放话题为基于多个磁盘文件中保存的传感器数据确定的；所述多个磁盘文件为根据所述传感器数据的长度信息，采用预设数据录制规则将所述传感器数据进行保存后生成的；所述传感器数据为基于针对待录制话题的数据录制指令获取到的与所述待录制话题对应的传感器数据；各所述磁盘文件中传感器数据的长度之和小于或等于第一预设长度；所述数据回放指令中包括保存传感器数据的多个磁盘文件的文件概要信息；所述文件概要信息包括文件序列信息，所述多个磁盘文件按照文件序列信息顺序排列；

响应于所述数据回放指令，根据所述文件概要信息确定待回放的多个目标磁盘文件；

根据所述传感器数据的长度信息，采用预设数据回放规则从所述多个磁盘文件中按照所述文件序列依次回放所述传感器数据。

7.根据权利要求6所述的方法，其特征在于，所述根据所述传感器数据的长度信息，采用预设数据回放规则从所述多个磁盘文件中按照所述文件序列依次回放所述传感器数据，包括：

若所述传感器数据的长度小于第二预设长度，则采用第一预设回放规则从所述多个磁盘文件中按照所述文件序列依次读取并拆分所述传感器数据，得到多帧回放数据；

若所述传感器数据的长度大于或等于所述第二预设长度，则采用第二预设回放规则直接读取所述传感器数据。

8.根据权利要求7所述的方法，其特征在于，所述采用第一预设回放规则从所述多个磁盘文件中按照所述文件序列依次读取并拆分所述传感器数据，得到多帧回放数据，包括：

从所述多个磁盘文件中按照所述文件序列信息依次读取所述第二预设长度的所述传感器数据，并分别写入到第一预设内存空间和第二预设内存空间中；

根据所述传感器数据的长度信息，对所述第一预设内存空间和第二预设内存空间中的传感器数据进行拆分处理，得到所述多帧回放数据。

9.根据权利要求6所述的方法，其特征在于，在所述响应于所述数据回放指令，根据所述文件概要信息确定待回放的多个目标磁盘文件之后，包括：

针对各所述目标磁盘文件，获取所述目标磁盘文件对应的哈希值；

基于所述文件概要信息及所述哈希值对所述目标磁盘文件进行验证，得到验证结果。

10.一种数据录制装置，其特征在于，所述装置包括：

第一获取模块，用于获取针对待录制话题的数据录制指令；

第二获取模块，用于基于所述数据录制指令，获取与所述待录制话题对应的传感器数据；

保存模块，用于根据所述传感器数据的长度信息，采用预设数据录制规则将所述传感器数据保存到多个磁盘文件中；其中，各所述磁盘文件中传感器数据的长度之和小于或等于第一预设长度。

11.一种数据回放装置，其特征在于，所述装置包括：

获取模块，用于获取针对待回放话题的数据回放指令；所述待回放话题为基于多个磁盘文件中保存的传感器数据确定的；所述多个磁盘文件为根据所述传感器数据的长度信息，采用预设数据录制规则将所述传感器数据进行保存后生成的；所述传感器数据为基于针对待录制话题的数据录制指令获取到的与所述待录制话题对应的传感器数据；各所述磁盘文件中传感器数据的长度之和小于或等于第一预设长度；所述数据回放指令中包括保存传感器数据的多个磁盘文件的文件概要信息；所述文件概要信息包括文件序列信息，所述多个磁盘文件按照文件序列信息顺序排列；

确定模块，用于响应于所述数据回放指令，根据所述文件概要信息确定待回放的多个目标磁盘文件；

回放模块，用于根据所述传感器数据的长度信息，采用预设数据回放规则从所述多个磁盘文件中按照所述文件序列依次回放所述传感器数据。

12.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-9任一项所述的方法的步骤。

13.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-9任一项所述的方法的步骤。