CN114079665B - 数据采集方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及数据处理技术领域，公开了一种数据采集方法、装置、设备及存储介质，所述方法包括：在车辆行驶的过程中，获取车端传感器采集的车端数据以及路端传感器采集的路端数据，对车端数据和路端数据进行时空同步，并根据高精地图对时空同步后的车端数据和路端数据进行融合，得到目标数据，基于目标数据进行场景分类，获得多个场景对应的场景数据，根据场景数据构建自动驾驶场景库。本方案可对采集的车端数据和路端数据进行时空同步，然后再基于高精地图对这些数据进行融合之后再进行场景分类，以得到场景数据构建自动驾驶场景库，而自动驾驶场景库可用于为自动驾驶的模型训练和仿真测试提供数据，从而可提高自动驾驶的安全性。

Description

数据采集方法、装置、设备及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据采集方法、装置、设备及存储介质。

背景技术

随着人工智能和5G通信技术的高速发展，自动驾驶已成为提高行车安全和出行效率的一个未来趋势。从辅助驾驶到L4级高度自动驾驶，基于人工智能算法的感知、归控等关键模块在面对海量的数据和极高的检测精度、效率、鲁棒性等方面有巨大的挑战。获取足够的数据是保证自动驾驶系统高精度、高鲁棒性的前提，同时也是建立自动驾驶场景库的必经之路，可以用于建立仿真测试场景、验证归控算法等。

为了提高自动驾驶汽车感知系统和规控系统的高效性和鲁棒性，提高自动驾驶系统的安全性，需要足够的真实道路场景数据，但是，仅车端采集的数据并不足以建立某些遮挡场景完整的数据库，而且，路端和车端传感器数据不同步，部分场景下的组合惯导定位精度不高。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提出一种数据采集方法、装置、设备及存储介质，旨在解决如何采集较为完整、精度较高的与车辆相关的数据来构建自动驾驶场景库，提高自动驾驶系统的安全性的技术问题。

为实现上述目的，本发明提供一种数据采集方法，所述数据采集方法包括：

在车辆行驶的过程中，获取车端传感器采集的车端数据以及路端传感器采集的路端数据；

对所述车端数据和所述路端数据进行时空同步，得到时空同步后的车端数据和路端数据；

根据高精地图对时空同步后的车端数据和路端数据进行融合，得到目标数据；

基于所述目标数据进行场景分类，获得多个场景对应的场景数据；

根据所述场景数据构建自动驾驶场景库。

可选地，所述对所述车端数据和所述路端数据进行时空同步，得到时空同步后的车端数据和路端数据，包括：

获取所述车端传感器中的车端组合惯导对应的第一位置，并获取所述路端传感器中的路端定位设备对应的第二位置；

根据所述第一位置和所述第二位置确定所述车端组合惯导和所述路端定位设备之间的相对位置；

根据所述相对位置将所述车端数据和所述路端数据统一到所述车辆的车辆坐标系下，得到空间同步后的车端数据和路端数据；

将空间同步后的车端数据和路端数据统一到同一时间戳下，得到时空同步后的车端数据和路端数据。

可选地，所述根据高精地图对时空同步后的车端数据和路端数据进行融合，得到目标数据，包括：

获取高精地图中的地图数据；

根据所述地图数据分别对时空同步后的车端数据和路端数据进行匹配定位，得到车端定位结果和路端定位结果；

根据所述车端定位结果和所述路端定位结果对时空同步后的车端数据和路端数据进行融合，得到目标数据。

可选地，所述基于所述目标数据进行场景分类，获得多个场景对应的场景数据，包括：

检测所述目标数据中包含的隐私信息，并根据所述隐私信息生成目标检测框；

根据所述目标检测框对所述隐私信息进行模糊化处理，以对所述目标数据进行隐私信息清洗，得到清洗后的目标数据；

基于清洗后的目标数据进行场景分类，获得多个场景对应的场景数据。

可选地，所述基于清洗后的目标数据进行场景分类，获得多个场景对应的场景数据，包括：

获取预设的多个场景的场景类型；

从清洗后的目标数据中匹配与各场景类型对应的数据；

根据各场景类型对应的数据进行场景分类，获得多个场景对应的场景数据。

可选地，所述根据所述场景数据构建自动驾驶场景库，包括：

根据所述场景数据对应的场景的场景类型生成场景索引，并建立所述场景数据与所述场景索引之间的对应关系；

根据所述场景数据和所述场景索引构建自动驾驶场景库。

可选地，所述根据所述场景数据构建自动驾驶场景库之后，还包括：

从所述自动驾驶场景库中的场景数据中筛选出环境场景数据和行车场景数据；

根据所述环境场景数据生成感知模型训练集，并根据所述行车场景数据生成规控模型训练集；

根据所述感知模型训练集进行感知模型训练，得到训练后的感知模型；

根据所述规控模型训练集进行规控模型训练，得到训练后的规控模型；

将所述自动驾驶场景库中除所述环境场景数据和所述行车场景数据之外的场景数据作为测试场景数据；

根据所述测试场景数据构建仿真测试场景库；

基于所述仿真测试场景库对训练后的感知模型和训练后的规控模型进行测试，并生成测试报告。

此外，为实现上述目的，本发明还提出一种数据采集装置，所述数据采集装置包括：

数据采集模块，用于在车辆行驶的过程中，获取车端传感器采集的车端数据以及路端传感器采集的路端数据；

时空同步模块，用于对所述车端数据和所述路端数据进行时空同步，得到时空同步后的车端数据和路端数据；

数据融合模块，用于根据高精地图对时空同步后的车端数据和路端数据进行融合，得到目标数据；

场景分类模块，用于基于所述目标数据进行场景分类，获得多个场景对应的场景数据；

场景库构建模块，用于根据所述场景数据构建自动驾驶场景库。

此外，为实现上述目的，本发明还提出一种数据采集设备，所述数据采集设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据采集程序，所述数据采集程序被处理器执行时实现如上所述的数据采集方法。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有数据采集程序，所述数据采集程序被处理器执行时实现如上所述的数据采集方法。

本发明提出的数据采集方法中，在车辆行驶的过程中，获取车端传感器采集的车端数据以及路端传感器采集的路端数据；对所述车端数据和所述路端数据进行时空同步，得到时空同步后的车端数据和路端数据；根据高精地图对时空同步后的车端数据和路端数据进行融合，得到目标数据；基于所述目标数据进行场景分类，获得多个场景对应的场景数据；根据所述场景数据构建自动驾驶场景库。本方案可对采集的车端数据和路端数据进行时空同步，然后再基于高精地图对这些数据进行融合之后再进行场景分类，以得到场景数据构建自动驾驶场景库，而自动驾驶场景库可用于为自动驾驶的模型训练和仿真测试提供数据，从而可提高自动驾驶的安全性。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的数据采集设备结构示意图；

图2为本发明数据采集方法第一实施例的流程示意图；

图3为本发明数据采集方法一实施例的车端传感器布置示意图；

图4为本发明数据采集方法一实施例的数据采集系统原理框图；

图5为本发明数据采集方法第二实施例的流程示意图；

图6为本发明数据采集方法第三实施例的流程示意图；

图7为本发明数据采集装置第一实施例的功能模块示意图。

附图标号说明：

标号	名称	标号	名称
				10	数采设备	20	中央高线束激光雷达
30	高线束前向激光雷达	40	侧向激光雷达
				50	组合惯导天线	60	补盲激光雷达
70	摄像头

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的数据采集设备结构示意图。

如图1所示，该数据采集设备可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如按键，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如Wi-Fi接口）。存储器1005可以是高速随机存取存储器（Random Access Memory，RAM），也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的设备结构并不构成对数据采集设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据采集程序。

在图1所示的数据采集设备中，网络接口1004主要用于连接外网，与其他网络设备进行数据通信；用户接口1003主要用于连接用户设备，与所述用户设备进行数据通信；本发明设备通过处理器1001调用存储器1005中存储的数据采集程序，并执行本发明实施例提供的数据采集方法。

基于上述硬件结构，提出本发明数据采集方法实施例。

参照图2，图2为本发明数据采集方法第一实施例的流程示意图。

在第一实施例中，所述数据采集方法包括：

步骤S10，在车辆行驶的过程中，获取车端传感器采集的车端数据以及路端传感器采集的路端数据。

需要说明的是，本实施例的执行主体可为数据采集设备，例如具有数据处理功能的计算机设备，还可为其他可实现相同或相似功能的设备，本实施例对此不作限制，在本实施例中，以计算机设备为例进行说明。其中，该计算机设备可为设置在车辆上的车载终端设备，也可为设置在车辆外部的远程终端设备，本实施例对此不作限制。

需要说明的是，本实施例中的车辆可为汽车，也可为新能源车，还可为混动车，还可为其他类型的车辆，本实施例对此不作限制。

应当理解的是，本实施例中的车端传感器指的是设置在汽车上的传感器，路端传感器指的是设置在路边或者道路上的传感器。为了精准地采集车端数据，本方案可在汽车上设置多种车端传感器，例如包括但不限于中央高线束激光雷达、高线束前向激光雷达、侧向激光雷达、组合惯导天线、补盲激光雷达以及摄像头，通过这些车端传感器来采集车端数据。并且，由于仅车端采集的数据并不足以建立某些遮挡场景完整的数据库，为了提高数据精度，使场景数据更加丰富，本方案还可通过各种路端传感器来采集路端数据，将车端数据和路端数据结合起来进行数据采集。

可以理解的是，本方案中的车端传感器支架高度集成，可固定多个激光雷达和摄像头以及组合惯导天线，多个传感器的组合FOV涵盖车身周围360°，减少视野盲区，并且支持路端数据接入，补充遮挡场景的外部环境数据缺失。

在具体实现中，可参照图3，图3为车端传感器布置示意图，图3中示出了数采设备10、中央高线束激光雷达20、高线束前向激光雷达30、侧向激光雷达40、组合惯导天线50、补盲激光雷达60以及摄像头70等设备，其中，数采设备10用于对各自传感器的数据进行采集，各传感器的数量可为1个或多个，可根据实际情况进行设置，本实施例对此不作限制。

各车端传感器的布置方式可参照图3，中央为一个高线束机械式激光雷达，两侧为两个补盲短距激光雷达，左前右前为两个中距激光雷达，前方安装一个高线束固态激光雷达，后方为一个机械式激光雷达。摄像头包括前视的一个长焦摄像头和一个广角摄像头，两侧分别有两个摄像头覆盖侧前和侧后区域。数采设备及其恒温装置、电源等置于后备箱中，传感器的布置覆盖车辆周身360°。除了上述布置方式外，还可通过其他方式对这些传感器进行布置，本实施例对此不作限制。

可以理解的是，在进行数据采集时，可由驾驶员驾驶车辆出行，在车辆行驶的过程中，同时通过车端传感器和路端传感器来采集与车辆相关的数据，可将各车端传感器采集的数据称为车端数据，将各路端传感器采集的数据称为路端数据，然后通过计算机设备获取车端传感器采集的车端数据以及路端传感器采集的路端数据。

步骤S20，对所述车端数据和所述路端数据进行时空同步，得到时空同步后的车端数据和路端数据。

应当理解的是，由于数据采集以及数据传输需要时间，而各传感器的性能又并不一定相同，因此，车端数据和路端数据可能存在时间和空间上的差异，所以，为了提高数据精度，也为了便于后续对这些数据进行处理，可对车端数据和路端数据进行时空同步处理，得到时空同步后的车端数据和路端数据。其中，时空同步可包括空间同步和时间同步，可先对这些数据进行空间同步，然后在空间同步后的数据的基础上进行时间同步，也可先对这些数据进行时间同步，然后在时间同步后的数据的基础上进行空间同步，本实施例对此不作限制。

可以理解的是，可对车端传感器进行精确标定，并通过GPS授时激光雷达数据，车辆状态数据等，并同步触发相机，之后对数据进行差值处理，保证车端采集得到的数据在同一时间戳下。路段同样使用卫星授时，并且通过与车端定位设备的相对位置，将数据坐标统一到车辆坐标系下，完成车端数据与路端数据的时空同步。

进一步地，为了实现对车端数据和路端数据进行时空同步，所述步骤S20，包括：

获取所述车端传感器中的车端组合惯导对应的第一位置，并获取所述路端传感器中的路端定位设备对应的第二位置；根据所述第一位置和所述第二位置确定所述车端组合惯导和所述路端定位设备之间的相对位置；根据所述相对位置将所述车端数据和所述路端数据统一到所述车辆的车辆坐标系下，得到空间同步后的车端数据和路端数据；将空间同步后的车端数据和路端数据统一到同一时间戳下，得到时空同步后的车端数据和路端数据。

应当理解的是，在本实施例中可先对车端数据和路端数据进行空间同步，然后再进行时间同步。可先分别获取车端组合惯导对应的第一位置以及路端定位设备对应的第二位置，然后根据获取到的第一位置和第二位置确定两者之间的相对位置，将车端传感器和路端传感器采集的数据统一到车辆坐标系下，实现车端数据和路端数据的空间同步。

并且，在通过上述方式实现空间同步之后，还可通过组合惯导的授时与相机触发，以及软件同步，将空间同步后的车端数据和路端数据统一到同一时间戳下，从而实现车端数据和路端数据的时空同步。

步骤S30，根据高精地图对时空同步后的车端数据和路端数据进行融合，得到目标数据。

应当理解的是，本实施例中的高精地图指的是高精度的地图。由于可能存在部分场景下的组合惯导定位精度不高的情况，为了提高数据精度，可根据高精地图对时空同步后的车端数据和路端数据进行融合处理，得到目标数据。

可以理解的是，可将采集到的数据接入高精地图，在隧道、高楼、高架等场景车载组合惯导数据误差较大时提高定位精度，使经过融合处理后的目标数据具有更高的精度，进而通过更高精度的数据构建自动驾驶场景库，提高自动驾驶的安全性。

进一步地，针对组合惯导定位精度不高的情况，为了实现将车端数据和路端数据进行融合，所述步骤S30，包括：

获取高精地图中的地图数据；根据所述地图数据分别对时空同步后的车端数据和路端数据进行匹配定位，得到车端定位结果和路端定位结果；根据所述车端定位结果和所述路端定位结果对时空同步后的车端数据和路端数据进行融合，得到目标数据。

应当理解的是，考虑到数采系统的精度要求较高，而惯导在某些场景（如高架、高楼附近、隧道等）下误差较大的情况，因此，为了提高数据的精度，可获取高精地图中的高精度的地图数据，根据地图数据分别对这些场景下的经时空同步后的车端数据和路端数据进行匹配定位，得到车端定位结果和路端定位结果这两种定位结果，然后根据这两种定位结果对时空同步后的车端数据和路端数据进行融合，提高定位的精度，得到精度较高的目标数据。

步骤S40，基于所述目标数据进行场景分类，获得多个场景对应的场景数据。

可以理解的是，在得到目标数据之后，可基于这些目标数据进行场景分类，获得多个场景对应的场景数据。并且，为了满足GDPR等隐私保护法律法规的要求，可对采集得到的数据进行清洗，去除如人脸、车牌等敏感数据。之后再对数据通过场景分类后，进行模型训练、仿真测试等，实现数据的闭环。

需要说明的是，本实施例中的场景数据可包括环境场景数据、行车场景数据等多种类型的数据，环境场景数据可包括天气、道路状况的车外环境数据，行车场景数据可包括变道、超车、急刹、路口等场景的车辆状态和驾驶员操控数据，本实施例对此不作限制。

步骤S50，根据所述场景数据构建自动驾驶场景库。

应当理解的是，在通过上述方式确定场景数据之后，可根据得到的场景数据构建自动驾驶场景库，自动驾驶场景库用于为自动驾驶的模型训练和仿真测试提供足够的实际道路数据和驾驶员操控数据，从而提高自动驾驶的安全性。

应当理解的是，为了便于后续使用自动驾驶场景库中的场景数据进行模型训练和测试，可通过索引的方式来对这些场景数据进行标记，提高数据使用的效率。因此，在构建自动驾驶场景库的过程中，可根据场景数据对应的场景的场景类型生成场景索引，并建立这些场景数据与场景索引之间的对应关系，根据场景数据和场景索引构建自动驾驶场景库。其中，可通过为场景数据添加标签的方式来建立这些场景数据与场景索引之间的对应关系，也可通过映射列表的方式来建立这些场景数据与场景索引之间的对应关系，除此之外，还可采用其他方式，本实施例对此不作限制。

可以理解的是，可参照图4，图4为数据采集系统原理框图，本方案搭建一套数据采集系统，支持车端和路端多源传感器的采集设备，在服务器端搭建集数据清洗，场景筛选，感知、规控训练，仿真测试于一体的数据闭环系统。采集经时间和空间同步后的多源传感器数据，并和高精度地图定位结果进行融合，对增强后的数据进行数据清洗和数据场景库搭建，为模型训练和仿真测试提供足够的实际道路数据和驾驶员操控数据。

本方案与现有技术相比，存在以下优点：本方案可支持车端和路端的多源传感器的采集，数据场景库更为完整；模型训练及仿真测试需要提供复杂天气及环境下的场景数据，本方案提高了如隧道、高楼、高架场景的定位精度，结合高精地图提高定位精度；本方案可采集车辆及驾驶员操控数据，集感知归控的深度学习模型训练与仿真测试于一体。

在本实施例中，在车辆行驶的过程中，获取车端传感器采集的车端数据以及路端传感器采集的路端数据；对所述车端数据和所述路端数据进行时空同步，得到时空同步后的车端数据和路端数据；根据高精地图对时空同步后的车端数据和路端数据进行融合，得到目标数据；基于所述目标数据进行场景分类，获得多个场景对应的场景数据；根据所述场景数据构建自动驾驶场景库。本方案可对采集的车端数据和路端数据进行时空同步，然后再基于高精地图对这些数据进行融合之后再进行场景分类，以得到场景数据构建自动驾驶场景库，而自动驾驶场景库可用于为自动驾驶的模型训练和仿真测试提供数据，从而可提高自动驾驶的安全性。

在一实施例中，如图5所示，基于第一实施例提出本发明数据采集方法第二实施例，所述步骤S40，包括：

步骤S401，检测所述目标数据中包含的隐私信息，并根据所述隐私信息生成目标检测框。

应当理解的是，由于采集的数据中可能包括人脸、车牌号等隐私信息，这些隐私信息较为敏感，为了满足隐私法律法规的要求，可对经感知增强后的目标数据进行数据清洗，剔除或模糊化目标信息中的这些敏感的隐私信息。

可以理解的是，为了提高数据清洗的效率，可先对目标数据进行检测，以判断目标数据中是否存在隐私信息，如果目标数据中不存在隐私信息，则不需要进行数据清洗处理，直接根据目标数据进行场景分类。如果目标数据中存在隐私信息，则可检测目标数据中包含的隐私信息对应的位置，然后基于隐私信息对应的位置生成目标检测框，使隐私信息处于目标检测框中，让目标检测框能够包围隐私信息。

步骤S402，根据所述目标检测框对所述隐私信息进行模糊化处理，以对所述目标数据进行隐私信息清洗，得到清洗后的目标数据。

可以理解的是，为了达到更好的数据清洗效果以及足够的便利性，本实施例中优选对隐私信息进行模糊化处理，在生成上述目标检测框之后，可对目标检测框所在的区域进行模糊化处理，由于隐私信息也处于目标检测框中，从而可起到对隐私信息进行模糊化处理的效果。而由于在进行模糊化处理之后，无法再分辨出这些隐私信息，因此可以起到对目标数据进行隐私信息清洗的效果，并得到清洗后的目标数据。其中，由于进行了隐私信息清洗，因此清洗后的目标数据中不再包含敏感的隐私信息。

步骤S403，基于清洗后的目标数据进行场景分类，获得多个场景对应的场景数据。

应当理解的是，在得到清洗后的目标数据之后，可基于清洗后的目标数据进行场景分类，如晴天、雨天、高速、乡村、变道、路口等场景分类，并支持可视化回放，从而可获得多个场景对应的场景数据。

可以理解的是，可由用户预先设置多个场景的场景类型，并从清洗后的目标数据中匹配与各场景类型对应的数据，然后根据各场景类型对应的数据进行场景分类，获得多个场景对应的场景数据。其中，预设的多个场景的场景类型可根据实际情况来进行设置，本实施例对场景类型的具体类型以及数量不作限制。

在本实施例中，检测所述目标数据中包含的隐私信息，并根据所述隐私信息生成目标检测框；根据所述目标检测框对所述隐私信息进行模糊化处理，以对所述目标数据进行隐私信息清洗，得到清洗后的目标数据；基于清洗后的目标数据进行场景分类，获得多个场景对应的场景数据。从而可通过数据清洗的方式剔除数据中的敏感信息，然后在进行场景分类得到场景数据，满足了相关的法律法规要求。

在一实施例中，如图6所示，基于第一实施例或第二实施例提出本发明数据采集方法第三实施例，在本实施例中，基于第一实施例进行说明，所述步骤S50之后，还包括：

步骤S601，从所述自动驾驶场景库中的场景数据中筛选出环境场景数据和行车场景数据。

应当理解的是，在构建自动驾驶场景库之后，可基于自动驾驶场景库中的场景数据进行模型训练和仿真测试。可先从自动驾驶场景库中的场景数据中分别筛选出环境场景数据和行车场景数据，环境场景数据可包括各种天气、道路环境、道路状况的车外环境数据，行车场景数据可包括变道、超车、急刹、路口等场景的车辆状态和驾驶员操控数据。

步骤S602，根据所述环境场景数据生成感知模型训练集，并根据所述行车场景数据生成规控模型训练集。

需要说明的是，本实施例中的规控模型具体可为规划控制模型，通过规划控制模型来进行自动驾驶的控制。由于感知模型和规控模型都为自动驾驶中较为重要的模型，因此，可分别通过环境场景数据和行车场景数据对感知模型和规控模型进行训练。为了更加便于训练，提高模型训练效率，可分别根据环境场景数据和行车场景数据生成感知模型训练集和规控模型训练集。

步骤S603，根据所述感知模型训练集进行感知模型训练，得到训练后的感知模型。

应当理解的是，在得到感知模型训练集之后，可根据感知模型训练集对初始的感知模型进行感知模型训练，得到训练后的感知模型。

步骤S604，根据所述规控模型训练集进行规控模型训练，得到训练后的规控模型。

应当理解的是，在得到规控模型训练集之后，可根据规控模型训练集对初始的规控模型进行规控模型训练，得到训练后的规控模型。

步骤S605，将所述自动驾驶场景库中除所述环境场景数据和所述行车场景数据之外的场景数据作为测试场景数据。

应当理解的是，上述感知模型训练集和规控模型训练集中的都是用于进行模型训练的数据，而为了提高模型的准确度，除了进行训练之外，还需要进行仿真测试。因此，可将自动驾驶场景库中除了上述环境场景数据和行车场景数据之外的其他场景数据作为测试场景数据，用于对训练后的模型进行仿真测试。

步骤S606，根据所述测试场景数据构建仿真测试场景库。

可以理解的是，在得到猜测是场景数据之后，可根据测试场景数据构建仿真测试场景库。其中，该测试场景库具体可为软件在环测试（software in-the-loop，SIL）仿真测试场景库，除此之外，还可为其他类型的测试场景库，本实施例对此不作限制，在本实施例中，以SIL仿真测试场景库为例进行说明。

步骤S607，基于所述仿真测试场景库对训练后的感知模型和训练后的规控模型进行测试，并生成测试报告。

应当理解的是，可基于SIL仿真测试场景库中的场景数据对训练后的感知模型和规控模型进行SIL测试，并且基于测试结果生成测试报告，以供用户根据测试报告确定感知模型和规控模型的精度情况，并采取相应的措施，节约了人力物力。

在具体实现中，本方案的整体原理可参照图4，在路口等场景，由于遮挡等原因，仅靠车端感知数据可能不足以重建完整的三维场景，本发明结合路端采集设备（包括摄像头、激光雷达、定位设备等），通过车端组合惯导和路端定位设备之间相对位置，将两者采集的数据统一到车辆坐标系下，通过组合惯导的授时与相机触发，以及软件同步，将两者数据统一到同一时间戳下，实现数据的时空同步。考虑到数采系统的精度要求较高，而组合惯导在某些场景（如高架、高楼附近、隧道等）下误差较大的情况，通过高精度地图与车载传感器数据的匹配定位对这些场景下的两种定位结果作融合，提高定位的精度。为满足隐私法律法规的要求，对经感知增强后的数据进行数据清洗，剔除或模糊化敏感信息（如人脸、车牌号等）。根据场景对清洗后的数据进行分类，如晴天、雨天、高速、乡村、变道、路口等场景分类，并支持可视化回放。划分不同的场景为训练集和测试集，训练集包括感知模型训练集（各种天气、道路状况的车外环境数据）和归控模型训练集（变道、超车、急刹、路口等场景的车辆状态和驾驶员操控数据），其他未经训练的场景数据构建SIL仿真测试场景库，用于验证上述训练后的感知及归控模型算法，并输出测试报告。

在本实施例中，从所述自动驾驶场景库中的场景数据中筛选出环境场景数据和行车场景数据；根据所述环境场景数据生成感知模型训练集，并根据所述行车场景数据生成规控模型训练集；根据所述感知模型训练集进行感知模型训练，得到训练后的感知模型；根据所述规控模型训练集进行规控模型训练，得到训练后的规控模型；将所述自动驾驶场景库中除所述环境场景数据和所述行车场景数据之外的场景数据作为测试场景数据；根据所述测试场景数据构建仿真测试场景库；基于所述仿真测试场景库对训练后的感知模型和训练后的规控模型进行测试，并生成测试报告。从而可通过上述方式来对模型进行训练以及仿真测试，提高模型精度，进而提高自动驾驶的安全性。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有数据采集程序，所述数据采集程序被处理器执行时实现如上文所述的数据采集方法的步骤。

由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

此外，参照图7，本发明实施例还提出一种数据采集装置，所述数据采集装置包括：

数据采集模块10，用于在车辆行驶的过程中，获取车端传感器采集的车端数据以及路端传感器采集的路端数据。

需要说明的是，本实施例中的车辆可为汽车，也可为新能源车，还可为混动车，还可为其他类型的车辆，本实施例对此不作限制。

应当理解的是，本实施例中的车端传感器指的是设置在汽车上的传感器，路端传感器指的是设置在路边或者道路上的传感器。为了精准地采集车端数据，本方案可在汽车上设置多种车端传感器，例如包括但不限于中央高线束激光雷达、高线束前向激光雷达、侧向激光雷达、组合惯导天线、补盲激光雷达以及摄像头，通过这些车端传感器来采集车端数据。并且，由于仅车端采集的数据并不足以建立某些遮挡场景完整的数据库，为了提高数据精度，使场景数据更加丰富，本方案还可通过各种路端传感器来采集路端数据，将车端数据和路端数据结合起来进行数据采集。

可以理解的是，本方案中的车端传感器支架高度集成，可固定多个激光雷达和摄像头以及组合惯导天线，多个传感器的组合FOV涵盖车身周围360°，减少视野盲区，并且支持路端数据接入，补充遮挡场景的外部环境数据缺失。

在具体实现中，可参照图3，图3为车端传感器布置示意图，图3中示出了数采设备10、中央高线束激光雷达20、高线束前向激光雷达30、侧向激光雷达40、组合惯导天线50、补盲激光雷达60以及摄像头70等设备，其中，数采设备10用于对各自传感器的数据进行采集，各传感器的数量可为1个或多个，可根据实际情况进行设置，本实施例对此不作限制。

各车端传感器的布置方式可参照图3，中央为一个高线束机械式激光雷达，两侧为两个补盲短距激光雷达，左前右前为两个中距激光雷达，前方安装一个高线束固态激光雷达，后方为一个机械式激光雷达。摄像头包括前视的一个长焦摄像头和一个广角摄像头，两侧分别有两个摄像头覆盖侧前和侧后区域。数采设备及其恒温装置、电源等置于后备箱中，传感器的布置覆盖车辆周身360°。除了上述布置方式外，还可通过其他方式对这些传感器进行布置，本实施例对此不作限制。

可以理解的是，在进行数据采集时，可由驾驶员驾驶车辆出行，在车辆行驶的过程中，同时通过车端传感器和路端传感器来采集与车辆相关的数据，可将各车端传感器采集的数据称为车端数据，将各路端传感器采集的数据称为路端数据，然后通过计算机设备获取车端传感器采集的车端数据以及路端传感器采集的路端数据。

时空同步模块20，用于对所述车端数据和所述路端数据进行时空同步，得到时空同步后的车端数据和路端数据。

应当理解的是，由于数据采集以及数据传输需要时间，而各传感器的性能又并不一定相同，因此，车端数据和路端数据可能存在时间和空间上的差异，所以，为了提高数据精度，也为了便于后续对这些数据进行处理，可对车端数据和路端数据进行时空同步处理，得到时空同步后的车端数据和路端数据。其中，时空同步可包括空间同步和时间同步，可先对这些数据进行空间同步，然后在空间同步后的数据的基础上进行时间同步，也可先对这些数据进行时间同步，然后在时间同步后的数据的基础上进行空间同步，本实施例对此不作限制。

可以理解的是，可对车端传感器进行精确标定，并通过GPS授时激光雷达数据，车辆状态数据等，并同步触发相机，之后对数据进行差值处理，保证车端采集得到的数据在同一时间戳下。路段同样使用卫星授时，并且通过与车端定位设备的相对位置，将数据坐标统一到车辆坐标系下，完成车端数据与路端数据的时空同步。

进一步地，为了实现对车端数据和路端数据进行时空同步，所述时空同步模块20，还用于获取所述车端传感器中的车端组合惯导对应的第一位置，并获取所述路端传感器中的路端定位设备对应的第二位置；根据所述第一位置和所述第二位置确定所述车端组合惯导和所述路端定位设备之间的相对位置；根据所述相对位置将所述车端数据和所述路端数据统一到所述车辆的车辆坐标系下，得到空间同步后的车端数据和路端数据；将空间同步后的车端数据和路端数据统一到同一时间戳下，得到时空同步后的车端数据和路端数据。

应当理解的是，在本实施例中可先对车端数据和路端数据进行空间同步，然后再进行时间同步。可先分别获取车端组合惯导对应的第一位置以及路端定位设备对应的第二位置，然后根据获取到的第一位置和第二位置确定两者之间的相对位置，将车端传感器和路端传感器采集的数据统一到车辆坐标系下，实现车端数据和路端数据的空间同步。

并且，在通过上述方式实现空间同步之后，还可通过组合惯导的授时与相机触发，以及软件同步，将空间同步后的车端数据和路端数据统一到同一时间戳下，从而实现车端数据和路端数据的时空同步。

数据融合模块30，用于根据高精地图对时空同步后的车端数据和路端数据进行融合，得到目标数据。

应当理解的是，本实施例中的高精地图指的是高精度的地图。由于可能存在部分场景下的组合惯导定位精度不高的情况，为了提高数据精度，可根据高精地图对时空同步后的车端数据和路端数据进行融合处理，得到目标数据。

可以理解的是，可将采集到的数据接入高精地图，在隧道、高楼、高架等场景车载组合惯导数据误差较大时提高定位精度，使经过融合处理后的目标数据具有更高的精度，进而通过更高精度的数据构建自动驾驶场景库，提高自动驾驶的安全性。

进一步地，针对组合惯导定位精度不高的情况，为了实现将车端数据和路端数据进行融合，所述数据融合模块30，还用于获取高精地图中的地图数据；根据所述地图数据分别对时空同步后的车端数据和路端数据进行匹配定位，得到车端定位结果和路端定位结果；根据所述车端定位结果和所述路端定位结果对时空同步后的车端数据和路端数据进行融合，得到目标数据。

应当理解的是，考虑到数采系统的精度要求较高，而惯导在某些场景（如高架、高楼附近、隧道等）下误差较大的情况，因此，为了提高数据的精度，可获取高精地图中的高精度的地图数据，根据地图数据分别对这些场景下的经时空同步后的车端数据和路端数据进行匹配定位，得到车端定位结果和路端定位结果这两种定位结果，然后根据这两种定位结果对时空同步后的车端数据和路端数据进行融合，提高定位的精度，得到精度较高的目标数据。

场景分类模块40，用于基于所述目标数据进行场景分类，获得多个场景对应的场景数据。

可以理解的是，在得到目标数据之后，可基于这些目标数据进行场景分类，获得多个场景对应的场景数据。并且，为了满足GDPR等隐私保护法律法规的要求，可对采集得到的数据进行清洗，去除如人脸、车牌等敏感数据。之后再对数据通过场景分类后，进行模型训练、仿真测试等，实现数据的闭环。

需要说明的是，本实施例中的场景数据可包括环境场景数据、行车场景数据等多种类型的数据，环境场景数据可包括天气、道路状况的车外环境数据，行车场景数据可包括变道、超车、急刹、路口等场景的车辆状态和驾驶员操控数据，本实施例对此不作限制。

场景库构建模块50，用于根据所述场景数据构建自动驾驶场景库。

应当理解的是，在通过上述方式确定场景数据之后，可根据得到的场景数据构建自动驾驶场景库，自动驾驶场景库用于为自动驾驶的模型训练和仿真测试提供足够的实际道路数据和驾驶员操控数据，从而提高自动驾驶的安全性。

应当理解的是，为了便于后续使用自动驾驶场景库中的场景数据进行模型训练和测试，可通过索引的方式来对这些场景数据进行标记，提高数据使用的效率。因此，在构建自动驾驶场景库的过程中，可根据场景数据对应的场景的场景类型生成场景索引，并建立这些场景数据与场景索引之间的对应关系，根据场景数据和场景索引构建自动驾驶场景库。其中，可通过为场景数据添加标签的方式来建立这些场景数据与场景索引之间的对应关系，也可通过映射列表的方式来建立这些场景数据与场景索引之间的对应关系，除此之外，还可采用其他方式，本实施例对此不作限制。

可以理解的是，可参照图4，图4为数据采集系统原理框图，本方案搭建一套数据采集系统，支持车端和路端多源传感器的采集设备，在服务器端搭建集数据清洗，场景筛选，感知、规控训练，仿真测试于一体的数据闭环系统。采集经时间和空间同步后的多源传感器数据，并和高精度地图定位结果进行融合，对增强后的数据进行数据清洗和数据场景库搭建，为模型训练和仿真测试提供足够的实际道路数据和驾驶员操控数据。

本方案与现有技术相比，存在以下优点：本方案可支持车端和路端的多源传感器的采集，数据场景库更为完整；模型训练及仿真测试需要提供复杂天气及环境下的场景数据，本方案提高了如隧道、高楼、高架场景的定位精度，结合高精地图提高定位精度；本方案可采集车辆及驾驶员操控数据，集感知归控的深度学习模型训练与仿真测试于一体。

在本实施例中，在车辆行驶的过程中，获取车端传感器采集的车端数据以及路端传感器采集的路端数据；对所述车端数据和所述路端数据进行时空同步，得到时空同步后的车端数据和路端数据；根据高精地图对时空同步后的车端数据和路端数据进行融合，得到目标数据；基于所述目标数据进行场景分类，获得多个场景对应的场景数据；根据所述场景数据构建自动驾驶场景库。本方案可对采集的车端数据和路端数据进行时空同步，然后再基于高精地图对这些数据进行融合之后再进行场景分类，以得到场景数据构建自动驾驶场景库，而自动驾驶场景库可用于为自动驾驶的模型训练和仿真测试提供数据，从而可提高自动驾驶的安全性。

在一实施例中，所述时空同步模块20，还用于获取所述车端传感器中的车端组合惯导对应的第一位置，并获取所述路端传感器中的路端定位设备对应的第二位置；根据所述第一位置和所述第二位置确定所述车端组合惯导和所述路端定位设备之间的相对位置；根据所述相对位置将所述车端数据和所述路端数据统一到所述车辆的车辆坐标系下，得到空间同步后的车端数据和路端数据；将空间同步后的车端数据和路端数据统一到同一时间戳下，得到时空同步后的车端数据和路端数据。

在一实施例中，所述数据融合模块30，还用于获取高精地图中的地图数据；根据所述地图数据分别对时空同步后的车端数据和路端数据进行匹配定位，得到车端定位结果和路端定位结果；根据所述车端定位结果和所述路端定位结果对时空同步后的车端数据和路端数据进行融合，得到目标数据。

在一实施例中，所述场景分类模块40，还用于检测所述目标数据中包含的隐私信息，并根据所述隐私信息生成目标检测框；根据所述目标检测框对所述隐私信息进行模糊化处理，以对所述目标数据进行隐私信息清洗，得到清洗后的目标数据；基于清洗后的目标数据进行场景分类，获得多个场景对应的场景数据。

在一实施例中，所述场景分类模块40，还用于获取预设的多个场景的场景类型；从清洗后的目标数据中匹配与各场景类型对应的数据；根据各场景类型对应的数据进行场景分类，获得多个场景对应的场景数据。

在一实施例中，所述场景库构建模块50，还用于根据所述场景数据对应的场景的场景类型生成场景索引，并建立所述场景数据与所述场景索引之间的对应关系；根据所述场景数据和所述场景索引构建自动驾驶场景库。

在一实施例中，所述数据采集装置还包括模型训练模块，用于从所述自动驾驶场景库中的场景数据中筛选出环境场景数据和行车场景数据；根据所述环境场景数据生成感知模型训练集，并根据所述行车场景数据生成规控模型训练集；根据所述感知模型训练集进行感知模型训练，得到训练后的感知模型；根据所述规控模型训练集进行规控模型训练，得到训练后的规控模型；将所述自动驾驶场景库中除所述环境场景数据和所述行车场景数据之外的场景数据作为测试场景数据；根据所述测试场景数据构建仿真测试场景库；基于所述仿真测试场景库对训练后的感知模型和训练后的规控模型进行测试，并生成测试报告。

在本发明所述数据采集装置的其他实施例或具体实现方法可参照上述各方法实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该估算机软件产品存储在如上所述的一个估算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台智能设备(可以是手机，估算机，数据采集设备，或者网络数据采集设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种数据采集方法，其特征在于，所述数据采集方法包括：

在车辆行驶的过程中，获取车端传感器采集的车端数据以及路端传感器采集的路端数据；

对所述车端数据和所述路端数据进行时空同步，得到时空同步后的车端数据和路端数据；

根据高精地图对时空同步后的车端数据和路端数据进行融合，得到目标数据；

基于所述目标数据进行场景分类，获得多个场景对应的场景数据；

根据所述场景数据构建自动驾驶场景库；

其中，所述根据高精地图对时空同步后的车端数据和路端数据进行融合，得到目标数据，包括：

获取高精地图中的地图数据；

根据所述地图数据分别对时空同步后的车端数据和路端数据进行匹配定位，得到车端定位结果和路端定位结果；

根据所述车端定位结果和所述路端定位结果对时空同步后的车端数据和路端数据进行融合，得到目标数据。

2.如权利要求1所述的数据采集方法，其特征在于，所述对所述车端数据和所述路端数据进行时空同步，得到时空同步后的车端数据和路端数据，包括：

获取所述车端传感器中的车端组合惯导对应的第一位置，并获取所述路端传感器中的路端定位设备对应的第二位置；

根据所述第一位置和所述第二位置确定所述车端组合惯导和所述路端定位设备之间的相对位置；

根据所述相对位置将所述车端数据和所述路端数据统一到所述车辆的车辆坐标系下，得到空间同步后的车端数据和路端数据；

将空间同步后的车端数据和路端数据统一到同一时间戳下，得到时空同步后的车端数据和路端数据。

3.如权利要求1所述的数据采集方法，其特征在于，所述基于所述目标数据进行场景分类，获得多个场景对应的场景数据，包括：

检测所述目标数据中包含的隐私信息，并根据所述隐私信息生成目标检测框；

根据所述目标检测框对所述隐私信息进行模糊化处理，以对所述目标数据进行隐私信息清洗，得到清洗后的目标数据；

基于清洗后的目标数据进行场景分类，获得多个场景对应的场景数据。

4.如权利要求3所述的数据采集方法，其特征在于，所述基于清洗后的目标数据进行场景分类，获得多个场景对应的场景数据，包括：

获取预设的多个场景的场景类型；

从清洗后的目标数据中匹配与各场景类型对应的数据；

根据各场景类型对应的数据进行场景分类，获得多个场景对应的场景数据。

5.如权利要求1至4中任一项所述的数据采集方法，其特征在于，所述根据所述场景数据构建自动驾驶场景库，包括：

根据所述场景数据对应的场景的场景类型生成场景索引，并建立所述场景数据与所述场景索引之间的对应关系；

根据所述场景数据和所述场景索引构建自动驾驶场景库。

6.如权利要求1至4中任一项所述的数据采集方法，其特征在于，所述根据所述场景数据构建自动驾驶场景库之后，还包括：

从所述自动驾驶场景库中的场景数据中筛选出环境场景数据和行车场景数据；

根据所述环境场景数据生成感知模型训练集，并根据所述行车场景数据生成规控模型训练集；

根据所述感知模型训练集进行感知模型训练，得到训练后的感知模型；

根据所述规控模型训练集进行规控模型训练，得到训练后的规控模型；

将所述自动驾驶场景库中除所述环境场景数据和所述行车场景数据之外的场景数据作为测试场景数据；

根据所述测试场景数据构建仿真测试场景库；

基于所述仿真测试场景库对训练后的感知模型和训练后的规控模型进行测试，并生成测试报告。

7.一种数据采集装置，其特征在于，所述数据采集装置包括：

数据采集模块，用于在车辆行驶的过程中，获取车端传感器采集的车端数据以及路端传感器采集的路端数据；

时空同步模块，用于对所述车端数据和所述路端数据进行时空同步，得到时空同步后的车端数据和路端数据；

数据融合模块，用于根据高精地图对时空同步后的车端数据和路端数据进行融合，得到目标数据；

场景分类模块，用于基于所述目标数据进行场景分类，获得多个场景对应的场景数据；

场景库构建模块，用于根据所述场景数据构建自动驾驶场景库；

所述数据融合模块，还用于获取高精地图中的地图数据；根据所述地图数据分别对时空同步后的车端数据和路端数据进行匹配定位，得到车端定位结果和路端定位结果；根据所述车端定位结果和所述路端定位结果对时空同步后的车端数据和路端数据进行融合，得到目标数据。

8.一种数据采集设备，其特征在于，所述数据采集设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据采集程序，所述数据采集程序被处理器执行时实现如权利要求1至6中任一项所述的数据采集方法。

9.一种存储介质，其特征在于，所述存储介质上存储有数据采集程序，所述数据采集程序被处理器执行时实现如权利要求1至6中任一项所述的数据采集方法。

Images