CN115167374A - 自动驾驶传感器回灌虚拟仿真测试方法及其系统 - Google Patents

Abstract

本发明公开了一种自动驾驶传感器回灌虚拟仿真测试方法，包括以下步骤：S1：通过自动驾驶传感器采集路试过程中实际场景数据，由上位机软件进行同步化处理，使处理后数据与真实道路控制器接受数据保持一致；S2：对S1提供的视频数据进行转发、缓存、编码、仿真，根据视频数据时间戳同步进行对外输出，完成数据回灌注入；S3：利用待测控制器接收上述信号后，对故障场景反复开环测试。还公开了一种自动驾驶传感器回灌虚拟仿真测试系统。本发明能够实现更多实际场景的数据采集、存储以及回灌测试，丰富自动驾驶制器验证手段，相对于传统仿真测试，其测试场景真实性还原度极大提高，可重复性好，对自动驾驶控制器视觉传感器算法验证有较大帮助。

Description

自动驾驶传感器回灌虚拟仿真测试方法及其系统

技术领域

本发明涉及自动驾驶技术领域，特别是涉及一种自动驾驶传感器回灌虚拟仿真测试方法及其系统。

背景技术

在自动驾驶控制器开发过程中，对控制器的全方位的功能和性能测试是必不可少的一个环节。对于自动驾驶控制器而言，其特殊的传感器如摄像头，在传统仿真环境下只能依赖仿真场景软件生成虚拟的摄像头数据。虚拟的视频数据可以对控制器进行一定程度上的功能测试，但由于虚拟场景生成的视频数据与真实值尚存在一定的精度差距，所以无法覆盖全部测试需求。在此背景下，利用实车采集数据进行回灌注入自动驾驶控制器进行测试是解决上述问题的方法之一。

中国专利文献CN113160454A公开了一种自动驾驶车辆历史传感器数据回灌方法及系统，将摄像头处理后的数据和其他传感器的历史数据拼接到一起，回灌到自动驾驶融合算法中，以便验证自动驾驶融合算法针对该场景是否还会出现空车失误的问题。该专利中存在的问题：

(1)回灌测试对象为自动驾驶融合算法，测试不能接近真实测试，测试有效性及精度不高；

(2)回灌算法测试，需要将摄像头每一帧数据插入到dat文件进行拼接，以便让算法能够识别，测试过程繁琐，不易及时发现测试问题；

(3)只是利用自动驾驶车辆的历史形式场景和历史数据，缺乏场景软件进行真实场景的图像模拟，对回灌算法测试帮助不大。

因此亟需提供一种新型的自动驾驶传感器回灌虚拟仿真测试方法及其系统来解决上述问题。

发明内容

本发明所要解决的技术问题是提供一种自动驾驶传感器回灌虚拟仿真测试系统及其方法，能够实现更多实际场景的数据采集、存储以及回灌测试，丰富自动驾驶制器验证手段。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种自动驾驶传感器回灌虚拟仿真测试方法，包括以下步骤：

S1：通过自动驾驶传感器采集路试过程中实际场景数据，由上位机软件进行同步化处理，使处理后数据与真实道路控制器接受数据保持一致；

S2：对步骤S1提供的视频数据进行转发、缓存、编码、仿真，根据视频数据时间戳同步进行对外输出，使传递数据按照满足控制器接收信号进行处理，完成数据回灌注入；

S3：利用待测控制器接收上述信号后，对故障场景反复开环测试。

在本发明一个较佳实施例中，在步骤S1中，上位机软件采集场景软件HDMI视频数据和以太网数据，对不同类型的数据分别运行解析程序，依靠统一调度进程以毫秒为周期对不同数据解码进程进行触发、暂停与结束。

进一步的，所述视频数据包括环视及前视多路摄像头视频数据。

在本发明一个较佳实施例中，步骤S2中，还将场景仿真软件生成的虚拟视频流数据实时通过HDMI接口进行解码回灌至待测控制器中。

在本发明一个较佳实施例中，在步骤S2中，通过建立视频IO卡将场景软件模拟的包括道路交通参与者、车位信息、路面标识线图像数据仿真模拟成泊车控制器识别的真实摄像头的视频协议和电气特性发送给待测控制器，实现环视摄像头的模拟仿真。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种自动驾驶传感器回灌虚拟仿真测试系统，主要包括：

数据源处理模块，作为提供数据解析和统一调度的平台，用于通过自动驾驶传感器采集路试过程中极限危险场景数据，并进行同步化处理，使处理后数据与真实道路控制器接受数据保持一致；

数据处理回灌模块，用于对数据源处理模块提供的视频数据进行转发、缓存、编码、仿真，根据视频数据时间戳同步进行回放，使传递数据按照满足控制器接收信号进行处理，完成数据回灌注入；

数据注入测试模块，用于接收数据处理回灌模块回灌注入的数据，并进行故障场景反复开环测试。

在本发明一个较佳实施例中，所述数据源处理模块采集场景软件HDMI视频数据和以太网数据，对不同类型的数据运行解析程序，依靠统一调度进程以毫秒为周期对不同数据解码进程进行触发、暂停与结束。

在本发明一个较佳实施例中，所述数据处理回灌模块包括若干路视频数据的回放，各路视频数据根据外部输入的时钟进行计时，并根据计时结果对数据源处理模块中的数据进行筛选，数据时间戳与计时结果一致时将数据对外输出，实现各路数据的高精度同步输出。

在本发明一个较佳实施例中，所述数据处理回灌模块具备转发仿真视频数据的功能，将场景仿真软件生成的虚拟视频流数据实时通过HDMI接口进行解码回灌至待测控制器中。

在本发明一个较佳实施例中，所述数据处理回灌模块对环视多路摄像头视频数据进行参数标定过程。

本发明的有益效果是：

(1)本发明通过搭建自动驾驶虚拟仿真测试系统，可以实现更多实际场景的数据采集、存储以及回灌测试，丰富自动驾驶制器验证手段，相对于传统仿真测试，其测试场景真实性还原度极大提高，可重复性好，对自动驾驶控制器视觉传感器算法验证有较大帮助；

(2)本发明测试方法的回灌测试对象为自动驾驶硬件控制器，而非自动驾驶算法，相对于回灌算法测试，这种测试方法能够测试自动驾驶传感器算法识别及决策控制双重功能，测试更加接近真实测试，测试有效性及精度更高；

(3)相对于回灌算法测试，需要将摄像头每一帧数据插入到dat文件进行拼接，以便让算法能够识别，而本发明是将原始视频数据按照视频协议进行解码仿真，能够为真实控制器识别，与实际道路测试过程中控制器接受数据保持一致，测试还原性更高，更准确发现问题；

(4)本发明测试方法通过场景软件模拟图像渲染处理，可以人为创造真实道路难以遇见的极限危险场景，譬如可以模拟货车尾部白色反光板，如同特斯拉摄像头失效场景，测试一些非典型极限场景，将这些数据注入控制器进行测试，这种测试对摄像头识别算法有很大帮助；

(5)通过自动驾驶传感器回灌虚拟仿真测试系统，解决了传统虚拟场景还原度不高、真实道路测试的问题场景无法复现、难以重复性测试等痛点问题，优化了验证方法，缩短验证周期，丰富验证场景，为自动驾驶控制器测试验证提供技术支持。

附图说明

图1是本发明自动驾驶传感器回灌虚拟仿真测试方法的流程示意图；

图2是所述自动驾驶传感器回灌虚拟仿真测试系统的拓扑架构示意图；

图3是所述数据源处理模块的架构说明图；

图4是所述数据处理回灌模块回注仿真数据流模式示意图；

图5是所述视频采集、解析、回注仿真数据流模式示意图；

图6是环视摄像头注入模拟示意图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

请参阅图1和图2，本发明实施例包括：

一种自动驾驶传感器回灌虚拟仿真测试方法，包括以下步骤：

S1：通过自动驾驶传感器采集路试过程中实际场景数据，由上位机软件进行同步化处理，使处理后数据与真实道路控制器接受数据保持一致；

上位机软件采集场景软件HDMI视频数据和以太网数据，对不同类型的数据分别运行解析程序，依靠统一调度进程以毫秒为周期对不同数据解码进程进行触发、暂停与结束。

S2：对步骤S1提供的视频数据进行转发、缓存、编码、仿真，根据视频数据时间戳同步进行对外输出，支持前视、环视多通道视频回放注入，使传递数据按照满足控制器接收信号进行处理，完成数据回灌注入；还将场景仿真软件生成的虚拟视频流数据实时通过HDMI接口进行解码回灌至待测控制器中；

S3：利用待测控制器接收上述信号后，对故障场景反复开环测试，极大提升验证控制器功能算法验证效率。

结合图2，本发明示例还提供一种自动驾驶传感器回灌虚拟仿真测试系统，主要包括数据源处理模块、数据处理回灌模块、数据注入测试模块。本示例中，利用MATLAB/Simulink控制系统开发的半实物仿真软硬件的工作平台，具有实时性强、可靠性高，扩充性好等优点，数据源处理模块的处理器具有高速计算能力，并配备了丰富的I/O支持，通过仿真系统模拟受控对象行为来验证控制器功能及性能。区别于通用操作系统，时序安排系统保证高优先级任务最先执行，没有外围设备中断控制代码。

所述数据源处理模块通过相关传感器对车辆周边环境采集的数据进行同步化处理，这些传感器包括常见的激光雷达、毫米波雷达、摄像头、IMU\GPS。数据源处理系统主要用于运行离线数据的解析程序，进程调度，为了兼容回灌模式和仿真模式，还具备采集场景软件HDMI视频数据和以太网数据的功能，如图1所示，包括摄像头视频数据编码器(cameradata encoder)、摄像头视频数据解码器(camera data decoder)、以太网数据编码器(ETHdata encoder)、硬件在环IO口(HIL IO)。

本示例中，数据源处理模块采用工控机，主要提供数据解析和统一调度的平台，运行Linux系统。结合图3，系统内部独立运行几个不同类型数据解析进程，依靠统一调度进程以毫秒为周期对几个数据解码进程进行触发(trigger)。数据解析进程将解析好的数据依次放入不同的数据回注IO卡的缓存器(buffer)中，当buffer数据量达到目标值便停止解析，并实时监控不同IO卡内buffer的余量，当buffer数据量小于指定值时再重新开始解析。除了数据解析的进程，上位机软件控制系统的运行状态同时具备一定的在线调参功能，上位机通过控制几个进程的启动、暂停与结束来对整个数据回放过程进行控制(control)。上位机软件实现真值对比并形成测试报告，每一段回放数据都有自己的真值表，在控制数据回放的过程会同步采集控制器的CAN数据，获取识别结果，然后与真值表共同形成测试报告。工控机还可实现环视及前视多路摄像头视频数据同步注入，对于L3等级以上自动驾驶制器测试有较大好处。

所述数据处理回灌模块用于对数据源处理模块提供的视频数据进行转发、缓存、编码、仿真，根据视频数据时间戳同步进行回放，支持前视、环视多通道视频回放注入，使传递数据按照满足控制器接收信号进行处理，完成数据回灌注入。对包括毫米波雷达、激光雷达点云、视频图像等，需要经过一系列数据处理，这些处理方法包括了传感器参数标定、坐标转换、传统图像处理、深度学习、缓存、IIC仿真等。本发明仅对图像数据进行处理，使得采集数据经过转化处理后，与真实道路控制器接受数据保持一致，更加接近真实测试，但又不受场地限制，可重复测试，对于控制器识别算法测试训练有很大帮助。

本示例中，数据处理回灌模块定制开发视频解析仿真板卡，对数据进行注入回灌，将采集问题数据按照相关协议进行仿真，使数据格式能够被待测控制器识别，板卡间通过百兆高精度时钟同步，将工控机预先缓存到buffer中的自动驾驶数据(环视与前视)通过时间戳同步对外输出，同步精度可达到us级别。

视频解析仿真板卡主要用于视频信号的回灌注入，每块视频IO卡可实现一路视频数据的回放，板卡根据外部输入的高精度时钟进行计时，并根据计时结果对缓存在buffer中的数据进行筛选，数据时间戳与计时结果一致即可将数据对外输出，从而实现各板卡间数据的高精度同步输出。板卡也可按照内置帧率时序进行自由输出。视频解析仿真板卡采用子母卡结合的形式，母卡配置通用器件如PCIe接口、ddr扩展存储、FPGA主芯片等，子卡通过标准FMC/HSMC插槽与母卡通讯，子卡可根据不同的摄像头模组和解串器芯片型号进行定制，母卡可兼容不同的子卡。结合图4，除了回放视频数据外，视频解析仿真板卡还兼具转发场景模拟仿真软件视频数据回灌测试功能，即可将场景仿真软件生成的虚拟视频流数据实时通过HDMI接口进行解码回灌至待测控制器ISP芯片。视频解析仿真板卡的芯片内部可根据上位机控制指令将输出的数据源切换到HDMI(高清多媒体接口)。按照真实摄像头的视频协议和电气特性发送给待测控制器，实现HIL模式下虚拟仿真场景下的视频注入。该模式下，可基于数据源处理模块的控制器通过GMSL透传的同步信号进行同步，仿真真实摄像头的同步机制。

结合图4和图5，定制开发的embedded data(嵌入信息)算法可在上位机数据解析进程中进行配置(回放视频数据中有embedded data)或者在FPGA内部实时运算(需提供协议，按照协议进行仿真)，且支持在线更改支持IIC节点仿真、可读、可写、可在线配置寄存器，器件地址等。视频采集、解析回注数据流如图5所示。视频数据注入可通过上位机软件在线控制回放数据流进程(启动、暂停、停止、回灌等模式)，配置视频帧率，在线进行非线性调节。工控机可根据下位机的帧率调节数据搬移的频率，该功能由上位机软件统一控制，多板卡仿真时支持多种同步机制。

如图5所示，传感器回注系统拓扑架构主要由三部分组成，一部分是数据源，主要用于运行离线数据的解析程序，进程调度，板卡buffer监控和上位机软件，为了形成测试报告，上位机软件可供TAE调度，TAE实时对比基于VCI采集到的can数据分析都得到控制器识别结果和系统存储的真值表。另一部分是PCIe IO卡，该部分根据具体需求配置，主要有视频数据IO卡，负责视频数据的采集和回放，该部分由子母卡组成，子卡可根据不同的摄像头模组进行定制，母卡可兼容不同的子卡。第三部分就是待测控制器。

所述数据注入测试模块用于接收数据处理回灌模块回灌注入的数据，并进行故障场景反复开环测试。该模块包含对视频数据坐标转换以及摄像头标定，使得实车采集数据与待测控制器接受数据在空间坐标保持一致，实现环视摄像头等畸变参数较大数据回灌测试。

该系统支持前视、环视多通道视频回放注入，不同于前视视频注入方式，环视摄像头畸变更大，对板卡性能要求更高。首先依据四路摄像头视场角、畸变参数、光学性能参数在场景软件设置四路摄像头参数，模拟泊车时整车四路摄像头拍摄的画面，此过程称之为摄像头内外参数标定过程。此种方法具有图像感知损失最小，精度高，可以模拟图像畸变、图像故障、增益调节、全局曝光调节、局部曝光、信号噪声、镜遮挡等多种工况，保证了模拟仿真精度。

结合图6，通过建立视频IO卡将场景软件模拟的道路交通参与者、车位信息、路面标识线等图像数据仿真模拟成泊车控制器可以识别的真实摄像头的视频协议和电气特性发送给控制器，从而实现环视摄像头的模拟仿真。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种自动驾驶传感器回灌虚拟仿真测试方法，其特征在于，包括以下步骤：

S1：通过自动驾驶传感器采集路试过程中实际场景数据，由上位机软件进行同步化处理，使处理后数据与真实道路控制器接受数据保持一致；

S2：对步骤S1提供的视频数据进行转发、缓存、编码、仿真，根据视频数据时间戳同步进行对外输出，使传递数据按照满足控制器接收信号进行处理，完成数据回灌注入；

S3：利用待测控制器接收上述信号后，对故障场景反复开环测试。

2.根据权利要求1所述的自动驾驶传感器回灌虚拟仿真测试方法，其特征在于，在步骤S1中，上位机软件采集场景软件HDMI视频数据和以太网数据，对不同类型的数据分别运行解析程序，依靠统一调度进程以毫秒为周期对不同数据解码进程进行触发、暂停与结束。

3.根据权利要求1或2所述的自动驾驶传感器回灌虚拟仿真测试方法，其特征在于，所述视频数据包括环视及前视多路摄像头视频数据。

4.根据权利要求1所述的自动驾驶传感器回灌虚拟仿真测试方法，其特征在于，步骤S2中，还将场景仿真软件生成的虚拟视频流数据实时通过HDMI接口进行解码回灌至待测控制器中。

5.根据权利要求1所述的自动驾驶传感器回灌虚拟仿真测试方法，其特征在于，在步骤S2中，通过建立视频IO卡将场景软件模拟的包括道路交通参与者、车位信息、路面标识线图像数据仿真模拟成泊车控制器识别的真实摄像头的视频协议和电气特性发送给待测控制器，实现环视摄像头的模拟仿真。

6.一种自动驾驶传感器回灌虚拟仿真测试系统，其特征在于，主要包括：

数据源处理模块，作为提供数据解析和统一调度的平台，用于通过自动驾驶传感器采集路试过程中极限危险场景数据，并进行同步化处理，使处理后数据与真实道路控制器接受数据保持一致；

数据处理回灌模块，用于对数据源处理模块提供的视频数据进行转发、缓存、编码、仿真，根据视频数据时间戳同步进行回放，使传递数据按照满足控制器接收信号进行处理，完成数据回灌注入；

数据注入测试模块，用于接收数据处理回灌模块回灌注入的数据，并进行故障场景反复开环测试。

7.根据权利要求6所述的自动驾驶传感器回灌虚拟仿真测试系统，其特征在于，所述数据源处理模块采集场景软件HDMI视频数据和以太网数据，对不同类型的数据运行解析程序，依靠统一调度进程以毫秒为周期对不同数据解码进程进行触发、暂停与结束。

8.根据权利要求6所述的自动驾驶传感器回灌虚拟仿真测试系统，其特征在于，所述数据处理回灌模块包括若干路视频数据的回放，各路视频数据根据外部输入的时钟进行计时，并根据计时结果对数据源处理模块中的数据进行筛选，数据时间戳与计时结果一致时将数据对外输出，实现各路数据的高精度同步输出。

9.根据权利要求6所述的自动驾驶传感器回灌虚拟仿真测试系统，其特征在于，所述数据处理回灌模块具备转发仿真视频数据的功能，将场景仿真软件生成的虚拟视频流数据实时通过HDMI接口进行解码回灌至待测控制器中。

10.根据权利要求6所述的自动驾驶传感器回灌虚拟仿真测试系统，其特征在于，所述数据处理回灌模块对环视多路摄像头视频数据进行参数标定过程。

Images