CN116107902A - 测试数据的回灌方法和装置、测试数据的回灌系统 - Google Patents

Abstract

本申请公开了一种测试数据的回灌方法和装置、测试数据的回灌系统，涉及数据处理技术领域，该方法包括：接收数据回灌请求，其中，数据回灌请求用于请求回灌待测试的辅助驾驶系统在目标驾驶场景下的测试数据，测试数据用于测试辅助驾驶系统在目标驾驶场景下的辅助驾驶性能；响应数据回灌请求，从辅助驾驶系统的驾驶数据集合中获取在目标驾驶场景下采集到的参考驾驶数据；按照与辅助驾驶系统的测试需求匹配的数据优化方式对参考驾驶数据进行数据优化，得到增加了与测试需求之间的匹配度的目标驾驶数据；将目标驾驶数据回灌到辅助驾驶系统，采用上述技术方案，解决了相关技术中对辅助驾驶系统的辅助驾驶性能的测试效率较低等问题。

Description

测试数据的回灌方法和装置、测试数据的回灌系统

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种测试数据的回灌方法和装置、测试数据的回灌系统。

背景技术

随着时代的不断发展，人们对汽车驾驶的安全性和舒适性要求越来越高，ADAS(Advanced Driver Assistance System，高级驾驶辅助系统)也迎来了大跨步，需求增多，安装在车上的传感器也越来越多，采集的数据也越来越多，使用这些数据进行障碍物的识别、距离精度的探测、及危险的预警等。这些功能的实现需要大量的数据来验证和评价其可靠性。

当前，领域内对辅助驾驶系统的测试和验证大多是通过实际道路试验的方式，即利用开发好的ADAS设备安装在车辆上，对实际的环境进行检测测试，这是开发测试过程中必不可少的一步，可以直观的评价ADAS性能的可靠性，但是单一开可靠性会消耗大量的人力和物力且试验周期较长，所以要想短时间内快速优化ADAS性能，单纯依靠该方法还不可行。同时，基于实际道路试验的方法最主要缺点就是耗费人力和物力，且极易受天气环境、道路环境的制约，且测试结果反馈周期长，不能快速定位问题，不利于算法性能评价及算法迭代优化。

针对相关技术中对辅助驾驶系统的辅助驾驶性能的测试效率较低等问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种测试数据的回灌方法和装置、存储介质及电子装置，以至少解决相关技术中对辅助驾驶系统的辅助驾驶性能的测试效率较低等问题。

根据本申请实施例的一个实施例，提供了一种测试数据的回灌方法，包括：接收数据回灌请求，其中，所述数据回灌请求用于请求回灌待测试的辅助驾驶系统在目标驾驶场景下的测试数据，所述测试数据用于测试所述辅助驾驶系统在所述目标驾驶场景下的辅助驾驶性能；响应所述数据回灌请求，从所述辅助驾驶系统的驾驶数据集合中获取在所述目标驾驶场景下采集到的参考驾驶数据；按照与所述辅助驾驶系统的测试需求匹配的数据优化方式对所述参考驾驶数据进行数据优化，得到增加了与所述测试需求之间的匹配度的目标驾驶数据；将所述目标驾驶数据回灌到所述辅助驾驶系统。

可选的，所述按照与所述辅助驾驶系统的测试需求匹配的数据优化方式对所述参考驾驶数据进行数据优化，得到增加了与所述测试需求之间的匹配度的目标驾驶数据，包括以下至少之一：根据所述辅助驾驶系统对驾驶影像的帧率需求对所述参考驾驶数据中的参考驾驶影像的帧率进行调节，得到与所述帧率需求匹配的第一驾驶影像作为所述目标驾驶数据，其中，所述测试需求包括所述帧率需求；根据所述辅助驾驶系统所涉及的目标对象对所述参考驾驶影像中所述目标对象所在的图像区域进行图像优化，得到第二驾驶影像作为所述目标驾驶数据，其中，所述测试需求包括所述目标对象，所述目标对象是影响所述辅助驾驶系统的辅助驾驶过程的道路对象。

可选的，所述根据所述辅助驾驶系统对驾驶影像的帧率需求对所述参考驾驶数据中的参考驾驶影像的帧率进行调节，得到与所述帧率需求匹配的第一驾驶影像作为所述目标驾驶数据，包括：根据所述帧率需求和所述参考驾驶影像的参考帧率确定出所述参考驾驶影像中待插入图像帧的时间戳；从局部运动模型中确定在所述时间戳时所述目标对象在影像中的目标位置，其中，所述局部运动模型用于表征所述参考驾驶影像中运动物体的运动轨迹；将所述目标对象添加到参考图像帧的所述目标位置处，得到候选图像帧，其中，所述参考图像帧的图像尺寸与所述参考驾驶影像的图像尺寸相同；对所述候选图像帧进行背景填充，得到目标图像帧；将所述目标图像帧插入到所述参考驾驶影像中所述时间戳对应的位置，得到所述第一驾驶影像。

可选的，在所述从局部运动模型中确定在所述时间戳时所述目标对象在影像中的目标位置之前，所述方法还包括：提取所述参考驾驶影像的各个图像帧对应的特征描述子，其中，所述特征描述子用于描述图像帧中角点的特征；根据所述参考驾驶影像中的相邻图像帧的特征描述子计算相邻两个图像帧对应的仿射模型变换参数，其中，所述仿射模型变换参数用于表征相邻两个图像帧中物体的运动轨迹；使用所述仿射模型变换参数构建所述局部运动模型。

可选的，所述根据所述辅助驾驶系统所涉及的目标对象对所述参考驾驶影像中所述目标对象所在的图像区域进行图像优化，得到第二驾驶影像作为所述目标驾驶数据，包括：使用目标图像识别模型对所述参考驾驶影像进行识别，得到所述目标图像识别模型输出的目标图像区域，其中，所述目标图像区域为所述目标对象所在的区域，所述目标图像识别模型是使用标注了参考对象对应的图像区域的图像样本对初始图像识别模型进行训练得到的；对所述参考驾驶影像中的所述目标图像区域进行区域放大，得到所述第二驾驶影像。

可选的，所述对所述参考驾驶影像中的所述目标图像区域进行区域放大，得到所述第二驾驶影像，包括：从所述参考驾驶影像中分割出所述目标图像区域；对所述图像区域进行双三次插值放大，得到所述第二驾驶影像。

可选的，所述从所述辅助驾驶系统的驾驶数据集合中获取在所述目标驾驶场景下采集到的参考驾驶数据，包括：从所述辅助驾驶系统的驾驶数据集合中获取在所述目标驾驶场景下采集到的多个采集角度下的采集驾驶数据；对所述多个采集角度下的采集驾驶数据进行时间戳对齐，得到所述参考驾驶数据。

根据本申请实施例的另一个实施例，还提供了一种测试数据的回灌系统，包括：上位机、数据处理模块，其中，所述上位机与辅助驾驶系统连接，所述上位机还与所述数据处理模块连接，所述数据处理模块与所述辅助驾驶系统连接；所述上位机，用于生成数据回灌请求，其中，所述数据回灌请求用于请求回灌待测试的辅助驾驶系统在目标驾驶场景下的测试数据，所述测试数据用于测试所述辅助驾驶系统在所述目标驾驶场景下的辅助驾驶性能；所述数据处理模块，用于接收所述数据回灌请求；响应所述数据回灌请求，从所述辅助驾驶系统的驾驶数据集合中获取在所述目标驾驶场景下采集到的参考驾驶数据；按照与所述辅助驾驶系统的测试需求匹配的数据优化方式对所述参考驾驶数据进行数据优化，得到增加了与所述测试需求之间的匹配度的目标驾驶数据；将所述目标驾驶数据回灌到所述辅助驾驶系统；所述上位机，还用于监测所述辅助驾驶系统的数据回灌结果。

根据本申请实施例的另一个实施例，还提供了一种测试数据的回灌装置，包括：接收模块，用于接收数据回灌请求，其中，所述数据回灌请求用于请求回灌待测试的辅助驾驶系统在目标驾驶场景下的测试数据，所述测试数据用于测试所述辅助驾驶系统在所述目标驾驶场景下的辅助驾驶性能；获取模块，用于响应所述数据回灌请求，从所述辅助驾驶系统的驾驶数据集合中获取在所述目标驾驶场景下采集到的参考驾驶数据；优化模块，用于按照与所述辅助驾驶系统的测试需求匹配的数据优化方式对所述参考驾驶数据进行数据优化，得到增加了与所述测试需求之间的匹配度的目标驾驶数据；回灌模块，用于将所述目标驾驶数据回灌到所述辅助驾驶系统。

根据本申请实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述测试数据的回灌方法。

根据本申请实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述测试数据的回灌方法。

在本申请实施例中，接收数据回灌请求，其中，所述数据回灌请求用于请求回灌待测试的辅助驾驶系统在目标驾驶场景下的测试数据，所述测试数据用于测试所述辅助驾驶系统在所述目标驾驶场景下的辅助驾驶性能；响应所述数据回灌请求，从所述辅助驾驶系统的驾驶数据集合中获取在所述目标驾驶场景下采集到的参考驾驶数据；按照与所述辅助驾驶系统的测试需求匹配的数据优化方式对所述参考驾驶数据进行数据优化，得到增加了与所述测试需求之间的匹配度的目标驾驶数据；将所述目标驾驶数据回灌到所述辅助驾驶系统，即驾驶数据集合中存储了驾驶场景下采集到的驾驶数据，在接收到请求回灌待测试的辅助驾驶系统在目标驾驶场景下的测试数据的数据回灌请求后，通过响应该数据回灌请求从驾驶数据集合中获取目标驾驶场景下采集到的参考驾驶数据，并通过对参考及时数据按照与测试需求匹配的数据优化方式进行数据优化，实现通过数据优化的方式增加测试需求与优化后的目标驾驶数据之间的匹配度，进而在使用优化后的目标驾驶数据对辅助驾驶系统进行数据回灌，从而更好的对辅助驾驶系统在目标驾驶场景下的辅助驾驶性能的测试。采用上述技术方案，解决了相关技术中对辅助驾驶系统的辅助驾驶性能的测试效率较低等问题，实现了提高对辅助驾驶系统的辅助驾驶性能的测试效率的技术效果。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本申请实施例的一种测试数据的回灌方法的硬件环境示意图；

图2是根据本申请实施例的一种测试数据的回灌方法的流程图；

图3是根据本申请实施例的一种可选的图像优化方法流程图；

图4是根据本申请实施例的一种测试数据的回灌系统的示意图一；

图5是根据本申请实施例的另一种可选的测试数据的回灌系统示意图二；

图6是根据本申请实施例的另一种可选的测试数据的回灌系统示意图三；

图7是根据本申请实施例的一种测试数据的回灌装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例所提供的方法实施例可以在计算机终端、设备终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是根据本申请实施例的一种测试数据的回灌方法的硬件环境示意图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，在一个示例性实施例中，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的消息推送的发送方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种测试数据的回灌方法，应用于上述设备终端，图2是根据本申请实施例的一种测试数据的回灌方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，接收数据回灌请求，其中，所述数据回灌请求用于请求回灌待测试的辅助驾驶系统在目标驾驶场景下的测试数据，所述测试数据用于测试所述辅助驾驶系统在所述目标驾驶场景下的辅助驾驶性能；

步骤S204，响应所述数据回灌请求，从所述辅助驾驶系统的驾驶数据集合中获取在所述目标驾驶场景下采集到的参考驾驶数据；

步骤S206，按照与所述辅助驾驶系统的测试需求匹配的数据优化方式对所述参考驾驶数据进行数据优化，得到增加了与所述测试需求之间的匹配度的目标驾驶数据；

步骤S208，将所述目标驾驶数据回灌到所述辅助驾驶系统。

通过上述步骤，驾驶数据集合中存储了驾驶场景下采集到的驾驶数据，在接收到请求回灌待测试的辅助驾驶系统在目标驾驶场景下的测试数据的数据回灌请求后，通过响应该数据回灌请求从驾驶数据集合中获取目标驾驶场景下采集到的参考驾驶数据，并通过对参考及时数据按照与测试需求匹配的数据优化方式进行数据优化，实现通过数据优化的方式增加测试需求与优化后的目标驾驶数据之间的匹配度，进而在使用优化后的目标驾驶数据对辅助驾驶系统进行数据回灌，从而更好的对辅助驾驶系统在目标驾驶场景下的辅助驾驶性能的测试。采用上述技术方案，解决了相关技术中对辅助驾驶系统的辅助驾驶性能的测试效率较低等问题，实现了提高对辅助驾驶系统的辅助驾驶性能的测试效率的技术效果。

在上述步骤S202提供的技术方案中，辅助驾驶系统用于对行驶设备的行驶状态进行辅助，辅助驾驶系统可以但不限于包括车道保持辅助系统、自动泊车辅助系统、刹车辅助系统、倒车辅助系统和行车辅助系统等等，本方案对此不做限定。

可选地，在本实施例中，目标驾驶场景可以用于表征辅助驾驶系统的测试场景，比如测试天气、测试路况等测试场景，同时目标驾驶场景还可以用于表征对辅助驾驶系统进行测试的测试需求，比如，辅助驾驶系统是自动泊车辅助驾驶系统，此时测试场景就是自动泊车场景。

可选地，在本实施例中，测试数据可以但不限于是视频数据、雷达数据等、其中，雷达数据可以但不限于是激光雷达、超声波雷达、角雷达等雷达设备采集到的。

在上述步骤S204提供的技术方案中，驾驶数据集合用于存储路试过程中采集到的不同的驾驶场景下的驾驶数据。

可选地，在本实施例中，驾驶数据用于表征车辆的行驶状态，可以但不限于包括车辆的行驶位姿，车辆行驶过程中的车道信息、与其他车辆或者障碍物之间的相对位置关系等等，本方案对此不做限定。

在上述步骤S206提供的技术方案中，数据优化方式可以但不限于包括对影像数据的清晰度的调节、对影像数据的格式的调节、对影像数据的帧率的调节、对影像数据中对象的突出显示等等，本方案对此不做限定。

可选地，在本实施例中，测试需求可以是和辅助驾驶系统的辅助驾驶功能对应的，辅助驾驶功能不同的辅助驾驶系统对应着不同的测试需求，比如，自动泊车系统的测试需求就是泊车时泊车点的参照物对泊车的影响情况，车道保持辅助系统的测试需求行驶过程中车道线对行驶状态的影响情况，本方案对此不做限定。

在上述步骤S208提供的技术方案中，数据回灌用于指示将用于测试辅助驾驶系统在某一驾驶场景下的驾驶性能的测试数据传输至待测试的辅助驾驶系统，以指示待测试的辅助驾驶系统根据该测试数据运行辅助驾驶程序，从而实现对应的辅助驾驶功能。

作为一种可选的实施例，所述按照与所述辅助驾驶系统的测试需求匹配的数据优化方式对所述参考驾驶数据进行数据优化，得到增加了与所述测试需求之间的匹配度的目标驾驶数据，包括以下至少之一：

根据所述辅助驾驶系统对驾驶影像的帧率需求对所述参考驾驶数据中的参考驾驶影像的帧率进行调节，得到与所述帧率需求匹配的第一驾驶影像作为所述目标驾驶数据，其中，所述测试需求包括所述帧率需求；

根据所述辅助驾驶系统所涉及的目标对象对所述参考驾驶影像中所述目标对象所在的图像区域进行图像优化，得到第二驾驶影像作为所述目标驾驶数据，其中，所述测试需求包括所述目标对象，所述目标对象是影响所述辅助驾驶系统的辅助驾驶过程的道路对象。

可选地，在本实施例中，不同种类的辅助驾驶系统对输入的驾驶影像的帧率可以有固定需求，比如，版本较低的辅助驾驶系统需要使用帧率为20FPS的影像数据，版本较高的辅助驾驶系统则需要使用帧为30FPS的影像数据，本方案对此不做限定。

可选地，在本实施例中，输入到同一辅助驾驶系统中的影像数据可以是同一驾驶场景下不同的采集设备采集到的，不同采集设备采集到的影像的帧率不同，辅助驾驶系统的帧率需求为接收到的不同采集设备采集到的同一驾驶场景下的驾驶数据的帧率要相同，比如，设置在车上不同位置的摄像头采集到的图像，但是由于摄像头硬件条件不同或者摄像头故障等问题，出现多个摄像头中大部分摄像头采集到的影像采集到的帧率相同，小部分摄像头采集到的影像的出现丢帧的问题，因此，需要将多个摄像头采集到的影像帧率统一后输入到辅助驾驶系统中。

可选地，在本实施例中，对帧率进行调节可以但不限于包括补帧和删除帧图像，本方案对此不做限定。

可选地，在本实施例中，目标对象可以是影像中的行人、车辆、车道线等等，本申请对此不做限定。

可选地，在本实施例中，图像优化用于增加目标对象对辅助驾驶系统的辨识度。图像优化可以是通过将影像中目标对象所在的区域进行清晰度调节，或者还可以是对影像中目标对象对应的区域进行区域放大，本方案对此不做限定。

可选地，在本实施例中，道路对象可以但不限于包括道路上行驶的车辆、行人、位于道路周边的参照物(比如建筑、路灯等等)、路上的标识、车道线等等，本方案对此不做限定。

作为一种可选的实施例，所述根据所述辅助驾驶系统对驾驶影像的帧率需求对所述参考驾驶数据中的参考驾驶影像的帧率进行调节，得到与所述帧率需求匹配的第一驾驶影像作为所述目标驾驶数据，包括：

根据所述帧率需求和所述参考驾驶影像的参考帧率确定出所述参考驾驶影像中待插入图像帧的时间戳；

从局部运动模型中确定在所述时间戳时所述目标对象在影像中的目标位置，其中，所述局部运动模型用于表征所述参考驾驶影像中运动物体的运动轨迹；

将所述目标对象添加到参考图像帧的所述目标位置处，得到候选图像帧，其中，所述参考图像帧的图像尺寸与所述参考驾驶影像的图像尺寸相同；

对所述候选图像帧进行背景填充，得到目标图像帧；

将所述目标图像帧插入到所述参考驾驶影像中所述时间戳对应的位置，得到所述第一驾驶影像。

可选地，在本实施例中，待插入图像帧的时间戳可以是基于参考帧率和参考驾驶影像的目标帧率的帧率差值确定的，比如根据参考帧率和目标帧率的目标差值确定出需要插入的图像帧的目标数量，将待插入的目标帧数的图像帧随机插入到参考驾驶影像中，或者还可以将参考驾驶影像均分为目标数量段，将每一段影像的中间时间戳确定为带插入图像帧的时间戳，本方案对此不做限定。

作为一种可选的实施例，在所述从局部运动模型中确定在所述时间戳时所述目标对象在影像中的目标位置之前，所述方法还包括：

提取所述参考驾驶影像的各个图像帧对应的特征描述子，其中，所述特征描述子用于描述图像帧中角点的特征；

根据所述参考驾驶影像中的相邻图像帧的特征描述子计算相邻两个图像帧对应的仿射模型变换参数，其中，所述仿射模型变换参数用于表征相邻两个图像帧中物体的运动轨迹；

使用所述仿射模型变换参数构建所述局部运动模型。

可选地，在本实施例中，角点为用于表征图像突出属性的点。

可选地，在本实施例中，对于检测到的角点，用一些数学上的特征对其进行描述，比如，梯度直方图，局部随机二值特征等。其提取算法有邻域模板匹配、SIFT特征描述子、ORB特征描述子。

作为一种可选的实施例，所述根据所述辅助驾驶系统所涉及的目标对象对所述参考驾驶影像中所述目标对象所在的图像区域进行图像优化，得到第二驾驶影像作为所述目标驾驶数据，包括：

使用目标图像识别模型对所述参考驾驶影像进行识别，得到所述目标图像识别模型输出的目标图像区域，其中，所述目标图像区域为所述目标对象所在的区域，所述目标图像识别模型是使用标注了参考对象对应的图像区域的图像样本对初始图像识别模型进行训练得到的；

对所述参考驾驶影像中的所述目标图像区域进行区域放大，得到所述第二驾驶影像。

可选地，在本实施例中，图像识别模型可以用于将待识别的图像中目标对象所在的目标图像区域标定出来，比如，输出框选了目标图像区域的图像，或者还可以输出目标图像区域在图像中的坐标的方式，本方案对此不做限定。

可选地，在本实施例中，图像识别模型还可以用于将目标图像区域从图像中分割出来进行输出，即输出只有目标图像区域的图像。

可选地，在本实施例中，对目标区域进行区域放大可选用多种插值算法实现，比如双三次插值算法。

图3是根据本申请实施例的一种可选的图像优化方法流程图，如图3所示，该图像优化方法至少包括如下步骤：

S301，事先确定好的图像中对象的类别或对象在图像中的位置来标定图像，将标定的图像作为训练样本来训练初始图像识别模型进行模型训练，得到目标图像识别模型，其中初始图像识别模型可以但不限于是R-CNN(一种将深度学习用到图像检测上的)模型，该模型可以减检测抽象为两个过程，一是基于图片提出若干可能包含对象的区域，二是在提出这些区域上的运行分类网络(AlexNet)，得到每个区域内物体的类别。

S302，将参考驾驶影像输入至目标图像识别模型中，得到目标图像识别模型输出的图像中对象的类别信息和对象所在的区域位置的位置信息。

303，针对实际场景下，赋予像素不同类别意义，将目标对象所对应的目标图像区域分割出来。

S304，针对分割出来的目标图像区域进行帧内插值，实现分辨率的适配，可按照需要的图像区域的大小进行双三次插值放大图像分辨率的方式进行处理。

作为一种可选的实施例，所述对所述参考驾驶影像中的所述目标图像区域进行区域放大，得到所述第二驾驶影像，包括：

从所述参考驾驶影像中分割出所述目标图像区域；

对所述图像区域进行双三次插值放大，得到所述第二驾驶影像。

可选地，在本实施例中，从参考驾驶影像中分割出目标图像区域的方式可以但不限于是确定目标图像区域在参考参考驾驶影像中每一图像帧中的位置坐标(目标图像识别模型输出目标区域在参考驾驶影像中的位置坐标)，按照该位置坐标对每一帧图像进行裁剪，裁剪出每一帧图像中的目标图像区域，按照参考驾驶影像中图像帧的顺序对裁剪出的包含参考图像区域的图像帧进行排序，从而得到目标驾驶影像，其中目标驾驶数据包括目标驾驶影像，从而完成了从参考驾驶影像中分割出目标图像区域的操作。

可选地，在本实施例中，在进行双三次插值放大后，还可以进行图像去模糊、去噪、边缘增强等处理实现提高图像质量目的,根据实际需求决定是否需要后续处理。

作为一种可选的实施例，所述从所述辅助驾驶系统的驾驶数据集合中获取在所述目标驾驶场景下采集到的参考驾驶数据，包括：

从所述辅助驾驶系统的驾驶数据集合中获取在所述目标驾驶场景下采集到的多个采集角度下的采集驾驶数据；

对所述多个采集角度下的采集驾驶数据进行时间戳对齐，得到所述参考驾驶数据。

可选地，在本实施例中，在进行辅助驾驶系统的数据回灌时，为了真实的还原驾驶场景，通常需要使用车辆上不同采集角度采集到的驾驶数据，不同采集角度采集到的驾驶数据是在路试过程中，通过安装在路试车辆上不同位置的采集设备采集到的，进而在测试阶段，通过调取不同角度采集到的驾驶数据从而真实付现驾驶场景。

在本实施例中提供了一种测试数据的回灌系统，图4是根据本申请实施例的一种测试数据的回灌系统的示意图一，如图4所示，该测试数据的回灌系统至少包括：上位机42、数据处理模块44，其中，所述上位机42与辅助驾驶系统连接，所述上位机42还与所述数据处理模块44连接，所述数据处理模块44与所述辅助驾驶系统连接；

所述上位机42，用于生成数据回灌请求，其中，所述数据回灌请求用于请求回灌待测试的辅助驾驶系统在目标驾驶场景下的测试数据，所述测试数据用于测试所述辅助驾驶系统在所述目标驾驶场景下的辅助驾驶性能；

所述数据处理模块44，用于接收所述数据回灌请求；响应所述数据回灌请求，从所述辅助驾驶系统的驾驶数据集合中获取在所述目标驾驶场景下采集到的参考驾驶数据；按照与所述辅助驾驶系统的测试需求匹配的数据优化方式对所述参考驾驶数据进行数据优化，得到增加了与所述测试需求之间的匹配度的目标驾驶数据；将所述目标驾驶数据回灌到所述辅助驾驶系统；

所述上位机42，还用于监测所述辅助驾驶系统的数据回灌结果。

通过以上内容，驾驶数据集合中存储了驾驶场景下采集到的驾驶数据，在接收到请求回灌待测试的辅助驾驶系统在目标驾驶场景下的测试数据的数据回灌请求后，通过响应该数据回灌请求从驾驶数据集合中获取目标驾驶场景下采集到的参考驾驶数据，并通过对参考及时数据按照与测试需求匹配的数据优化方式进行数据优化，实现通过数据优化的方式增加测试需求与优化后的目标驾驶数据之间的匹配度，进而在使用优化后的目标驾驶数据对辅助驾驶系统进行数据回灌，从而更好的对辅助驾驶系统在目标驾驶场景下的辅助驾驶性能的测试。采用上述技术方案，解决了相关技术中对辅助驾驶系统的辅助驾驶性能的测试效率较低等问题，实现了提高对辅助驾驶系统的辅助驾驶性能的测试效率的技术效果。

可选地，在本实施例中，上位机还可以用于获取回灌数据的数据源，数据源可以但不限于包括多路视频数据、多种雷达数据和车身数据等等，数据源可以在本地硬盘中存储或者在局域网中存储。

可选地，在本实施例中，上位机还可以用于将文件格式解析后组成对应的参考驾驶数据，比如，将视频数据的格式进行解析，当解析发现视频数据的格式不一致或者视频数据的格式与待测试的辅助驾驶系统的数据格式需求不一致的情况下，对视频数据进行格式转换，从而将视频数据的格式转换为满足辅助驾驶系统的数据格式需求的格式，同理，上位机还会对雷达数据进行解析，当解析发现雷达数据的格式不一致或者雷达数据的格式与待测试的辅助驾驶系统的数据格式需求不一致的情况下，对雷达数据进行格式转换，从而将雷达数据的格式转换为满足辅助驾驶系统的数据格式需求的格式，本方案对此不作限定。

可选地，在本实施例中，数据处理模块可以但不限于是根据测试数据回灌需求封装的FPGA芯片，在该FPGA芯片中分装了不同的功能区，用于执行本申请记载的测试数据的回灌方法，比如，FPGA用于对参考及时数据进行数据优化，并根据优化的方式不同，在FPGA芯片中分装了不同的功能区，比如，第一功能区用于实现对参考驾驶数据的参考驾驶影像的帧率的调节，第二功能区用于实现对参考驾驶影像中的目标对象所在的图像区域进行图像优化，其中，目标对象是影响辅助驾驶系统的辅助驾驶过程的道路对象。图5是根据本申请实施例的另一种可选的测试数据的回灌系统示意图二，如图5所示，测试数据的回灌系统包括上位机和对FPGA进行功能集成得到的数据处理模块，FPGA上配置了通用硬件接口，比如，Flexray、CAN、CANFD、以太网等等，通过这些通用硬件接口进行数据传输，从而可适配不同产品项目；FPGA通过PCIE读取回灌数据源，然后在FPGA做数据同步对时处理，将数据通过硬件接口发送到辅助驾驶系统上，支持CAN、CANFD、FLEXRAY、局域网，视频流上使用Fakra接口支持MIPI协议，高清多路视频回灌，可以通过IIC配置视频数据链路，不仅支持不同分辨率的图像数据，以及不同格式图像，如raw12、YUV、H265等，支持高速数据流，图像兼容性强；回灌系统中有显示视频需求，提供了HDMI接口外接显示器用于视频显示；若有存储需求，也可以挂载存储器来进行相应的数据传输。

图6是根据本申请实施例的另一种可选的测试数据的回灌系统示意图三，如图6所示，所述测试数据的回灌系统中至少包括对FPGA进行功能集成得到的数据处理模块，根据器功能不同，可分为串化模块，解串模块和数据优化模块。FPGA与辅助驾驶系统连接，FPGA用于实现根据辅助驾驶系统的测试场景的测试需求，对测试场景对应的测试数据进行传输和数据优化处理；对于数据的传输，上电后，辅助驾驶系统通过IIC访问FPGA上的串化解串芯片9295和9296的配置寄存器，然后通过IIC配置摄像头参数，实现完整链路上多路摄像头数据链路配置，串化解串芯片用于在板间中传输高速视频数据，可以支持多路高清不同分辨率，针对多路高清视频实时回灌系统，如图中将测试车辆上不同位置上部署的多个摄像头的图像进行采集，提出并实现了多路高清视频回灌系统，比如当前支持六路高清视频采集系统，适配八百万、三百万、两百万摄像头，同时也支持不同图像数据格式raw12、raw10、RGB格式等，采集时将视频数据H265压缩后存储，回灌时需要在FPGA上将数据解压缩后复原出来，并与对应的雷达数据、车身数据，根据时间戳对齐原则，对时后发送至待测试的辅助驾驶系统中；对于数据优化处理通过数据优化处理模块实现，数据优化处理模块具有影像帧率调节的功能和图像局部优化的功能，影像帧率调节的功能包括根据辅助驾驶系统对驾驶影像的帧率需求对参考驾驶数据中的参考驾驶影像的帧率进行调节，得到与帧率需求匹配的第一驾驶影像作为目标驾驶数据，图像局部优化的功能包括根据辅助驾驶系统所涉及的目标对象对参考驾驶影像中目标对象所在的图像区域进行图像优化，得到第二驾驶影像作为目标驾驶数据，其中，测试需求包括目标对象，目标对象是影响辅助驾驶系统的辅助驾驶过程的道路对象。

上述测试数据的回灌系统，至少具有如下功能：回灌数据源来自于实际环境路采数据回灌测试，数据场景真实具有可信度；可以快速复原所需场景数据，以便于实现快速定位问题，提高开发效率；可以重复大量实验，对辅助驾驶系统的功能触发判定以及对性能标准直观化和量化评估，提高开发效率以及系统性能；本回灌系统所需环境依赖小，封装度高，提供域控各种硬件接口，无需在辅助驾驶系统做大量修改，兼容性强，易于移植于不同项目，提高开发效率，降低开发周期和人力成本；本回灌系统支持辅助驾驶系统各种功能触发，支持高速多路视频流和多种雷达数据包括不限于激光雷达、超声波雷达、角雷达等。图像数据格式支持raw12、YUV、H265需要更改回灌系统部分的软件代码，无需在待测试ADAS系统做适配。

为了更好的理解上述的过程，以下再结合可选实施例对上述流程进行说明，但不用于限定本申请实施例的技术方案。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。

图7是根据本申请实施例的一种测试数据的回灌装置的结构框图；如图7所示，包括：接收模块72，用于接收数据回灌请求，其中，所述数据回灌请求用于请求回灌待测试的辅助驾驶系统在目标驾驶场景下的测试数据，所述测试数据用于测试所述辅助驾驶系统在所述目标驾驶场景下的辅助驾驶性能；

获取模块74，用于响应所述数据回灌请求，从所述辅助驾驶系统的驾驶数据集合中获取在所述目标驾驶场景下采集到的参考驾驶数据；

优化模块76，用于按照与所述辅助驾驶系统的测试需求匹配的数据优化方式对所述参考驾驶数据进行数据优化，得到增加了与所述测试需求之间的匹配度的目标驾驶数据；

回灌模块78，用于将所述目标驾驶数据回灌到所述辅助驾驶系统。

通过以上内容，驾驶数据集合中存储了驾驶场景下采集到的驾驶数据，在接收到请求回灌待测试的辅助驾驶系统在目标驾驶场景下的测试数据的数据回灌请求后，通过响应该数据回灌请求从驾驶数据集合中获取目标驾驶场景下采集到的参考驾驶数据，并通过对参考及时数据按照与测试需求匹配的数据优化方式进行数据优化，实现通过数据优化的方式增加测试需求与优化后的目标驾驶数据之间的匹配度，进而在使用优化后的目标驾驶数据对辅助驾驶系统进行数据回灌，从而更好的对辅助驾驶系统在目标驾驶场景下的辅助驾驶性能的测试。采用上述技术方案，解决了相关技术中对辅助驾驶系统的辅助驾驶性能的测试效率较低等问题，实现了提高对辅助驾驶系统的辅助驾驶性能的测试效率的技术效果。

可选的，所述优化模块，包括以下至少之一：调节单元，用于根据所述辅助驾驶系统对驾驶影像的帧率需求对所述参考驾驶数据中的参考驾驶影像的帧率进行调节，得到与所述帧率需求匹配的第一驾驶影像作为所述目标驾驶数据，其中，所述测试需求包括所述帧率需求；优化单元，用于根据所述辅助驾驶系统所涉及的目标对象对所述参考驾驶影像中所述目标对象所在的图像区域进行图像优化，得到第二驾驶影像作为所述目标驾驶数据，其中，所述测试需求包括所述目标对象，所述目标对象是影响所述辅助驾驶系统的辅助驾驶过程的道路对象。

可选的，所述调节单元，用于：根据所述帧率需求和所述参考驾驶影像的参考帧率确定出所述参考驾驶影像中待插入图像帧的时间戳；从局部运动模型中确定在所述时间戳时所述目标对象在影像中的目标位置，其中，所述局部运动模型用于表征所述参考驾驶影像中运动物体的运动轨迹；将所述目标对象添加到参考图像帧的所述目标位置处，得到候选图像帧，其中，所述参考图像帧的图像尺寸与所述参考驾驶影像的图像尺寸相同；对所述候选图像帧进行背景填充，得到目标图像帧；将所述目标图像帧插入到所述参考驾驶影像中所述时间戳对应的位置，得到所述第一驾驶影像。

可选的，所述装置还包括：提取模块，用于在所述从局部运动模型中确定在所述时间戳时所述目标对象在影像中的目标位置之前，提取所述参考驾驶影像的各个图像帧对应的特征描述子，其中，所述特征描述子用于描述图像帧中角点的特征；计算模块，用于根据所述参考驾驶影像中的相邻图像帧的特征描述子计算相邻两个图像帧对应的仿射模型变换参数，其中，所述仿射模型变换参数用于表征相邻两个图像帧中物体的运动轨迹；构建模块，用于使用所述仿射模型变换参数构建所述局部运动模型。

可选的，所述优化单元，用于：使用目标图像识别模型对所述参考驾驶影像进行识别，得到所述目标图像识别模型输出的目标图像区域，其中，所述目标图像区域为所述目标对象所在的区域，所述目标图像识别模型是使用标注了参考对象对应的图像区域的图像样本对初始图像识别模型进行训练得到的；对所述参考驾驶影像中的所述目标图像区域进行区域放大，得到所述第二驾驶影像。

可选的，所述优化单元，用于：从所述参考驾驶影像中分割出所述目标图像区域；对所述图像区域进行双三次插值放大，得到所述第二驾驶影像。

可选的，所述获取模块，包括：采集单元，用于从所述辅助驾驶系统的驾驶数据集合中获取在所述目标驾驶场景下采集到的多个采集角度下的采集驾驶数据；处理单元，用于对所述多个采集角度下的采集驾驶数据进行时间戳对齐，得到所述参考驾驶数据。

本申请的实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时执行上述任一项的测试数据的回灌方法。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：接收数据回灌请求，其中，所述数据回灌请求用于请求回灌待测试的辅助驾驶系统在目标驾驶场景下的测试数据，所述测试数据用于测试所述辅助驾驶系统在所述目标驾驶场景下的辅助驾驶性能；响应所述数据回灌请求，从所述辅助驾驶系统的驾驶数据集合中获取在所述目标驾驶场景下采集到的参考驾驶数据；按照与所述辅助驾驶系统的测试需求匹配的数据优化方式对所述参考驾驶数据进行数据优化，得到增加了与所述测试需求之间的匹配度的目标驾驶数据；将所述目标驾驶数据回灌到所述辅助驾驶系统。

本申请的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项测试数据的回灌方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：接收数据回灌请求，其中，所述数据回灌请求用于请求回灌待测试的辅助驾驶系统在目标驾驶场景下的测试数据，所述测试数据用于测试所述辅助驾驶系统在所述目标驾驶场景下的辅助驾驶性能；响应所述数据回灌请求，从所述辅助驾驶系统的驾驶数据集合中获取在所述目标驾驶场景下采集到的参考驾驶数据；按照与所述辅助驾驶系统的测试需求匹配的数据优化方式对所述参考驾驶数据进行数据优化，得到增加了与所述测试需求之间的匹配度的目标驾驶数据；将所述目标驾驶数据回灌到所述辅助驾驶系统。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (11)

1.一种测试数据的回灌方法，其特征在于，包括：

接收数据回灌请求，其中，所述数据回灌请求用于请求回灌待测试的辅助驾驶系统在目标驾驶场景下的测试数据，所述测试数据用于测试所述辅助驾驶系统在所述目标驾驶场景下的辅助驾驶性能；

响应所述数据回灌请求，从所述辅助驾驶系统的驾驶数据集合中获取在所述目标驾驶场景下采集到的参考驾驶数据；

按照与所述辅助驾驶系统的测试需求匹配的数据优化方式对所述参考驾驶数据进行数据优化，得到增加了与所述测试需求之间的匹配度的目标驾驶数据；

将所述目标驾驶数据回灌到所述辅助驾驶系统。

2.根据权利要求1所述的方法，其特征在于，所述按照与所述辅助驾驶系统的测试需求匹配的数据优化方式对所述参考驾驶数据进行数据优化，得到增加了与所述测试需求之间的匹配度的目标驾驶数据，包括以下至少之一：

根据所述辅助驾驶系统对驾驶影像的帧率需求对所述参考驾驶数据中的参考驾驶影像的帧率进行调节，得到与所述帧率需求匹配的第一驾驶影像作为所述目标驾驶数据，其中，所述测试需求包括所述帧率需求；

根据所述辅助驾驶系统所涉及的目标对象对所述参考驾驶影像中所述目标对象所在的图像区域进行图像优化，得到第二驾驶影像作为所述目标驾驶数据，其中，所述测试需求包括所述目标对象，所述目标对象是影响所述辅助驾驶系统的辅助驾驶过程的道路对象。

3.根据权利要求2所述的方法，其特征在于，所述根据所述辅助驾驶系统对驾驶影像的帧率需求对所述参考驾驶数据中的参考驾驶影像的帧率进行调节，得到与所述帧率需求匹配的第一驾驶影像作为所述目标驾驶数据，包括：

根据所述帧率需求和所述参考驾驶影像的参考帧率确定出所述参考驾驶影像中待插入图像帧的时间戳；

从局部运动模型中确定在所述时间戳时所述目标对象在影像中的目标位置，其中，所述局部运动模型用于表征所述参考驾驶影像中运动物体的运动轨迹；

将所述目标对象添加到参考图像帧的所述目标位置处，得到候选图像帧，其中，所述参考图像帧的图像尺寸与所述参考驾驶影像的图像尺寸相同；

对所述候选图像帧进行背景填充，得到目标图像帧；

将所述目标图像帧插入到所述参考驾驶影像中所述时间戳对应的位置，得到所述第一驾驶影像。

4.根据权利要求3所述的方法，其特征在于，在所述从局部运动模型中确定在所述时间戳时所述目标对象在影像中的目标位置之前，所述方法还包括：

提取所述参考驾驶影像的各个图像帧对应的特征描述子，其中，所述特征描述子用于描述图像帧中角点的特征；

根据所述参考驾驶影像中的相邻图像帧的特征描述子计算相邻两个图像帧对应的仿射模型变换参数，其中，所述仿射模型变换参数用于表征相邻两个图像帧中物体的运动轨迹；

使用所述仿射模型变换参数构建所述局部运动模型。

5.根据权利要求2所述的方法，其特征在于，所述根据所述辅助驾驶系统所涉及的目标对象对所述参考驾驶影像中所述目标对象所在的图像区域进行图像优化，得到第二驾驶影像作为所述目标驾驶数据，包括：

使用目标图像识别模型对所述参考驾驶影像进行识别，得到所述目标图像识别模型输出的目标图像区域，其中，所述目标图像区域为所述目标对象所在的区域，所述目标图像识别模型是使用标注了参考对象对应的图像区域的图像样本对初始图像识别模型进行训练得到的；

对所述参考驾驶影像中的所述目标图像区域进行区域放大，得到所述第二驾驶影像。

6.根据权利要求5所述的方法，其特征在于，所述对所述参考驾驶影像中的所述目标图像区域进行区域放大，得到所述第二驾驶影像，包括：

从所述参考驾驶影像中分割出所述目标图像区域；

对所述图像区域进行双三次插值放大，得到所述第二驾驶影像。

7.根据权利要求1所述的方法，其特征在于，所述从所述辅助驾驶系统的驾驶数据集合中获取在所述目标驾驶场景下采集到的参考驾驶数据，包括：

从所述辅助驾驶系统的驾驶数据集合中获取在所述目标驾驶场景下采集到的多个采集角度下的采集驾驶数据；

对所述多个采集角度下的采集驾驶数据进行时间戳对齐，得到所述参考驾驶数据。

8.一种测试数据的回灌系统，其特征在于，包括上位机、数据处理模块，其中，所述上位机与辅助驾驶系统连接，所述上位机还与所述数据处理模块连接，所述数据处理模块与所述辅助驾驶系统连接；

所述上位机，用于生成数据回灌请求，其中，所述数据回灌请求用于请求回灌待测试的辅助驾驶系统在目标驾驶场景下的测试数据，所述测试数据用于测试所述辅助驾驶系统在所述目标驾驶场景下的辅助驾驶性能；

所述数据处理模块，用于接收所述数据回灌请求；响应所述数据回灌请求，从所述辅助驾驶系统的驾驶数据集合中获取在所述目标驾驶场景下采集到的参考驾驶数据；按照与所述辅助驾驶系统的测试需求匹配的数据优化方式对所述参考驾驶数据进行数据优化，得到增加了与所述测试需求之间的匹配度的目标驾驶数据；将所述目标驾驶数据回灌到所述辅助驾驶系统；

所述上位机，还用于监测所述辅助驾驶系统的数据回灌结果。

9.一种测试数据的回灌装置，其特征在于，包括：

接收模块，用于接收数据回灌请求，其中，所述数据回灌请求用于请求回灌待测试的辅助驾驶系统在目标驾驶场景下的测试数据，所述测试数据用于测试所述辅助驾驶系统在所述目标驾驶场景下的辅助驾驶性能；

获取模块，用于响应所述数据回灌请求，从所述辅助驾驶系统的驾驶数据集合中获取在所述目标驾驶场景下采集到的参考驾驶数据；

优化模块，用于按照与所述辅助驾驶系统的测试需求匹配的数据优化方式对所述参考驾驶数据进行数据优化，得到增加了与所述测试需求之间的匹配度的目标驾驶数据；

回灌模块，用于将所述目标驾驶数据回灌到所述辅助驾驶系统。

10.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行权利要求1至7中任一项所述的方法。

11.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至7中任一项所述的方法。

Images