CN112729366A - 自动驾驶场地测试的天气模拟设备测试评价方法及装置 - Google Patents

Abstract

本发明涉及一种自动驾驶场地测试的天气模拟设备测试评价方法及装置。该方法包括搭建传感器试验平台；选取天气量化指标和传感器表现评价指标体系；设计相应的真实天气试验，并采集天气数据和传感器数据；根据指标体系对相应数据进行处理，得到天气量化参数和传感器表现评价结果；选取部分数据作为训练样本，训练映射模型；利用剩余数据映射模型进行有效性验证；最后，针对待评价的天气模拟设备进行同样的试验，运用该映射模型得到相应的传感器期望表现，以实现对天气模拟设备保真度的客观测试评价。该发明能够综合考虑不同天气量化参数对传感器表现的影响，从天气参数耦合效应对传感器的综合影响出发，实现对天气模拟设备保真度的客观测试评价。

Description

自动驾驶场地测试的天气模拟设备测试评价方法及装置

技术领域

本发明涉及天气模拟设备的测试评价技术领域，尤其是涉及一种自动驾驶场地测试的天气模拟设备测试评价方法及装置。

背景技术

随着各行业智能化技术的发展，越来越多的智能系统正被应用到工程技术中，其中很多智能系统可能需要在恶劣的天气环境中工作，如自动驾驶汽车需要在降雨和降雪的天气中正常行驶，通常会采用在天气模拟设备产生的人工模拟条件下进行相关测试。

然而天气模拟设备产生的天气和真实天气间有着很多差异，目前评价天气模拟设备保真度的方法都是从天气基本参数角度来进行直接评价，例如对降雨模拟设备，通常根据其降雨强度和雨滴直径对设备模拟降雨的好坏进行评价。然而这种评价方法并没有考虑天气参数的耦合效果对智能系统的直接影响，比如同样的降雨强度和雨滴直径下，降雨模拟设备产生的雨和真实环境的雨是否对传感器产生了同样的干扰影响，因此迫切需要一种客观的测试评价方法加以评价。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种自动驾驶场地测试的天气模拟设备测试评价方法及装置。

本发明的目的可以通过以下技术方案来实现：

一种面向自动驾驶场地测试的天气模拟设备保真度客观测试评价方法，包括以下步骤：

步骤1：建立真实天气量化参数与传感器表现评价指标间的映射模型；

步骤2：运用步骤1的结果对天气模拟设备的保真度进行测试评价。

进一步地，所述的针对天气模拟设备保真度的客观测试评价方法，其重点在于建立真实天气条件与传感器表现间的映射模型，所述步骤1还包括以下分步骤：

步骤101：根据天气模拟设备特性，搭建传感器试验平台；

步骤102：选取天气量化参数和传感器评价指标体系；

步骤103：设计真实天气条件下的静态或者动态试验；

步骤104：采集天气数据和传感器数据，并依据天气量化参数和传感器表现评价指标体系进行处理，得到样本数据；

步骤105：根据步骤104的结果，选取部分样本数据训练映射模型，其中天气量化参数作为训练输入，传感器表现评价结果作为训练输出；

步骤106：选取步骤104中其余样本数据来验证映射模型的有效性。

进一步地，所述步骤101包括：

根据待评价的天气模拟设备的特性，选取合适的被测传感器，例如针对降雨模拟设备，选取激光雷达作为被测传感器。并根据传感器的类型搭建简易的传感器试验平台，该平台包括但不限于相关台架、实车平台等装置。

进一步地，所述步骤102包括：

选取天气条件的量化参数体系，例如针对降雨天气，量化参数包括但不限于降雨强度、降雨均匀度、雨滴直径、雨滴速度等参数；针对雾霭天气，量化参数包括但不限于雾浓度、可见度、雾滴直径等参数；针对降雪天气，量化参数包括但不限于降雪强度、雪花直径等参数。

选取传感器表现的客观评价指标体系，例如针对视觉传感器，评价指标包括但不限于目标识别准确率、目标识别召回率、目标识别错误数等指标；针对激光雷达，评价指标包括但不限于平均点云数量、平均点云强度、平均反射率、距离均方根误差等指标。

进一步地，所述步骤103包括：

选取典型目标物作为检测对象，典型目标物包括但不限于汽车、行人、骑行人和各种静态障碍物；选取典型场景作为测试场景，场景包括但不限于静态、跟车、行人横穿马路等场景。

进一步地，所述步骤104包括：

试验中，利用相关传感器测量天气量化参数，同时利用被测传感器持续记录数据。在得到原始数据后，依照步骤102中选取的天气量化参数和传感器评价指标体系对数据进行处理，得到样本数据。

进一步地，所述步骤105包括：

选取合适的模型，包括但不限于回归模型、机器学习模型等，选取步骤104中的部分样本数据作为训练样本数据，将天气量化参数作为输入，传感器表现评价结果作为期望输出，进行模型训练，得到真实天气条件下的天气量化参数和传感器表现评价结果间的客观映射模型。

进一步地，所述步骤106包括：

利用步骤105剩余的样本数据作为验证样本数据，对训练得到的客观映射模型的有效性进行验证。

进一步地，所述步骤2具体包括：利用天气模拟设备构建步骤1中真实天气条件下的同类试验，采集人工模拟天气和传感器的原始数据，并基于量化参数和评价指标体系对其进行评价，将处理后的天气样本数据输入步骤1所建立的客观映射模型，得到传感器的期望表现。将其与传感器真实表现进行比较，根据二者的偏差大小，得到天气模拟设备保真度的客观测试评价结果。

本发明还提供一种面向自动驾驶场地测试的天气模拟设备保真度客观测试评价装置，包括：

数据采集模块，被配置为包括用来采集天气参数的专用传感器和用来评价天气模拟设备的被测传感器，通过专用传感器采集天气量化参数，通过被测传感器采集传感器表现数据；

数据处理模块，被配置为根据天气量化参数和传感器表现评价指标体系对天气数据和传感器数据进行处理的程序；

模型训练模块，被配置为基于天气量化参数和传感器表现评价结果对映射模型进行训练，其中天气量化参数是训练输入，传感器表现评价结果是期望输出；

客观评价模块，被配置为根据人工模拟条件下的传感器期望输出和真实输出的偏差程度对天气模拟设备的保真度进行客观评价。

与现有技术相比，本发明具有以下优点：

1、本发明填补了相应领域测试评价的空白，并且能以真实天气条件为基础，从传感器在真实天气条件下的真实表现出发，建立天气量化参数和传感器表现评价指标间的客观映射模型，并利用该模型的输出作为期望值，与传感器在人工模拟条件下的表现进行客观比较，最后基于传感器真实表现与模型的理论输出的偏差对天气模拟设备保真度进行有效的客观评价；

2、本发明能综合考虑多种天气参数的影响，利用专用传感器采集多种天气参数，可以建立多种天气参数与传感器表现间的复杂模型，避免了单一参数模型的局限性，同时也避免了通过天气参数直接对天气模拟设备进行评价时，由于忽略天气参数间的耦合效应所导致的评价偏差；

3、本发明涉及的测试评价方法和装置可覆盖各种针对天气的模拟设备，并且被测传感器和传感器试验平台可根据实际需求灵活选择，具有较高的普适性。

附图说明

图1为本发明面向自动驾驶场地测试的天气模拟设备保真度客观测试评价流程示意图；

图2为本发明实施例中客观测试评价装置的结构示意图

图3为本发明实施例中激光雷达台架的结构示意图；

图4为本发明实施例中静态试验场景的示意图；

图5为本发明实施例中动态试验场景的示意图；

图6为本发明实施例中基于降雨模拟设备的静态试验场景的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

具体实施例

本发明是一种面向自动驾驶场地测试的天气模拟设备保真度客观测试评价方法和装置，其中客观测试评价方法流程如图1所示，其主要实施步骤是：

步骤1：建立真实天气量化参数与传感器表现评价指标间的映射模型；

步骤2：运用步骤1的结果对天气模拟设备的保真度进行测试评价。

其中建立真实天气量化参数与传感器表现评价指标间的映射模型的具体过程如下：

步骤101：根据天气模拟设备特性，搭建传感器试验平台。

由于天气模拟设备是模拟降雨条件，以自动驾驶系统为例，降雨对系统的最大影响体现在感知系统上，通常感知系统是利用视觉摄像头和激光雷达等传感器作为外界环境信息的获取渠道，降雨将导致传感器获取信息的遗漏和错误，因此本实施例选择激光雷达作为被测传感器，并搭建激光雷达台架作为试验平台，如图3所示。

步骤102：选取天气量化参数和传感器评价指标体系。

针对降雨模拟设备所模拟的天气条件，参考气象学上对降雨的描述，分别从降雨强度、降雨均匀度、雨滴直径、雨滴终速四个方面对降雨进行描述。针对激光雷达的数据特性，选取激光雷达表现的评价指标为平均点云数量、平均点云强度、平均反射率、距离均方根误差等指标。同时，根据选取的天气量化参数，选择雨量传感器和高分辨率摄像头作为专用的测量传感器。

步骤103：设计真实天气条件下的静态或者动态试验。

本实施例以降雨条件为例进行描述。为了覆盖尽可能多不同降雨条件的样本数据，在不同的真实降雨条件下进行了多次试验，试验场景可以大致分为静态场景和动态场景两大类。其中静态场景的示意图如图4所示，目标物主要包含三大类，分别是车辆、行人和静态障碍物(纸箱)。动态场景的示意图如图5所示，目标物主要包含三大类，分别是车辆、骑行人和行人。其中车辆的车速范围是10km/h-70km/h，骑行人的速度范围是3km/h-20km/h，行人的步行速度范围是2km/h-10km/h。

步骤104：采集天气数据和传感器数据，并依据天气量化参数和传感器表现评价指标体系进行处理，得到样本数据。

针对降雨条件的参数采集是通过多个专用的雨量传感器和高精度摄像头进行采集，其中降雨强度可以通过雨量传感器直接测量得到，降雨均匀度需要根据多个雨量传感器的测量值计算获得，而雨滴直径和雨滴终速则是利用高精度摄像头拍摄实时视频，在数据处理阶段通过图像处理方法来获取参数。同时，激光雷达会同步进行点云数据的采集，对于完整的点云数据，首先通过限制目标区域的方式来截取目标物所在区域，即通过XYZ三坐标轴的阈值限制来截取目标物；其次，在每个目标区域中计算平均点云数量、平均点云强度、平均反射率、距离均方根误差等指标。

步骤105：根据步骤104的结果，选取部分样本数据训练映射模型，其中天气量化参数作为训练输入，传感器表现评价结果作为训练输出。

本实施例中选用非线性逻辑回归作为映射模型，在采集的所有样本数据中，选取60％的样本数据作为训练样本数据，其中的天气量化参数作为训练输入，激光雷达表现评价结果作为期望输出，对模型进行训练，得到客观映射模型。

步骤106：选取步骤104中其余样本数据来验证映射模型的有效性。

选取步骤104中的剩余的40％样本数据作为回归模型的验证数据，其中的天气量化参数作为模型输入，激光雷达表现评价结果作为期望输出，若所有验证样本的平均相对误差低于5％，则认为该模型是有效的，否则需要更换模型重新进行训练和验证。

步骤2：运用步骤1的结果对天气模拟设备的保真度进行测试评价。

在得到有效的回归模型后，在降雨模拟设备的辅助下设计人工模拟条件下的同类试验。本实施例中同样设置了静态场景和动态场景两大类试验场景，具体场景参数设置同步骤103。其中静态场景如图6所示。具体数据采集和处理方式同步骤104。接着，将人工模拟条件下的天气量化参数输入到步骤1所建立的客观映射模型中，得到真实天气条件下的传感器表现期望评价结果。最后，将传感器期望表现与传感器真实表现数据进行比较，计算数据的平均相对偏差是否低于5％，若低于5％，则认为该降雨模拟设备的模拟降雨具有较高的保真度，可以有效地被用作自动驾驶汽车中激光雷达相关感知系统的模拟测试；若高于5％，但低于10％，则该降雨模拟设备的保真度较为一般；若高于10％，但低于15％，则该降雨模拟设备的保真度较差，相关测试结果与真实降雨下的测试结果将有较大差别；若高于15％，则该降雨模拟设备的模拟降雨保真度很差，暂不适合用于自动驾驶汽车中激光雷达相关感知系统的模拟测试。至此本实施例便已完成对该降雨模拟设备保真度的客观测试评价过程。

接下来，将对本实施例中的天气模拟设备保真度客观测试评价装置进行说明，如图2所示，该装置具有数据采集模块、数据处理模块、模型训练模块和客观评价模块。

进一步地，数据采集模块由试验过程中使用的雨量传感器、高精度摄像头和激光雷达组成，其中雨量传感器采用基于RS485信号传输方式的高精度ABS雨量传感器、高精度摄像头采用300万像素的工业摄像头、激光雷达采用OUSTER OS1-64线激光雷达。

数据处理模块负责对数据采集模块采集的原始数据进行处理，包含基于雨量传感器的原始数据计算降雨强度和降雨均匀度、基于工业摄像头的图像和图像处理方法计算雨滴直径和平均雨滴速度、基于激光雷达点云数据计算目标区域中的平均点云强度、平均点云数量和点云强度信息熵等指标。

模型训练模块被设定为基于上述样本数据，以天气量化参数作为输入，点云评价结果作为输出，对样本数据进行非线性逻辑回归，并利用验证样本验证模型的有效性，得到客观映射模型。

客观评价模块被设定为，基于人工模拟降雨条件下的传感器期望表现和真实表现的偏差，对降雨模拟设备的保真度进行简单有效地评价。其中若每项评价指标的平均偏差均小于5％，则该降雨模拟器具有较高的保真度，适合用于激光雷达相关试验；若存在某项指标的平均偏差大于5％但小于10％，则该降雨模拟器的保真度一般；若存在某项指标的平均偏差大于10％但小于15％，则该降雨模拟器的保真度较差，若被使用进行相关试验，结果将与真实降雨环境下的结果产生较大偏差；若存在某项指标的平均偏差大于15％，则认为该降雨模拟器的保真度很差，不适合用于激光雷达的相关试验。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种自动驾驶场地测试的天气模拟设备测试评价方法，其特征在于，该方法包括以下步骤：

步骤1：建立真实天气量化参数与传感器表现评价指标之间的映射模型；

步骤2：利用映射模型对天气模拟设备的保真度进行测试评价。

2.根据权利要求1所述的一种自动驾驶场地测试的天气模拟设备测试评价方法，其特征在于，所述的步骤1包括以下分步骤：

步骤101：根据天气模拟设备特性，搭建传感器试验平台；

步骤102：选取天气量化参数和传感器表现评价指标体系；

步骤103：设计真实天气条件下的静态或者动态试验；

步骤104：采集天气数据和传感器数据，并依据天气量化参数和传感器表现评价指标体系进行处理，得到样本数据；

步骤105：选取样本数据中的部分数据训练得到映射模型，其中天气量化参数作为训练输入，传感器表现评价结果作为训练输出；

步骤106：选取样本数据中的剩余数据来验证映射模型的有效性。

3.根据权利要求2所述的一种自动驾驶场地测试的天气模拟设备测试评价方法，其特征在于，所述步骤101具体包括：根据待评价的天气模拟设备的特性，选取合适的被测传感器；针对并根据传感器的类型搭建传感器试验平台实物。

4.根据权利要求2所述的一种自动驾驶场地测试的天气模拟设备测试评价方法，其特征在于，所述的步骤102中的天气量化参数为：

对于降雨天气，量化参数包括降雨强度、降雨均匀度、雨滴直径和雨滴速度；

对于雾霭天气，量化参数包括雾浓度、可见度和雾滴直径；

对于降雪天气，量化参数包括降雪强度和雪花直径；

传感器表现评价指标体系为：

对于视觉传感器，评级指标包括识别准确率、目标识别召回率和目标识别错误数；

对于激光雷达，评级指标包括平均点云数量、平均点云强度、平均反射率和距离均方根误差。

5.根据权利要求2所述的一种自动驾驶场地测试的天气模拟设备测试评价方法，其特征在于，所述的步骤103具体包括：选取典型目标物作为检测对象，所述典型目标物包括汽车、行人、骑行人和静态障碍物；选取典型场景作为测试场景，所述典型场景包括静态场景、跟车场景和行人横穿马路场景。

6.根据权利要求2所述的一种自动驾驶场地测试的天气模拟设备测试评价方法，其特征在于，所述的步骤104具体包括：试验中，利用相关传感器测量天气量化参数，同时利用被测传感器持续记录数据，在得到原始数据后，依据天气量化参数和传感器表现评价指标体系对原始数据进行处理，得到样本数据。

7.根据权利要求2所述的一种自动驾驶场地测试的天气模拟设备测试评价方法，其特征在于，所述的步骤105具体包括：选取模型，所述模型包括回归模型或机器学习模型，选取样本数据中的部分数据作为训练样本数据，将其中的天气量化参数作为训练输入，传感器表现评价结果作为训练输出，进行模型训练，得到真实天气条件下的天气量化参数和传感器表现评价结果间的客观映射模型。

8.根据权利要求2所述的一种自动驾驶场地测试的天气模拟设备测试评价方法，其特征在于，所述步骤106具体包括：选取样本数据中的剩余数据作为验证样本数据，对训练得到的客观映射模型的有效性进行验证。

9.根据权利要求1所述的一种自动驾驶场地测试的天气模拟设备测试评价方法，其特征在于，所述的步骤2具体包括：利用天气模拟设备构建步骤1中真实天气条件下的同类试验，采集人工模拟天气和传感器的原始数据，并基于量化参数和评价指标体系对其进行评价，将处理后的天气样本数据输入步骤1所建立的映射模型，得到传感器的期望表现，将其与传感器真实表现进行比较，根据二者的偏差，得到天气模拟设备保真度的客观测试评价结果。

10.一种用于如权利要求1至9中任一项所述的自动驾驶场地测试的天气模拟设备测试评价方法的天气模拟设备保真度客观测试评价装置，其特征在于，该装置包括：

数据采集模块，包括用于采集天气参数的专用传感器和用于评价天气模拟设备的被测传感器，通过专用传感器采集天气量化参数，通过被测传感器采集传感器表现数据；

数据处理模块，用于根据天气量化参数和传感器表现评价指标体系对天气数据和传感器数据进行处理；

模型训练模块，用于基于天气量化参数和传感器表现评价结果对映射模型进行训练，其中天气量化参数是训练输入，传感器表现评价结果是期望输出；

客观评价模块，用于根据人工模拟条件下的传感器期望输出和真实输出的偏差程度对天气模拟设备的保真度进行客观评价。

Images