CN114852098A - 一种用于自动驾驶算法评价的系统、方法及存储介质 - Google Patents

Abstract

本发明公开了一种用于自动驾驶算法评价的系统、方法及存储介质，该系统包括场景原始数据模块、数据处理中心、算法模块和可视化模块；场景原始数据模块用于将场景原始数据输入到数据处理中心，并获取算法模块产生的中间参数；算法模块用于从数据处理中心获取场景原始数据，并将算法模块产生的中间参数发送给数据处理中心；数据处理中心用于将算法模块产生的中间参数依据时间进行配对，以进行自动驾驶算法的评价；可视化模块用于获取配对的参数进行可视化显示。本发明支持海量场景原始数据的算法模块自动化评价，且会将配对的算法中间参数通过可视化模块进行可视化显示，以使得开发人员可以快速定位问题点或待优化点。

Description

一种用于自动驾驶算法评价的系统、方法及存储介质

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种用于自动驾驶算法评价的系统、方法及存储介质。

背景技术

自动驾驶汽车依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让电脑可以在没有任何人类主动的操作下，自动安全地操作机动车辆。在自动驾驶汽车上，一般配备有大量的传感器，这些传感器通过采集汽车周围的环境信息以为自动驾驶算法提供算法输入，在自动驾驶领域里，自动驾驶汽车的安全性是极为重要的。

如在申请号为201711348568.2的发明专利中公开了一种自动驾驶车辆行为安全的测评方法，包括：获取自动驾驶车辆的环境感知参数、网络联通参数、判断决策参数、控制执行参数和网联程度系数；根据所述环境感知参数、所述网络联通参数、所述判断决策参数、所述控制执行参数和所述网联程度系数，得到自动驾驶车辆行为安全的测评得分；根据所述自动驾驶车辆行为安全的测评得分，得到所述自动驾驶车辆行为安全的测评结果。本发明的自动驾驶车辆行为安全的测评方法能够从多角度综合考虑自动驾驶车辆的行为安全性，使测评结果准确、可靠，从而为自动驾驶车辆行为安全测试及评价提供了一种可行性方法，使相关测试标准完善，促进我国自动驾驶车辆行业的发展。

上述发明基于获取自动驾驶车辆的各个参数，可以对于自动驾驶车辆行为有一个较为准确的测评，但是该测评为最上层的外部表现，即测评的是自动驾驶车辆的行为，但其并未对产生这些参数的源头-自动驾驶的算法模块进行测评，而作为最底层的自动驾驶算法模块性能的好坏对于自动驾驶车辆的性能也是十分重要的，因此急需一种能够对最底层的自动驾驶的算法模块进行测评的方法。

发明内容

针对现有技术存在的上述不足，本发明要解决的技术问题是：如何提供一种能够对最底层的自动驾驶的算法模块进行测评，进而达到从根本上评价自动驾驶汽车的性能的用于自动驾驶算法评价的系统及方法。

为了解决上述技术问题，本发明采用如下技术方案：

一种用于自动驾驶算法评价的系统，包括场景原始数据模块、数据处理中心、算法模块和可视化模块；

所述场景原始数据模块与所述数据处理中心双向通信连接，用于将场景原始数据输入到所述数据处理中心，并从所述数据处理中心处获取所述算法模块产生的中间参数，所述场景原始数据包括传感器数据和所述算法模块产生的中间参数；

所述算法模块与所述数据处理中心双向通信连接，用于从所述数据处理中心获取场景原始数据，并将所述算法模块产生的中间参数发送给所述数据处理中心；

所述数据处理中心用于将所述算法模块产生的中间参数依据时间进行配对，以进行自动驾驶算法的评价并生成评价报告；

所述可视化模块与所述数据处理中心通信连接，用于获取配对的参数并进行可视化显示。

优选的，所述算法模块包括依次通信连接的感知融合组件、路径规划组件和决策控制组件，所述感知融合组件的输入端与所述数据处理中心通信连接，用于从所述数据处理中心处获取场景原始数据，且所述感知融合组件的输出端、所述路径规划组件的输出端和所述决策控制组件的输出端均与所述数据处理中心通信连接，以分别将所述感知融合组件、所述路径规划组件和所述决策控制组件产生的中间参数发送给所述数据处理中心。

一种用于自动驾驶算法评价的方法，采用上述的用于自动驾驶算法评价的系统，所述场景原始数据模块将场景原始数据作为输入，通过所述数据处理中心回注进所述算法模块，所述数据处理中心将所述算法模块产生的所有中间参数与场景原始数据中的中间参数依据时间进行配对，依据评价规则对自动驾驶算法进行评价并生成评价报告。

优选的，包括以下步骤：

步骤1）所述场景原始数据模块将场景原始数据输入到所述数据处理中心，此时场景原始数据仅包括传感器数据；

步骤2）所述算法模块从所述数据处理中心处获取场景原始数据并进行计算，所述算法模块将产生的所有中间参数发送给所述数据处理中心；

步骤3）所述数据处理中心将接收到的所有中间参数发送给所述场景原始数据模块；

步骤4）所述场景原始数据模块再次将场景原始数据输入到所述数据处理中心，此时场景原始数据包括传感器数据和所述算法模块产生的所有中间参数；

步骤5）所述算法模块从所述数据处理中心处获取场景原始数据中的传感器数据进行计算，所述算法模块再次将产生的所有中间参数发送给所述数据处理中心；

步骤6）所述算法模块是否还需要产生中间参数，若是则返回执行步骤3），若否则执行步骤7）；

步骤7）所述数据处理中心将步骤5）中所述算法模块产生的所有中间参数和场景原始数据中的所有中间参数依据时间进行配对，依据评价规则对自动驾驶算法进行评价并生成评价报告。

优选的，步骤7）中，配对完成后，一一判断同一时间所有中间参数的参数阶跃值变化、参数误差率是否超过设定阈值、以及参数数量变化，以对自动驾驶算法进行评价并生成评价报告。

优选的，所述算法模块包括依次通信连接的感知融合组件、路径规划组件和决策控制组件，所述感知融合组件的输入端与所述数据处理中心通信连接，用于从所述数据处理中心处获取场景原始数据，且所述感知融合组件的输出端、所述路径规划组件的输出端和所述决策控制组件的输出端均与所述数据处理中心通信连接，以分别将所述感知融合组件、所述路径规划组件和所述决策控制组件产生的中间参数发送给所述数据处理中心；

步骤2）中，所述感知融合组件从所述数据处理中心处获取场景原始数据并进行计算，所述感知融合组件计算后产生的数据发送给所述路径规划组件进行计算，所述路径规划组件计算后产生的数据发送给所述决策控制组件进行计算，且所述感知融合组件、所述路径规划组件和所述决策控制组件计算过程中产生的中间参数均发送给所述数据处理中心；

步骤5）中，所述感知融合组件从所述数据处理中心处获取场景原始数据中的传感器数据并进行计算，所述感知融合组件计算后产生的数据发送给所述路径规划组件进行计算，所述路径规划组件计算后产生的数据发送给所述决策控制组件进行计算，且所述感知融合组件、所述路径规划组件和所述决策控制组件计算过程中产生的中间参数均发送给所述数据处理中心。

优选的，还包括步骤8），所述可视化模块从所述数据中心获取所有配对的中间参数并进行可视化显示，可视化显示内容包括：目标的二维俯视图、车道线、视频数据目标的三维框图、以及点云信息的三维图。

优选的，步骤8）中，所述可视化模块对获取的中间参数进行数据归类，且所述可视化模块将获取的中间参数分别归类为目标对象、车道线对象、点云对象和视频对象。

优选的，所述感知融合组件、所述路径规划组件和所述决策控制组件计算过程中产生的中间参数均通过广播形式发送给所述数据处理中心；

所述数据处理中心通过广播形式将所有配对的中间参数发送给所述可视化模块。

本方案还提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序被处理器运行时，执行如上述的用于自动驾驶算法评价的方法的步骤。

与现有技术相比，本发明具有以下优点：

1、本发明通过将场景原始数据作为输入回注进算法模块，场景原始数据在首次回注进算法模块时仅包括传感器数据，当传感器数据回注到算法模块产生中间参数后，所有的中间参数经数据处理中心到场景原始数据模块中，因此此时的场景原始数据包括了传感器数据和算法模块产生的所有中间参数，而当场景原始数据再次回注到算法模块时，算法模块仍然只接收场景原始数据中的传感器数据并进行计算。当只需要对算法模块的两次中间参数进行配对时，此时算法模块产生的中间参数不发送到场景原始数据模块；而当需要对算法模块的多次中间参数进行配对时，仅最后一次算法模块产生的中间参数不发送到场景原始数据模块；然后由数据处理中心将此时产生的中间参数与场景原始数据中已有的所有中间参数依据时间进行配对；然后根据建立的评价规则一一判断对中间参数进行判断（如差异性或误差率等），进而实现对整个算法模块的评价，并生成该场景的评价报告；该方法支持海量场景原始数据的算法模块自动化评价，且评价系统运行过程中，会将配对的算法中间参数通过可视化模块进行可视化显示，以使得开发人员可以快速定位问题点或待优化点。

2、本发明以自动驾驶中的数据为导向，利用场景原始数据，对算法模块进行了系统性与全面性地评价，解决了自动驾驶算法开发无法正向评估的问题，支撑了算法的良性迭代，促进了自动驾驶领域的健康发展。

附图说明

图1为本发明用于自动驾驶算法评价的系统的系统框图；

图2为本发明用于自动驾驶算法评价的方法的评价逻辑图；

图3为本发明用于自动驾驶算法评价的方法中可视化模块的逻辑图。

具体实施方式

下面将结合附图及实施例对本发明作进一步说明。

如附图1所示，一种用于自动驾驶算法评价的系统，包括场景原始数据模块、数据处理中心、算法模块和可视化模块；

所述场景原始数据模块与所述数据处理中心双向通信连接，用于将场景原始数据输入到所述数据处理中心，并从所述数据处理中心处获取所述算法模块产生的中间参数，所述场景原始数据包括传感器数据和所述算法模块产生的中间参数；

所述算法模块与所述数据处理中心双向通信连接，用于从所述数据处理中心获取场景原始数据，并将所述算法模块产生的中间参数发送给所述数据处理中心；

所述数据处理中心用于将所述算法模块产生的中间参数依据时间进行配对，以进行自动驾驶算法的评价并生成评价报告；

所述可视化模块与所述数据处理中心通信连接，用于获取配对的参数并进行可视化显示。

优选的，所述算法模块包括依次通信连接的感知融合组件、路径规划组件和决策控制组件，所述感知融合组件的输入端与所述数据处理中心通信连接，用于从所述数据处理中心处获取场景原始数据，且所述感知融合组件的输出端、所述路径规划组件的输出端和所述决策控制组件的输出端均与所述数据处理中心通信连接，以分别将所述感知融合组件、所述路径规划组件和所述决策控制组件产生的中间参数发送给所述数据处理中心。

如附图2所示，一种用于自动驾驶算法评价的方法，采用上述的用于自动驾驶算法评价的系统，所述场景原始数据模块将场景原始数据作为输入，通过所述数据处理中心回注进所述算法模块，所述数据处理中心将所述算法模块产生的所有中间参数与场景原始数据中的中间参数依据时间进行配对，依据评价规则对自动驾驶算法进行评价并生成评价报告。

优选的，包括以下步骤：

步骤1）所述场景原始数据模块将场景原始数据输入到所述数据处理中心，此时场景原始数据仅包括传感器数据。

步骤2）所述算法模块从所述数据处理中心处获取场景原始数据并进行计算，所述算法模块将产生的所有中间参数发送给所述数据处理中心；具体的，所述感知融合组件从所述数据处理中心处获取场景原始数据并进行计算，所述感知融合组件计算后产生的数据发送给所述路径规划组件进行计算，所述路径规划组件计算后产生的数据发送给所述决策控制组件进行计算，且所述感知融合组件、所述路径规划组件和所述决策控制组件计算过程中产生的中间参数均发送给所述数据处理中心。感知融合组件作为跟外部数据对接的算法模块，将数据处理中心广播出的传感器数据接收，计算后输出结果给下一个路径规划组件，同理传递给决策控制组件，期间三个算法组件产生的中间参数又以广播形式发出；数据处理中心有接收组件来接收并存储中间参数。

步骤3）所述数据处理中心将接收到的所有中间参数发送给所述场景原始数据模块。

步骤4）所述场景原始数据模块再次将场景原始数据输入到所述数据处理中心，此时场景原始数据包括传感器数据和所述算法模块产生的所有中间参数。

步骤5）所述算法模块从所述数据处理中心处获取场景原始数据中的传感器数据进行计算，所述算法模块再次将产生的所有中间参数发送给所述数据处理中心；所述感知融合组件从所述数据处理中心处获取场景原始数据中的传感器数据并进行计算，所述感知融合组件计算后产生的数据发送给所述路径规划组件进行计算，所述路径规划组件计算后产生的数据发送给所述决策控制组件进行计算，且所述感知融合组件、所述路径规划组件和所述决策控制组件计算过程中产生的中间参数均发送给所述数据处理中心。

步骤6）所述算法模块是否还需要产生中间参数，若是则返回执行步骤3），若否则执行步骤7）；

步骤7）所述数据处理中心将步骤5）中所述算法模块产生的所有中间参数和场景原始数据中的所有中间参数依据时间进行配对，依据评价规则对自动驾驶算法进行评价并生成评价报告。

具体的，配对完成后，一一判断同一时间所有中间参数的参数阶跃值变化、参数误差率是否超过设定阈值、以及参数数量变化，以对自动驾驶算法进行评价并生成评价报告。

步骤8），所述可视化模块从所述数据中心获取所有配对的中间参数并进行可视化显示，可视化显示内容包括：目标的二维俯视图、车道线、视频数据目标的三维框图、以及点云信息的三维图。

在本实施例中，所述可视化模块对获取的中间参数进行数据归类，且所述可视化模块将获取的中间参数分别归类为目标对象、车道线对象、点云对象和视频对象。具体如附图3所示，为可视化模块的逻辑图，数据处理中心在算法模块运行过程中有两个算法中间参数的数据集，一个为场景原始数据中存储的中间参数，一个为当前实时计算出来的中间参数，均通过广播形式发送给可视化模块，可视化模块接收到数据后会进行分类，分为目标对象、车道线对象、点云对象和视频对象等，然后再可视化出来供开发人员查看。

在本实施例中，所述感知融合组件、所述路径规划组件和所述决策控制组件计算过程中产生的中间参数均通过广播形式发送给所述数据处理中心。

所述数据处理中心通过广播形式将所有配对的中间参数发送给所述可视化模块。

在本实施例中，数据处理中心将数据广播发出，可视化模块订阅其中算法模块的中间参数数据；感知融合组件订阅传感器数据，然后算法模块开始运行，感知融合组件、路径规划组件、决策控制组件的输入均从数据处理中心获得，产生的中间参数也以广播的形式发送，数据处理中心有接收组件订阅所有的数据，再以广播的形式发布给可视化模块，而数据处理中心也会对中间参数进行汇总评价，最终生成评价报告输出。

本方案还提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序被处理器运行时，执行如上述的用于自动驾驶算法评价的方法的步骤。

与现有技术相比，本发明具有以下优点：本发明通过将场景原始数据作为输入回注进算法模块，场景原始数据在首次回注进算法模块时仅包括传感器数据，当传感器数据回注到算法模块产生中间参数后，所有的中间参数经数据处理中心到场景原始数据模块中，因此此时的场景原始数据包括了传感器数据和算法模块产生的所有中间参数，而当场景原始数据再次回注到算法模块时，算法模块仍然只接收场景原始数据中的传感器数据并进行计算。当只需要对算法模块的两次中间参数进行配对时，此时算法模块产生的中间参数不发送到场景原始数据模块；而当需要对算法模块的多次中间参数进行配对时，仅最后一次算法模块产生的中间参数不发送到场景原始数据模块；然后由数据处理中心将此时产生的中间参数与场景原始数据中已有的所有中间参数依据时间进行配对；然后根据建立的评价规则一一判断对中间参数进行判断（如差异性或误差率等），进而实现对整个算法模块的评价，并生成该场景的评价报告；该方法支持海量场景原始数据的算法模块自动化评价，且评价系统运行过程中，会将配对的算法中间参数通过可视化模块进行可视化显示，以使得开发人员可以快速定位问题点或待优化点。本发明以自动驾驶中的数据为导向，利用场景原始数据，对算法模块进行了系统性与全面性地评价，解决了自动驾驶算法开发无法正向评估的问题，支撑了算法的良性迭代，促进了自动驾驶领域的健康发展。

最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种用于自动驾驶算法评价的系统，其特征在于，包括场景原始数据模块、数据处理中心、算法模块和可视化模块；

所述场景原始数据模块与所述数据处理中心双向通信连接，用于将场景原始数据输入到所述数据处理中心，并从所述数据处理中心处获取所述算法模块产生的中间参数，所述场景原始数据包括传感器数据和所述算法模块产生的中间参数；

所述算法模块与所述数据处理中心双向通信连接，用于从所述数据处理中心获取场景原始数据，并将所述算法模块产生的中间参数发送给所述数据处理中心；

所述数据处理中心用于将所述算法模块产生的中间参数依据时间进行配对，以进行自动驾驶算法的评价并生成评价报告；

所述可视化模块与所述数据处理中心通信连接，用于获取配对的参数并进行可视化显示。

2.根据权利要求1所述的用于自动驾驶算法评价的系统，其特征在于，所述算法模块包括依次通信连接的感知融合组件、路径规划组件和决策控制组件，所述感知融合组件的输入端与所述数据处理中心通信连接，用于从所述数据处理中心处获取场景原始数据，且所述感知融合组件的输出端、所述路径规划组件的输出端和所述决策控制组件的输出端均与所述数据处理中心通信连接，以分别将所述感知融合组件、所述路径规划组件和所述决策控制组件产生的中间参数发送给所述数据处理中心。

3.一种用于自动驾驶算法评价的方法，其特征在于，采用如权利要求1所述的用于自动驾驶算法评价的系统，所述场景原始数据模块将场景原始数据作为输入，通过所述数据处理中心回注进所述算法模块，所述数据处理中心将所述算法模块产生的所有中间参数与场景原始数据中的中间参数依据时间进行配对，依据评价规则对自动驾驶算法进行评价并生成评价报告。

4.根据权利要求3所述的用于自动驾驶算法评价的方法，其特征在于，包括以下步骤：

步骤1）所述场景原始数据模块将场景原始数据输入到所述数据处理中心，此时场景原始数据仅包括传感器数据；

步骤2）所述算法模块从所述数据处理中心处获取场景原始数据并进行计算，所述算法模块将产生的所有中间参数发送给所述数据处理中心；

步骤3）所述数据处理中心将接收到的所有中间参数发送给所述场景原始数据模块；

步骤4）所述场景原始数据模块再次将场景原始数据输入到所述数据处理中心，此时场景原始数据包括传感器数据和所述算法模块产生的所有中间参数；

步骤5）所述算法模块从所述数据处理中心处获取场景原始数据中的传感器数据进行计算，所述算法模块再次将产生的所有中间参数发送给所述数据处理中心；

步骤6）所述算法模块是否还需要产生中间参数，若是则返回执行步骤3），若否则执行步骤7）；

步骤7）所述数据处理中心将步骤5）中所述算法模块产生的所有中间参数和场景原始数据中的所有中间参数依据时间进行配对，依据评价规则对自动驾驶算法进行评价并生成评价报告。

5.根据权利要求4所述的用于自动驾驶算法评价的方法，其特征在于，步骤7）中，配对完成后，一一判断同一时间所有中间参数的参数阶跃值变化、参数误差率是否超过设定阈值、以及参数数量变化，以对自动驾驶算法进行评价并生成评价报告。

6.根据权利要求5所述的用于自动驾驶算法评价的方法，其特征在于，所述算法模块包括依次通信连接的感知融合组件、路径规划组件和决策控制组件，所述感知融合组件的输入端与所述数据处理中心通信连接，用于从所述数据处理中心处获取场景原始数据，且所述感知融合组件的输出端、所述路径规划组件的输出端和所述决策控制组件的输出端均与所述数据处理中心通信连接，以分别将所述感知融合组件、所述路径规划组件和所述决策控制组件产生的中间参数发送给所述数据处理中心；

步骤2）中，所述感知融合组件从所述数据处理中心处获取场景原始数据并进行计算，所述感知融合组件计算后产生的数据发送给所述路径规划组件进行计算，所述路径规划组件计算后产生的数据发送给所述决策控制组件进行计算，且所述感知融合组件、所述路径规划组件和所述决策控制组件计算过程中产生的中间参数均发送给所述数据处理中心；

步骤5）中，所述感知融合组件从所述数据处理中心处获取场景原始数据中的传感器数据并进行计算，所述感知融合组件计算后产生的数据发送给所述路径规划组件进行计算，所述路径规划组件计算后产生的数据发送给所述决策控制组件进行计算，且所述感知融合组件、所述路径规划组件和所述决策控制组件计算过程中产生的中间参数均发送给所述数据处理中心。

7.根据权利要求6所述的用于自动驾驶算法评价的方法，其特征在于，还包括步骤8），所述可视化模块从所述数据中心获取所有配对的中间参数并进行可视化显示，可视化显示内容包括：目标的二维俯视图、车道线、视频数据目标的三维框图、以及点云信息的三维图。

8.根据权利要求7所述的用于自动驾驶算法评价的方法，其特征在于，步骤8）中，所述可视化模块对获取的中间参数进行数据归类，且所述可视化模块将获取的中间参数分别归类为目标对象、车道线对象、点云对象和视频对象。

9.根据权利要求8所述的用于自动驾驶算法评价的方法，其特征在于，所述感知融合组件、所述路径规划组件和所述决策控制组件计算过程中产生的中间参数均通过广播形式发送给所述数据处理中心；

所述数据处理中心通过广播形式将所有配对的中间参数发送给所述可视化模块。

10.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序被处理器运行时，执行如权利要求3~9中任一项所述的用于自动驾驶算法评价的方法的步骤。

Images